INDUSTRIELLE AUTOMATION 3/2023

DER WEG ZU EINER

DER WEG ZU EINER FLEXIBLEN ROBOTERAUTOMATION MIT INDUSTRIELLER BILDERVERARBEITUNG GRIFF NACH DEM UNBEKANNTEN Schwankende Auftragslage, fehlende Zulieferteile und Fachkräftemangel stellen Unternehmen vor große Herausforderungen. Wer flexibel agieren kann, ist klar im Vorteil. Aus diesem Grund spielt die robotergestützte Automatisierung eine immer größere Rolle, wie das Beispiel aus der Logistik zeigt. Kaum eine Systemlösung kommt heute ohne Software aus. Das niederländische Softwarehaus Fizyr hat sich auf Deep-Learning-Vision-Software spezialisiert. Die modulare Plug-and-Play-Software für Robotik-Assistenzsysteme nutzt Kameras des Vision-Spezialisten IDS, die es ermöglicht beispielsweise die Kommissionierung von Gegenständen, die Handhabung von Paketen oder die Depalettierung spielend zu bewältigen. Die Herausforderung dabei ist: Die Menge an Varianten ist in Formen, Größen und Farbe unendlich. MIT 2D UND 3D ZUR AUTOMATISIERUNG Um die Verwendung der Automatisierungslösungen in rauen Logistikumgebungen zu gewährleisten, müssen die eingesetzten Industriekameras eine zuverlässige und präzise Bilderfassung in möglichst vielen Umgebungssituationen sicherstellen. Da die Qualität der Bilderfassung direkt von den Lichtverhältnissen der Szene und der Oberflächenbeschaffenheit der Objekte abhängt, ist das Auffinden und Berechnen der Koordinaten von entsprechenden Punkten auf weniger strukturierten oder reflektierenden Oberflächen sehr schwierig. Je nach individueller Kundenanwendung kommen daher bis zu fünf Ensenso 3D-Kameras in Kombination mit leistungsstarken GigE uEye CMOS-Kameras zum Einsatz. Gemeinsam liefern sie die nötigen Daten, die die Software-Algorithmen von Fizyr in die Lage versetzen, über 100 Greifposen pro Sekunde auszuführen. Die Software führt darüber hinaus Qualitätskontrollen durch und erkennt Fehler. Die Algorithmen ermöglichen es, alle relevanten Informationen zur Segmentierung und Klassifizierung der Paketart (ob Schachtel, Beutel, Umschlag, Rohr oder Zylinder) zu liefern. Das System erkennt Ausreißer oder nicht transportfähige Güter, bestmögliche Greifposen in sechs DoF (degrees of freedom) und mehrere Positionen pro Objekt. Es ermöglicht Sensoren oder Robotern den Umgang mit eng gestapelten oder sich 42 INDUSTRIELLE AUTOMATION 2023/03 www.industrielle-automation.net

01 Eine Kombination aus 2D- und 3D-Industriekameras ermöglicht die optimale Objekterfassung 02 Das Robotik-Assistenzsystem erkennt unbekannte Pakete auch in der Tiefe überlappenden Objekten, stark reflektierenden Gegenständen und Textilien in Polybeuteln, weiß-auf-weiß und schwarz-aufschwarz-Flächen sowie transparenten Objekten. VARIANTENREICHE OBJEKTE ERFASSEN 3D-Kameras ermöglichen Robotern das räumliche Sehen. Dabei gilt: je größer die Variantenvielfalt der zu erfassenden Objekte, desto höher die Anforderungen an die Robot-Vision Lösung, um präzise auf die unterschiedlichen Gegebenheiten zu reagieren. Die Kombination von 3D- und 2D-Kameratechnik ist dort empfehlenswert, wo die Vorteile beider Technologien eine Synergie ergeben: Die hochpräzise Digitalisierung durch 3D-Kameras wie Ensenso ermittelt Formen, Oberflächenstrukturen oder die Lage von Objekten im Raum. Mit 2D-Daten wiederum sind Kanten und Farben präzise detektierbar und Kennzeichnungen lesbar. Bei Fizyr sorgt die Kombination aus 2D- und 3D-Kameras für die nötige Klassifizierung, um verschiedenste, auch unbekannte Objekte unterschiedlich handhaben zu können. Die uEye CP-Kamera nimmt 2D-Bilder der zu behandelnden Objekte auf und stellt diese als Input für die Algorithmen zur Verfügung, die die Objekte unter der Kamera klassifizieren. Die Objekte können in Form, Größe, Farbe, Material und Position völlig variieren. DAS BESONDERE: STEREO VISION VERFAHREN Die Ensenso-Kamera wiederum erstellt eine 3D-Punktewolke, in der alle relevanten räumlichen Objektinformationen enthalten sind. Die eigens von Fizyr entwickelte Software kombiniert diese mit den Informationen aus dem 2D-Bild, analysiert die Oberfläche im Hinblick auf geeignete Greifer-Positionen und schlägt die besten Greifpositionen vor. Das Stereo Vision Verfahren der Ensenso 3D- Kameras ermöglicht dabei eine sehr präzise Objektdarstellung, auch bei Materialien mit spiegelnden Oberflächen. Alle Ensenso- Kameras sind hierfür mit einem lichtstarken Projektor ausgestattet, der mittels einer Pattern-Maske eine kontrastreiche Textur auf das abzubildende Objekt projiziert und somit die auf dessen Oberfläche nicht oder nur schwach vorhandenen Strukturen ergänzt. Das Ergebnis ist ein plastischerer Eindruck der Szene. Dies stellt eine Schlüsselkomponente für die Software dar, welche so auf eine höhere Qualität der Tiefeninformationen zurückgreifen kann. Das Kamerabild kann mittels „Hand-Auge-Kalibrierung“ optimal auf das Roboterkoordinatensystem abgestimmt werden, um ein zielgerichtetes Greifen zu gewährleisten. Die Kameramodelle sowie die Anzahl der Kameras pro System hängen vom Anwendungsfall ab. Für eine typische Bin-Picking- Lösung mit einem Cobot wird beispielsweise eine Ensenso N35 in Kombination mit einer GigE uEye CP eingesetzt. „Der bisher häufigste Anwendungsfall für Fizyr ist die Verwendung je einer uEye- Kamera und einer Ensenso 3D-Kamera pro System, aber es gibt keine Einschränkungen“, erklärt Herbert ten Have, CEO bei Fizyr. KOMMISSIONIERUNG DER ZUKUNFT Die Nachfrage nach qualitativ hochwertigen Modulen für automatische Kommissionierzellen wächst weltweit. Gleichzeitig sind die Anforderungen von Systemintegratoren an Soft- und Hardwarekomponenten gestiegen. Die Fizyr-IDS-Lösung gibt Antwort auf diese Herausforderungen: Als Plug-and-Play-Lösung entwickelt, ermöglicht sie eine einfache Integration in jedes bestehende System. Kunden können diese somit individuell nach den Bedürfnissen ihrer Kommissionierungsanlage einsetzen und jederzeit flexibel anpassen. Mit Hilfe der leistungsfähigen Industriekameras gelingt für jeden Anwendungsfall eine optimale Objekterfassung als Grundlage für die Roboterautomation. Kommt neben 2D- und 3D-Anwendungen auch noch künstliche Intelligenz ins Spiel, sind die Möglichkeiten der Prozessoptimierung mit Hilfe industrieller Bildverarbeitung nahezu grenzenlos. Bilder: Aufmacher + 01 IDS, 02 Fizyr www.ids-imaging.de UNTERNEHMEN IDS Imaging Development Systems GmbH Dimbacher Str. 10, 74182 Obersulm DER ONLINE-MARKTPLATZ www.visionpier.de www.industrielle-automation.net INDUSTRIELLE AUTOMATION 2023/03 43