Aufrufe
vor 4 Jahren

Industrielle Automation 4/2019

  • Text
  • Automation
  • Industrielle
Industrielle Automation 4/2019

Vision Insights Für

Vision Insights Für jede Drohne das richtige Vision-System Vom kleinen Sensormodul bis hin zu künstlicher Intelligenz – um Drohnen sehen zu lassen, gibt es verschiedene Technologien und Methoden der Bildverarbeitung. Dr. Frederik Schönebeck von Framos sprach auf der VDI-Konferenz „Zivile Drohnen im Industrieeinsatz” über Kriterien zu Anwendungen im Mapping, der Objekterkennung und Navigation sowie über die Relevanz von KI für Drohnen. Ein Vision-System (VS) besteht mindestens aus Bildsensor, Prozessormodul, Mount und Objektiv. Speziell für Drohnen muss das VS klein und leicht gebaut sein, auch darf es die Flugleistung möglichst wenig beeinflussen. Wichtig sind zudem hohe Energieeffizienz und geringe Hitzeentwicklung. Leitet eine Drohne aus reinen Bildund Video-Streams keine weiteren Aktionen ab, handelt es sich um sogenannte nichtfunktionale Anwendungen. Funktionale Anwendungen nutzen die Bilder des VS, um darauf basierend zu navigieren, Kollisionen zu vermeiden oder aufgrund des Trackings Folgeaktionen anzustoßen. Funktionale Drohnen werden durch Bildverarbeitung intelligent und zumeist autonom. Die Bildqualität muss in beiden Fällen eine exakte Analyse erlauben, ihre Bilder gilt es mit On-Board-Prozessoren in Echtzeit zu verarbeiten. Die Kombination der Kriterien Größe, Gewicht, Effizienz, Bildqualität und Processing ist anspruchsvoll und bedarf einer sorgfältigen Komponentenauswahl. 01 Ein großer Sensor mit einer hohen Auflösung bietet den Vorteil, dass mit einer Aufnahme ein größeres Gebiet aufgenommen und eine effizientere Vermessung erfolgen kann Drohnen fordern Embedded Vision und Bildsensor heraus Am besten eignet sich ein CMOS-Sensor für Drohnen und Embedded VS. Entwickler wählen zwischen Global Shutter (GS)- und Rolling Shutter (RS)-Verschlussmechanismen. Bei GS werden alle Pixel gleichzeitig belichtet, die Bewegung im Bild wird sozusagen eingefroren, es entstehen keine Bewegungsunschärfen oder -verzerrungen. GS-Sensoren sind damit für Aufnahmen in Hochgeschwindigkeitsapplikationen prädestiniert. Das komplexe Pixeldesign hat jedoch größere Pixel und damit größere Sensorabmessungen zur Folge; auch der höhere Stückpreis ist zu beachten. Pixelreihen bei RS werden nacheinander belichtet, wodurch bei Bewegung Artefakte im Bild entstehen können. Der Aufbau von RS-Sensoren ist weniger komplex, was sich in einer höheren Sensitivität niederschlägt. Dies erlaubt kleinere und günstigere Sensoren. Anwendungsbeispiel Mapping Beim Mapping werden Drohnen eingesetzt, um hochauflösendes Kartenmaterial zu erstellen. Sie überfliegen meist aus großer Höhe das zu kartierende Gebiet. VS für Mapping-Drohnen müssen eine sehr hohe Auflösung bieten: Die Bildqualität steht im Vordergrund, teilweise auch simultan in mehreren Frequenzbändern. Hierfür eignen sich besonders großformatige Sensoren mit Auflösungen von 50 bis 150 MP und einem > 74 dB Dynamikumfang. Ein hochauflösender, großer Sensor erfasst mit einer Aufnahme ein größeres Gebiet. Dies erlaubt einen schnelleren Überflug und eine effizientere Vermessung. Für Mapping-Drohnen ist ein preislich günstigerer RS-Sensor oft ausreichend. Doch fordern hohe Auflösungen einen höheren Platz- und Bauraumbedarf im Design. Um Zeit zu sparen werden die Bilder gerne über FPGA-Prozessoren an Bord der Drohne 36 INDUSTRIELLE AUTOMATION 4/2019

SENSORIK UND MESSTECHNIK Maschinelles Lernen: Autonomie in der Ojekterkennung 02 Für Mapping-Anwendungen eignen sich großformatige Sensoren, die mit Auflösungen von 50 bis 150 Megapixel und einem >74 dB Dynamikumfang eine sehr gute Bildqualität bieten vorverarbeitet. Entwickler müssen dafür eine starke Prozessorarchitektur und genügend Speicherkapazität bereitstellen. Das finale Processing findet offline statt. Mapping- Drohnen koppeln häufig Lidar-Systeme an die Bildverarbeitung, um eine höhere Genauigkeit und zusätzliche Messdaten zu generieren. Videostreaming stellt besondere Anforderungen an Sensoren Videostreaming ist eine der häufigsten Anwendungen für Drohnen. Sie sind in der Lage schwer zugängliches Gelände und weitläufige Gebiete zu beobachten und zu inspizieren, sie sind unauffällig und beweglich. Wichtige Faktoren sind daher Größe, Gewicht und Kosten. Zumeist werden Sensoren mit Auflösungen zwischen 1 und 10 MP gewählt, die maximal ein 4/3"-Format aufweisen. Die Drohne wertet Überwachungsbilder in Echtzeit aus und stößt in funktionalen Systemen Folgeaktionen an. Zudem sind große Pixel mit hoher Aufnahmekapazität, HDR-Modi und niedrige Signal-Noise- Ratio Kriterien für die Sensorauswahl. Spezielle Überwachungssensoren wie Sony’s IMX294 mit Quad-Bayer-Struktur geben im Normalmodus 2 × 2 gebinnte Pixel aus, vier Pixel werden für eine höhere Dynamik zu einem „Super-Pixel“ zusammengefasst. Das Ergebnis sind HDR-Bilder von bewegten Objekten mit minimalen Artefakten. Vision-basiertes Tracking Funktionale Drohnen nutzen vision-basiertes Tracking, um sich selbst und ihre Umgebung im Raum zu erkennen und auf dieser Basis zu navigieren. Das Tracking ermöglicht es z. B. mit FollowMe-Drohnen einem Menschen zu folgen oder Hindernisse zu umfliegen. Konkret nutzen sie dazu die 2Doder 3D-Bilddaten eines VS. Die Drohne kann sich anhand dieser Daten basis selbst steuern, ihre Flugrichtung und Geschwindigkeit anpassen, landen, ausweichen und Objekte verfolgen. Bei Tracking-Anwendungen ist die Bildqualität weniger wichtig, da das Bild direkt vom Prozessor ausgewertet wird und die Kamera als Sensor arbeitet. Das Kamerasystem ist hier zumeist tief in die Drohnensteuerung eingebettet und eher klein. Empfehlenswert ist der Einsatz von GS-Sensoren. Deep Learning-Algorithmen oder KI bieten für Drohnen mehr Sicherheit durch präzisere Kollisionsvermeidung und gestatten das autonome Tracking von Objekten und Personen. Zur Kollisionsvermeidung erkennt die Drohne selbstständig und in Echtzeit Hindernisse wie Wände, Bäume oder andere Objekte und führt präzise Ausweichmanöver durch. Für diese Aufgaben trainieren neuronale Netze die Software hinsichtlich der Erkennung von Objekten. Mindestens 10 000 Bilder, besser mehrere Millionen, sind als Testdaten für das maschinelle Lernen auf einem Hochleistungsrechner notwendig. Die Objekterkennung erfordert dann lediglich eine kleine, energieeffiziente Prozessorarchitektur, zum Beispiel einen ASIC-Chip. KI unterstützt Stereo Matching Neuronale Netze helfen nicht nur bei der Objekterkennung, sondern bereits beim Erstellen der Tiefeninformation in einer 3D- Kamera. Stereo Vision-Verfahren nutzen die Distanzbestimmung mittels Triangulation zwischen zwei Kameras zur Erstellung der 3D-Daten. Über das Stereo Matching zweier jeweils zueinander gehörender Referenzpunkte im linken und im rechten Bild wird die Disparität berechnet. Durch KI-basierte Ansätze für die Erstellung der Disparitäten können die Kanten von Objekten robuster detektiert und dadurch eine bessere Segmentierung der Szenerie erreicht werden. Bilder: Aufmacher Fotolia; sonstige Framos www.framos.com Kamerabasierte Prozessüberwachung in der Lasermaterialbearbeitung Um das Ergebnis der Lasermaterialbearbeitung direkt während der Bearbeitung beobachten und ggf. reagieren zu können, werden u. a. kamerabasierte Prozessüberwachungsmethoden eingesetzt. Abhängig von der Anwendung sind dabei verschiedene Methoden möglich. Bei der koaxialen Beobachtung durch das Scanobjektiv wird ein Teil des Lichts ausgehend von der Bearbeitungsfläche über das Scanobjektiv durch den Scankopf gelenkt und über einen Strahlteiler und ein Teleobjektiv auf einen Sensor abgebildet. Das Beobachtungsfeld wird somit immer zusammen mit dem Laserstrahl über das Bearbeitungsfeld geführt. Die Auflösung wird durch die Apertur des Scanners begrenzt. Abbildungsfehler, die durch das Scannersystem und die Wellenlängendifferenz zwischen Laser und Beobachtungswellenlänge entstehen, können durch den Einsatz von multispektralen F-Theta Objektiven und eine aufwändige Kalibrierung verringert, aber nicht vollständig behoben werden. Eine weitere Möglichkeit zur Beobachtung eines Laserprozesses ist die Installation eines Objektivs mit seitlicher Ausrichtung auf die Bearbeitungsfläche. Durch die schräge Betrachtung entsteht abhängig von Kippwinkel, Arbeits abstand und Feldgröße eine Weglängendifferenz von Objektiv zu Bearbeitungsfeld. Laut dem Scheimpflug-Prinzip kann die Unschärfe einer gekippten Objektebene durch eine ebenfalls verkippte Sensorebene kompensiert werden. Um dies zu realisieren, bietet Sill Optics kundenspezifische Adapter an, die in das Objektiv sensorseitig integriert werden. Durch den Einsatz von telezentrischen bzw. bi-telezentri schen Objektiven kann die durch die Verkippung entstandene Verzeichnung deutlich reduziert werden. Für transparente Werkstücke gibt es noch die spezielle Möglichkeit, die Bearbeitungsfläche von unten durch das Objekt zu betrachten. www.silloptics.de INDUSTRIELLE AUTOMATION 4/2019 37