Edge-AI-Kamera für automatisierte Robotik – future_lab, exploring tomorrows technologies today

Edge AI Kamera für automatisierte Robotik

Selbst-trainierte KI-Algorithmen auf einer günstigen Open-Source-Kamera deployen und mit einem 6-Achs-Roboter verbinden? Wir haben mit Edge-AI-Kameras und Neuronalen Netzen eine flexible Lösung für Pick-&-Place-Anwendungen in der Robotik entwickelt.

Use Case_

Ein Klassiker im Bereich Computer Vision bei industriellen Anwendungen: Overengineering. Insbesondere in der Robotik stellen Kamerasysteme zusätzlich einen beachtlichen Kostenpunkt dar. Eine Kamera mit entsprechender Software verursacht nicht selten Aufwände im hohen 4-stelligen Bereich. Das scheint unverhältnismäßig, deshalb haben wir alternative Lösungen exploriert.

Mit unserem Setup können wir eine klassische Pick-&-Place-Anwendung umsetzen und dabei die Stärken der Edge-AI-Kamera ausspielen. So kommuniziert die Kamera dem Roboterarm nicht nur welche Position angefahren werden soll, sondern führt parallel auch Algorithmen zum Tracken und zur Qualitätskontrolle der detektierten Objekte aus.

Überblick des Setups mit Roboter und 2 OAK–D Kameras

Mit einem Kamerabudget von 400$ haben wir eine klassische Pick-&-Place-Anwendung für KMU umgesetzt, die ausreichende Ergebnisse für eine Vielzahl an möglichen industriellen Anwendungen erzielt. Wir verwenden dafür die Edge-AI-Kamera OAK–D des Herstellers Luxonis. Ihre depthAI-API ermöglicht es, Computer-Vision-Algorithmik und neuronale Netze direkt auf der Kamera rechnen zu lassen. So können die Bilddaten der Kamera “on the edge” weiterverarbeitet werden, ohne externen Computer oder Server.

Technology in a nutshell_

Für das Experiment haben wir den 6-Achs-Roboter HORST von fruitcore robotics angesteuert. Um Objekte mit HORST zu greifen und zu platzieren, müssen diese zunächst im Umfeld des Roboterarms erkannt und lokalisiert werden. Auf der Edge-AI-Kamera OAK–D von Luxonis deployen wir ein YOLOv5 Neuronales Netz und trainieren das Netz mit einem Datensatz verschiedener Objektbilder. Eine automatisierte Pipeline nimmt die Trainingsbilder mit der Kamera auf und sendet sie an Roboflow. Roboflow labelt die Bilder und erweitert den Datensatz künstlich durch klassische Augmentierungs-Algorithmen.

Wir tracken die erkannten Objekte in Relation zu den Kameras, um zum Beispiel ein Objekt auf seinem Weg durch die Produktion zu verfolgen. Dafür nutzen wir zwei Kameras als kalibriertes System.

Mit Optical Character Recognition (OCR) und der Tesseract Engine von Google erkennen wir relevante Daten auf den detektierten Objekten. So können wir beispielsweise in einer Qualitätssicherung kontrollieren, ob das Mindesthaltbarkeitsdatum überschritten wurde – oder, ob der Barcode im System registriert ist. Bevor die Bilder der Objekte in die OCR-Engine gegeben werden, präprozessieren wir sie mit Computer-Vision-Algorithmen und optimieren sie auf die Merkmale.

Fields of Application_

Wie wir mit unserem Experiment gezeigt haben, bietet die OAK–D als Vision-Plattform eine Vielzahl an möglichen Anwendungen im industriellen Umfeld.

Wie im Experiment zu sehen ist, können Features wie die Erkennung und Lokalisierung von Objekten durch neuronale Netze, dem Tracking von erkannten Objekten und dem Auslesen von Barcodes und Textfeldern problemlos umgesetzt werden.

Bild aus der Qualitätssicherungsprozess mit der OAK–D: Ein Objekt wird überprüft und erfüllt die Qualitätsprüfung

Weitere denkbare Anwendungen sind beispielsweise die Kontrolle beim Ein- und Ausgang von Waren oder die Kommissionierung von Artikeln für den Paketversand. Auch in der Vereinzelung von Schüttgut könnte die OAK-D problemlos eingesetzt werden.

Der große Vorteil von Edge-AI-Kameras wie der OAK–D: Sie führen Software “on the edge” aus und setzen dabei keine Restriktionen. So sind sie extrem flexibel und eine leistungsfähige Alternative zu kostspieligen, etablierten Kamerasystemen in industriellen Anwendungen.