Im Zuge des Forschungsprojektes MeMoRob verwenden wir eine Stereokamera. Damit erhalten wir nicht nur die Farbinformationen aufgezeichneter Objekte, sondern können auch deren Abstand zur Kamera bestimmen.

Beschreibung der Stereokamera

Die Stereokamera zeichnet den gleichen Bereich ähnlich der menschlichen Wahrnehmung mit zwei Kameras gleichzeitig auf. In den beiden Bildern vergleicht der Algorithmus der Kamera dann die Positionen markanter Punkte. Anhand des bekannten Abstandes der beiden Kameras zueinander und der Berechnung des Positionsunterschiedes der Punkte wird dann die Distanz des Objektes zur Kamera zu berechnet.

Um das Finden solcher markanten Punkte zu verbessern, brachten wir ein Ringlicht und einen Laserpointer mit Streuung an der Kamera an. Hierfür konstruierten wir Halterungen, die zu den existierenden Anschraubpunkten der Kamera kompatibel sind. Diese Halterungen konnten wir direkt mit dem 3D-Drucker herstellen, sodass sie zeitnah zum Einsatz bereitstanden. Mit ihrer Hilfe befestigten wir die zusätzliche Hardware präzise an der Kamera.

Versuchsaufbau für MeMoRob mit der Stereokamera

Die Problemstellung

Ohne eine konstante Beleuchtung ist die Helligkeit der Aufnahmen stark von den umgebenden Lichtverhältnissen abhängig. Auf einer mobilen Plattform wie bei dem Projekt MeMoRob kann sich die Umgebungsbeleuchtung schnell ändern, was zu Problemen führen kann. Die Helligkeit in einem Bild lässt sich im groben durch die beiden Faktoren Beleuchtung und Belichtungszeit beeinflussen. Da die Bildqualität bei einer automatischen Anpassung der Belichtungszeit stark schwanken kann, setzen wir die Belichtungszeit auf einen festen Wert.

Die Lösung

Durch das Ringlicht bekommen wir in den Versuchen eine konstante Helligkeit in den Bildern, die zur gewählten Belichtungszeit passt. Dadurch verbessert sich die Menge an erkannten Punkten und mit dieser wiederum die Genauigkeit der wahrgenommenen Tiefe. Je mehr markante Stellen im Bild vorhanden sind, desto besser kann der Abstand zur Kamera bestimmt werden. Deshalb modifizierten wir die Halterung des Ringlichtes, sodass ein Laserpointer mit Streuung darin eingespannt werden kann. Dieser wirft nun ein Punkteraster auf den Bereich, der von den Kameras aufgezeichnet wird. Durch die zusätzlichen Punkte des Laserpointers ist es uns möglich, die Tiefe auch an Stellen gut zu bestimmen, an denen die Farbe der aufgezeichneten Objekte sehr einheitlich ist.

Da eine Dauerbelastung des Lichtes und des Lasers vermieden werden soll, ermöglichten wir ein An- beziehungsweise Ausschalten der beiden Lichtquellen über eine Netzwerkschnittstelle. Dies ermöglicht es uns, die Komponenten nur während einer angeforderten Bildaufzeichnung anzuschalten. Um dies beim Ringlicht zu ermöglichen, modifizierten wir den Schalter des Ringlichtes mit einem zusätzlichen Ausgang.

Halterung des Servomotors, um den Laser an- und auszuschalten

Nach einer ersten Bohrung ins Gehäuse unseres Laserpointers war zu erkennen, dass diese Modifikation nicht umsetzbar ist, ohne dafür das Gehäuse größer aufsägen oder sogar gänzlich entfernen zu müssen. Um dies zu vermeiden, modellierten und druckten wir eine weitere Halterung, mit der ein Servomotor so befestigt wurde, dass sich damit der Knopf zum An- und Ausschalten des Laserpointers betätigen lässt.

Mit Hilfe der 3D-gedruckten Teile, können wir schnell Anpassungen vornehmen sowie testen und dadurch eine deutliche Verbesserung der Tiefenwahrnehmung mit der Stereokamera erreichen.

Gallerie

Das Software-Modul „Data Analytics” der ATR-Softwareplattform umfasst eine Vielzahl von Methoden und Lösungen zur Verarbeitung und Aufbereitung von Daten, die aus verschiedensten Bereichen erhoben werden. Zuletzt entwickelten wir in diesem Bereich eine Kalibrierungssoftware für eine Wärmebildkamera. Zur Unterstützung des Entwicklungsprozesses und Verifizierung der Ergebnisse wurde folgender auf den ersten Blick etwas ungewöhnliche Versuchsaufbau vorgenommen:

In manchen Produktionsschritten ist es nötig, die Temperaturen einer Oberfläche exakt zu bestimmen, um diese anschließend auswerten oder durch Heizen und Kühlen an gezielten Stellen anpassen zu können. Hierfür kann eine Infrarot(IR)-Kamera verwendet werden. Diese Kamera liefert ein Wärmebild, in dem die Temperaturen der aufgezeichneten Oberfläche angezeigt werden. IR-Kameras weißen jedoch Ungenauigkeiten auf, die dafür sorgen, dass die angezeigten Werte für manche Anforderungen nicht präzise genug sind.

Zur Kalibrierung und dem damit verbundenen Ausgleich von Ungenauigkeiten einer IR-Kamera kann ein Pyrometer verwendet werden. Denn ein Pyrometer ist ein Sensor, der für einen einzelnen Punkt die Temperatur extrem genau bestimmen kann.

Das Pyrometer wird hierzu auf einen Punkt ausgerichtet, der im Bild der IR-Kamera ebenfalls zu sehen ist. Danach wird die Abweichung zwischen der an dieser Stelle gemessenen Temperatur im IR-Bild mit dem genaueren Wert des Pyrometers bestimmt. Diese Abweichung wird dann zur Berechnung einer Korrektur verwendet. Anhand dieser Berechnung kann anschließend die Genauigkeit des gesamten IR-Bildes optimiert werden.

Zur Bestimmung der Korrekturfunktion führten wir eine umfangreiche Versuchsreihe durch. Das Ziel dabei war es, die Größenordnung der Ungenauigkeiten zu bestimmen und herauszufinden, wie sie sich diese Ungenauigkeiten bei unterschiedlich hohen Temperaturen verhalten.

Das Waffeleisen diente uns hierbei als Oberfläche im Versuchsaufbau, weil damit verschiedene, teilweise sehr hohe Temperaturen von über 200 °C erreicht werden können. Dafür platzierten wir die Heizfläche des Gerätes vor der IR-Kamera und richteten anschließend das Pyrometer darauf aus.

Danach heizten wir das Waffeleisen maximal auf. Bei einer Temperatur von ca. 210 °C laut Pyrometer überprüften wir, wie hoch die gemessene Temperatur an dieser Stelle im IR-Bild ist. Anschließend schalteten wir das Waffeleisen ab und hielten beim Abkühlen in 10 °C Schritten jeweils die Abweichung zwischen Pyrometer und IR-Bild fest.

Mittels dieser Messergebnisse bestimmten wir eine Funktion, die das Verhalten der Kamera in Relation zum Pyrometer bei unterschiedlichen Temperaturen beschreibt. Auf Basis dieser Erkenntnisse konnten wir dann einen exakten Kalibriervorgang für die IR-Kamera mithilfe des Pyrometers umsetzen und testen.

Als netter Nebeneffekt wurden bei dem Versuch noch Waffeln für die Kollegen produziert!

Gallerie

Gemeinsam mit der FuE-Einrichtung Fraunhofer IGCV und mehreren Industriepartnern ist ATR Software an dem Forschungsprojekt MeMoRob – Mensch und mobiler Roboter in einer Arbeitsumgebung beteiligt. Das Forschungsprojekt wird vom FuE-Programm „Informations- und Kommunikationstechnik“ des Freistaates Bayern gefördert.

Mobile Robotersysteme bieten das Potenzial für eine flexible Automatisierung, finden bisher jedoch wenig Anwendung. Für den flexiblen Einsatz in der Produktion bedarf es an intelligenten Greifstrategien und Interaktionsfähigkeiten des Roboters, sodass Menschen mit ihm kommunizieren können. Beide Bereiche sind Ziele des Projekts MeMoRob.

Des Weiteren können Mensch und Roboter als Partner fungieren und sich im Rahmen einer Mensch-Roboter-Kooperation gegenseitig unterstützen. In diesem Fall werden die Interaktionsfähigkeiten dazu verwendet, dem Menschen Informationen über den Zustand des Robotersystems mitzuteilen. Zur Erreichung der übergeordneten Ziele werden als Teilziele die Mensch- und Objektdetektion betrachtet. Bei der Objektdetektion wird insbesondere die praktische Anwendbarkeit durch Verringerung des Trainingsaufwands fokussiert.

Die ATR Software beschäftigt sich bei diesem Projekt mit den Themen der Robot Vision und den Algorithmen zum Greifen. Damit soll es ermöglicht werden, die zu greifenden Objekte zu detektieren und an den richtigen Stellen zu greifen.

Für weitere Informationen stehen wir Ihnen gerne zur Verfügung.