Mit dem 3D-Drucker zu einer besseren Tiefenwahrnehmung

 

Frontale Ansicht der Stereokamera mit fertig montiertem Ringlicht und Laser zur Verbesserung der Tiefenwahrnehmung.

Im Zuge des Forschungsprojektes MeMoRob verwenden wir eine Stereokamera. Damit erhalten wir nicht nur die Farbinformationen aufgezeichneter Objekte, sondern können auch deren Abstand zur Kamera zu bestimmen.

Beschreibung der Stereokamera

Die Stereokamera zeichnet den gleichen Bereich ähnlich der menschlichen Wahrnehmung mit zwei Kameras gleichzeitig auf. In den beiden Bildern vergleicht der Algorithmus der Kamera dann die Positionen markanter Punkte. Anhand des bekannten Abstandes der beiden Kameras zueinander und der Berechnung des Positionsunterschiedes der Punkte wird dann die Distanz des Objektes zur Kamera zu berechnet.

Um das Finden solcher markanten Punkte zu verbessern, brachten wir ein Ringlicht und einen Laserpointer mit Streuung an der Kamera an. Hierfür konstruierten wir Halterungen, die zu den existierenden Anschraubpunkten der Kamera kompatibel sind. Diese Halterungen konnten wir direkt mit dem 3D-Drucker herstellen, sodass sie zeitnah zum Einsatz bereitstanden. Mit ihrer Hilfe befestigten wir die zusätzliche Hardware präzise an der Kamera.

Versuchsaufbau der Stereokamera für MemoRob von oben

Versuchsaufbau für MeMoRob mit der Stereokamera

Die Problemstellung

Ohne eine konstante Beleuchtung ist die Helligkeit der Aufnahmen stark von den umgebenden Lichtverhältnissen abhängig. Auf einer mobilen Plattform wie bei dem Projekt MeMoRob kann sich die Umgebungsbeleuchtung schnell ändern, was zu Problemen führen kann. Die Helligkeit in einem Bild lässt sich im groben durch die beiden Faktoren Beleuchtung und Belichtungszeit beeinflussen. Da die Bildqualität bei einer automatischen Anpassung der Belichtungszeit stark schwanken kann, setzen wir die Belichtungszeit auf einen festen Wert.

Die Lösung

Durch das Ringlicht bekommen wir in den Versuchen eine konstante Helligkeit in den Bildern, die zur gewählten Belichtungszeit passt. Dadurch verbessert sich die Menge an erkannten Punkten und mit dieser wiederum die Genauigkeit der wahrgenommenen Tiefe. Je mehr markante Stellen im Bild vorhanden sind, desto besser kann der Abstand zur Kamera bestimmt werden. Deshalb modifizierten wir die Halterung des Ringlichtes, sodass ein Laserpointer mit Streuung darin eingespannt werden kann. Dieser wirft nun ein Punkteraster auf den Bereich, der von den Kameras aufgezeichnet wird. Durch die zusätzlichen Punkte des Laserpointers ist es uns möglich, die Tiefe auch an Stellen gut zu bestimmen, an denen die Farbe der aufgezeichneten Objekte sehr einheitlich ist.

Da eine Dauerbelastung des Lichtes und des Lasers vermieden werden soll, ermöglichten wir ein An- beziehungsweise Ausschalten der beiden Lichtquellen über eine Netzwerkschnittstelle. Dies ermöglicht es uns, die Komponenten nur während einer angeforderten Bildaufzeichnung anzuschalten. Um dies beim Ringlicht zu ermöglichen, modifizierten wir den Schalter des Ringlichtes mit einem zusätzlichen Ausgang.

Nahe Ansicht der Halterung für für den Servomotor zum An- und Ausschalten des Lasers

Halterung des Servomotors, um den Laser an- und auszuschalten

Nach einer ersten Bohrung ins Gehäuse unseres Laserpointers war zu erkennen, dass diese Modifikation nicht umsetzbar ist, ohne dafür das Gehäuse größer aufsägen oder sogar gänzlich entfernen zu müssen. Um dies zu vermeiden, modellierten und druckten wir eine weitere Halterung, mit der ein Servomotor so befestigt wurde, dass sich damit der Knopf zum An- und Ausschalten des Laserpointers betätigen lässt.

Mit Hilfe der 3D-gedruckten Teile, können wir schnell Anpassungen vornehmen sowie testen und dadurch eine deutliche Verbesserung der Tiefenwahrnehmung mit der Stereokamera erreichen.

Gallerie

ATR auf der ECCOMAS 2022

 

Foto des Vortrags von ATR Software auf dem 8. European Congress on Computational Methods in Applied Sciences and Engineering

Vom 5. bis zum 9. Juni 2022 nahm ich für die ATR Software GmbH beim 8. European Congress on Computational Methods in Applied Sciences and Engineering (ECCOMAS) in Oslo teil. Die Konferenz zählt im Bereich der numerischen Mathematik zu den größten und einflussreichsten Konferenzen Europas. Insgesamt konnten die über 6000 Teilnehmenden aus 46 Nationen dort aus einem Programm von über 150 Minisymposien wählen, in denen über 1000 Vorträge angeboten wurden.

Das vielfältige Thema Modellreduktion

Hierbei waren wir insbesondere im Minisymposium „Model Order Reduction – Challenges in Engineering and Industrial Applications“ unter der Leitung von Dr. Annika Robens-Radermacher von der Bundesanstalt für Materialforschung und -prüfung vertreten. Mit der Modellreduktion (im Englischen Model Order Reduction) versucht man rechenaufwendige Modelle so zu vereinfachen, dass die Lösung in einem Bruchteil der ursprünglichen Zeit berechnet werden kann, ohne die Qualität der Lösung zu stark zu beinträchtigen. Die Keynote Lecture hielt Prof. Dr. Gianluigi Rozza über folgendes Thema: State of the Art and Perspectives for Reduced Order Methods in Industrial Computational Fluid Dynamics.

In den weiteren Vorträgen des Minisymposiums wurden Anwendungsfelder und -beispiele der Modellreduktion vorgestellt und beleuchtet. ATR präsentierte hier Anwendungsideen aus dem Bereich der Produktionsplanung und der Industrie 4.0. Auch hier ist das Thema Modellreduktion wichtig, um in Echtzeit Berechnungen durchführen zu können.

Plenumsvorträge von den Koryphäen des wissenschaftlichen Rechnens

Neben den Minisymposien gab es 6 Plenary Lectures, welche vor allen Anwesenden gehalten wurden. Hier trug unter anderem Thomas J.R. Hughes, einer der führenden und einflussreichsten Wissenschaftler im Bereich der numerischen Mathematik vor. Zudem gab es Vorträge von George Karniadakis, Experte für Physics-informed Neural Networks, also Neuronale Netze, die physikalische Gleichungen berücksichtigen können, Pål G. Bergan, David Keyes, Annalisa Buffa und Paul Steinmann.

Sightseeing in Oslo

Die ganze Veranstaltung fand im Kongresszentrum Nova Spektrum in Lillestrøm, einem Vorort von Oslo, statt. Abgerundet wurde die Konferenz durch ein Conference Dinner, bei dem typisch für die norwegische Küche, Lachs und Wild serviert wurden.

Da Anfang Juli die Tage in Oslo bedingt durch die nördliche Lage, fast 19 Stunden lang sind, blieb noch einige Zeit, die Stadt Oslo zu erkunden. Zu den Highlights gehören hier das königliche Schloss, das Opernhaus im Hafen, der Osloer Dom sowie der Frognerpark.

Thermische Kalibrierung mit Waffeln

Das Software-Modul „Data Analytics” der ATR-Softwareplattform umfasst eine Vielzahl von Methoden und Lösungen zur Verarbeitung und Aufbereitung von Daten, die aus verschiedensten Bereichen erhoben werden. Zuletzt entwickelten wir in diesem Bereich eine Kalibrierungssoftware für eine Wärmebildkamera. Zur Unterstützung des Entwicklungsprozesses und Verifizierung der Ergebnisse wurde folgender auf den ersten Blick etwas ungewöhnliche Versuchsaufbau vorgenommen:

In manchen Produktionsschritten ist es nötig, die Temperaturen einer Oberfläche exakt zu bestimmen, um diese anschließend auswerten oder durch Heizen und Kühlen an gezielten Stellen anpassen zu können. Hierfür kann eine Infrarot(IR)-Kamera verwendet werden. Diese Kamera liefert ein Wärmebild, in dem die Temperaturen der aufgezeichneten Oberfläche angezeigt werden. IR-Kameras weißen jedoch Ungenauigkeiten auf, die dafür sorgen, dass die angezeigten Werte für manche Anforderungen nicht präzise genug sind.

Zur Kalibrierung und dem damit verbundenen Ausgleich von Ungenauigkeiten einer IR-Kamera kann ein Pyrometer verwendet werden. Denn ein Pyrometer ist ein Sensor, der für einen einzelnen Punkt die Temperatur extrem genau bestimmen kann.

Nahaufnahme der IR Kamera mit darüber befestigtem Pyrometer.
Nahaufnahme der IR Kamera mit darüber befestigtem Pyrometer

Das Pyrometer wird hierzu auf einen Punkt ausgerichtet, der im Bild der IR-Kamera ebenfalls zu sehen ist. Danach wird die Abweichung zwischen der an dieser Stelle gemessenen Temperatur im IR-Bild mit dem genaueren Wert des Pyrometers bestimmt. Diese Abweichung wird dann zur Berechnung einer Korrektur verwendet. Anhand dieser Berechnung kann anschließend die Genauigkeit des gesamten IR-Bildes optimiert werden.

Zur Bestimmung der Korrekturfunktion führten wir eine umfangreiche Versuchsreihe durch. Das Ziel dabei war es, die Größenordnung der Ungenauigkeiten zu bestimmen und herauszufinden, wie sie sich diese Ungenauigkeiten bei unterschiedlich hohen Temperaturen verhalten.

Das Waffeleisen diente uns hierbei als Oberfläche im Versuchsaufbau, weil damit verschiedene, teilweise sehr hohe Temperaturen von über 200 °C erreicht werden können. Dafür platzierten wir die Heizfläche des Gerätes vor der IR-Kamera und richteten anschließend das Pyrometer darauf aus.

Lokalisieren des Messpunktes des Pyrometers anhand der Temperaturunterschiede zwischen Finger und Waffeleisen
Lokalisieren des Messpunktes des Pyrometers anhand der Temperaturunterschiede zwischen Finger und Waffeleisen

Danach heizten wir das Waffeleisen maximal auf. Bei einer Temperatur von ca. 210 °C laut Pyrometer überprüften wir, wie hoch die gemessene Temperatur an dieser Stelle im IR-Bild ist. Anschließend schalteten wir das Waffeleisen ab und hielten beim Abkühlen in 10 °C Schritten jeweils die Abweichung zwischen Pyrometer und IR-Bild fest.

Angleichen einer Funktion an den Verlauf der Gemessenen Werte gezeigt mit Hilfe eines Graphen, der die Ergebnisse zeigt.
Angleichen einer Funktion an den Verlauf der Gemessenen Werte

Mittels dieser Messergebnisse bestimmten wir eine Funktion, die das Verhalten der Kamera in Relation zum Pyrometer bei unterschiedlichen Temperaturen beschreibt. Auf Basis dieser Erkenntnisse konnten wir dann einen exakten Kalibriervorgang für die IR-Kamera mithilfe des Pyrometers umsetzen und testen.

Als netter Nebeneffekt wurden bei dem Versuch noch Waffeln für die Kollegen produziert!

Gallerie

 

Resiliente Produktionsplanung und -steuerung durch den Einsatz von Künstlicher Intelligenz (KI)

Leiterplatte eines Computers als Hintergrund. Mittig im Vordergrund ein stilisiertes Gehirn, das für das KI-Modul des Forschungsprojektes ProsKI steht.

Gemeinsam mit mehreren Forschungseinrichtungen und Industriepartnern ist ATR Software an dem Forschungsprojekt ProsKI – Resiliente Produktionsplanung und -steuerung durch den Einsatz von künstlicher Intelligenz (KI) beteiligt. Initiiert wird das Projekt von dem Bayerischen Verbundforschungsprogramm (BayVFP) des Freistaates Bayern.

Das Forschungsprojekt hat folgendes Ziel: Für bestehende und zukünftige Produktionssysteme wird ein flexibel integrierbares KI-Modul für resiliente Produktionsplanungs- und -steuerungssysteme entwickelt. Dabei bildet das Modul durch KI-Methoden ein Assistenzsystem für das Störmanagement innovativer Fertigungen. Basierend auf realen Produktionsdaten wird eine Methodik entwickelt, die zum einen im Fehlerfall den Bediener in seiner Entscheidungsfindung im Umgang mit der aufgetretenen Störung unterstützt. Zum anderen mit Hilfe des entwickelten Moduls nicht nur auf Ereignisse reagieren kann, sondern anhand der vorliegenden Produktionsdaten auch zukünftige Störfälle durch Wissensaufbau prognostiziert und in der Produktionsprogrammplanung genutzt werden kann.

ATR Software entwickelt in Zusammenarbeit mit dem Lehrstuhl für Organic Computing (OC) der Universität Augsburg die KI-Methodik für das Störmanagement und das Prognosemodell für zukünftige Produktionsprogramme. Hierzu zählt der Datenaustausch zwischen den Anlagen auf Produktionsebene und dem übergeordneten IT-System. Zudem wird die Datenvorbereitung für die KI-Methoden entwickelt und die Anbindung der daraus resultierenden Daten für das Planungssystem erforscht.

Das KI-Modul soll in Verbindung mit dem eigenen Produkt InnoMES getestet werden. InnoMES ist eine innovative MES-Lösung, die gemeinsam mit einem Leitsystem, dem IoT Gateway, dem Modul Data Analytics und dem Modul Computer Vision die ATR Software-Plattform für produzierende Unternehmen bildet.

Für weitere Informationen stehen wir Ihnen gerne zur Verfügung.

Mensch und mobiler Roboter in einer Arbeitsumgebung

Arm eines Roboters und menschlicher Arm, die zweiZahnräder einanderhalten. Symbolisiert Mensch  und mobilen Roboter in einer Arbeitsumgebung.

Gemeinsam mit der FuE-Einrichtung Fraunhofer IGCV und mehreren Industriepartnern ist ATR Software an dem Forschungsprojekt MeMoRob – Mensch und mobiler Roboter in einer Arbeitsumgebung beteiligt. Das Forschungsprojekt wird vom FuE-Programm „Informations- und Kommunikationstechnik“ des Freistaates Bayern gefördert.

Mobile Robotersysteme bieten das Potenzial für eine flexible Automatisierung, finden bisher jedoch wenig Anwendung. Für den flexiblen Einsatz in der Produktion bedarf es an intelligenten Greifstrategien und Interaktionsfähigkeiten des Roboters, sodass Menschen mit ihm kommunizieren können. Beide Bereiche sind Ziele des Projekts MeMoRob.

Des Weiteren können Mensch und Roboter als Partner fungieren und sich im Rahmen einer Mensch-Roboter-Kooperation gegenseitig unterstützen. In diesem Fall werden die Interaktionsfähigkeiten dazu verwendet, dem Menschen Informationen über den Zustand des Robotersystems mitzuteilen. Zur Erreichung der übergeordneten Ziele werden als Teilziele die Mensch- und Objektdetektion betrachtet. Bei der Objektdetektion wird insbesondere die praktische Anwendbarkeit durch Verringerung des Trainingsaufwands fokussiert.

Die ATR Software beschäftigt sich bei diesem Projekt mit den Themen der Robot Vision und den Algorithmen zum Greifen. Damit soll es ermöglicht werden, die zu greifenden Objekte zu detektieren und an den richtigen Stellen zu greifen.

Für weitere Informationen stehen wir Ihnen gerne zur Verfügung.

Gutes Holz, schlechtes Holz?

 

Klassifikation der Holzgüte mit künstlicher Intelligenz und Fluoreszenzlebensdauer

 

Hintergrund

Holz ist weltweit einer der wichtigsten nachwachsenden Rohstoffe. Durch Fotosynthese entzieht es der Atmosphäre das Treibhausgas CO2 und leistet einen wichtigen Beitrag zum Klimaschutz. Holz ist wesentlicher und wertvoller Bestandteil unseres Wertstoffreislaufs. In Recycling-Anlagen kann Holz entsprechend seiner Güte als Baustoff weiterverwertet oder falls keine weitere Nutzung sinnvoll erscheint – verbrannt werden.

Die Altholzverordnung kennt dabei vier Güteklassen:
  • AI         Unbehandeltes Holz
  • AII        Geringfügig oberflächlich behandeltes Holz
  • AIII       Oberflächlich behandeltes Holz
  • AIV       Schadstoffversetztes Holz

Stand heute werden die Holzmassen durch visuelle Inspektion erfahrener Mitarbeiter händisch sortiert. Die Sortierung erfolgt dabei konservativ, das heißt im Zweifel ordnen die Mitarbeiter das Holz in eine geringwertigere Klasse ein. Zudem können mit bloßem Auge Verunreinigungen und Kontaminationen im Holzinnern nicht erkannt werden. Weil sie zu divers und nicht eindeutig sind, bleiben dadurch große Massen im Materialstrom gänzlich unsortiert.

Die Idee der Sortierung mit KI und Fluoreszenz

Hier kommt die Fluoreszenzlebensdauer ins Spiel. Fluores…was? Die Fluoreszenslebensdauer wird auch Fluoreszenzabklingzeit genannt. Sie gibt die durchschnittliche Zeit an, die ein Molekül bei der Fluoreszenz im angeregten Zustand bleibt, bevor es in den Grundzustand zurückkehrt. Fluoreszenz bezeichnet dabei die Fähigkeit mancher Moleküle, Licht bei einer bestimmten Wellenlänge zu absorbieren. Fluoreszenzlebensdauern sind sehr kurz. Sie bewegen sich im Bereich vonanosekunden oder wissenschaftlich formuliert: Zwischen 10-9 und 10-7 Sekunden.

Nun wäre es schön, wenn eine Holzgüte immer die gleiche Fluoreszenzabklingzeit hat und man einen Schwellwert einfügt, im Sinne von: Wenn Abklingzeit größer Schwellwert, dann Holzgüte AI sonst nicht. Das ist aber in der Realität nicht der Fall. Ein Stück Holz hat verschiedene Abklingzeiten, die von vielen Parametern abhängen. Zum Beispiel von der Wellenlänge, die für die Anregung genommen wird, und der Stelle am Holz, an der gemessen wird. Außerdem von den verwendeten Filtern und dem Messabstand zum Holzstück. Diese Parameter könnte man nun fixieren, aber: Die Kamera liefert nicht eine Fluoreszenzlebensdauer pro Stück Holz und Messung, sondern über eine Million.

Dies ergibt eine Verteilung von Fluoreszenzlebensdauern, welche mit wissenschaftlichen Methoden und Tools aus der Data Science und künstlicher Intelligenz analysiert und klassifiziert werden kann. Wenn sich die Verteilungen der Fluoreszenzlebensdauern zwischen den Holzgüten unterscheiden, dann kann sie die KI erkennen und klassifizieren. Ob und wie gut das möglich ist, soll im Rahmen des Forschungsprojektes FrIDAh (Fluoreszenz-ID von Altholz) erforscht und erprobt werden.

Wir von ATR Software sind Teil des Forschungsprojektes und unterstützen die Projektpartner hierbei mit unserer Expertise in Software-Engineering, Data Science und Künstlicher Intelligenz. Das Endziel dieses Projekts ist der Bau eines Roboters, der mithilfe unserer KI das gute Holz vom Schlechten unterscheiden kann. Perspektivisch soll damit der Sortiervorgang automatisiert werden.