Abschlusstreffen von FrIDAH

Titelbild Blogartikel zum Abschlusstreffen des Forschungsprojekts FriDAh

FrIDAH-Projekt erfolgreich abgeschlossen: Sortier-Roboter in Aktion

Nach drei Jahren Projektlaufzeit konnten wir das Projekt FrIDAH erfolgreich abschließen. Aufgrund dieses Anlasses fand am 20. Februar das Abschlusstreffen mit unseren Projektpartnern an der Technischen Hochschule Rosenheim statt. Bei diesem Treffen konnten wir die finale Version des Sortier-Roboters auf Herz und Nieren testen. Dieser Roboter funktioniert folgendermaßen:

Der Roboter besitzt eine Kamera, die Objekte auf der weißen Fläche unter sich erkennen kann. Danach bewegt er sich zur erkannten Position, um das Objekt, in diesem Fall ein Holzstückchen aufzusammeln. Mithilfe eines Saugnapfs, der vorne am Roboterarm befestigt ist, wird das Holz angesaugt. Im nächsten Schritt wird es über die Kamera bewegt und wieder losgelassen. Die Kamera wird nun angesteuert und erstellt dann ein Fluoreszenzbild. Dieses Bild wird zur Kategorisierung der Holzgüte an unsere KI gesendet, die das Ergebnis, ob es sich um gutes oder schlechtes Holz handelt, an den Roboterarm zurückgibt. Dieser sammelt das Stück Holz wieder auf und ordnet es der passenden Box zu.  

Sortierung von Altholz im Rahmen des Forschungsprojektes FrIDAH

Das Video wird von YouTube eingebettet und erst beim Klick auf den Play-Button geladen. Es gelten die Datenschutzerklärungen von Google.

Wir freuen uns über eine gelungene Zusammenarbeit mit unseren Projektpartnern und über das tolle Ergebnis des FrIDAH-Projekts. Gemeinsam konnten wir eine innovative Technologie erarbeiten, die die Altholzsortierung zukünftig vereinfachen wird.

Hintergrund

Holz gilt als einer der wichtigsten nachwachsenden Rohstoffe weltweit und ist ein essenzieller Bestandteil des Wertstoffkreislaufs. Mithilfe von speziellen Recyclinganlagen kann das Holz in vier verschiedene Güteklassen eingeteilt werden. Danach wird entschieden, ob das Holz recycelt werden kann oder aufgrund seiner Beschaffenheit entsorgt werden muss. Die Sortierung erfolgt jedoch immer noch von Hand, wodurch Holz oftmals in eine geringwertigere Güte eingeteilt wird und somit entsorgt werden muss.

Um diese Problematik zu lösen, wurde das Forschungsprojekt „FrIDAH“ (Fluoreszenz-ID von Altholz) ins Leben gerufen. Ziel des Projekts ist die Automatisierung der Altholzsortierung mithilfe der Fluoreszenzlebensdauer und künstlicher Intelligenz. Wenn Sie mehr über das Projekt FrIDAH erfahren möchten, können Sie weitere Informationen auf der Webseite in unserem Forschungsbereich finden.

Wir von ATR Software unterstützen das Forschungsprojekt und unsere Projektpartner mithilfe unserer Expertise in den Feldern Software-Engineering, Data Science und Künstlicher Intelligenz. Das Endziel des Projekts ist der Bau eines Roboters, der mithilfe unserer KI das gute Holz vom Schlechten unterscheiden und somit die Altholzsortierung automatisieren kann.

 

Eine Fabrik im Miniaturformat

Das Bild zeigt die Lernfabrik von fischer Technik im Büro der ATR Software GmbH in Neu-Ulm.

Eine typische Fabrik erledigt eine Vielzahl von Dingen: Produkte können verarbeitet, überprüft, bewegt sowie ein- und ausgelagert werden. Hierzu werden Aktuatoren über eine speicherprogrammierbare Steuerung (SPS) angesteuert und Sensoren erfassen all die relevanten Prozessparameter sowie zum Teil auch äußere Einflüsse. Um generische Digitale Zwillinge hierfür zu erforschen, wie es Teil des Forschungsprojektes DigiPrüf ist, werden reale Vorbilder benötigt. Wie schön wäre es da, wenn man eine ganze Fabrik im Miniaturformat hätte, die sich wie eine „echte“ Fabrik verhält und an der sich neu entwickelte Methoden testen lassen könnten.

Genau zu diesem Zweck haben wir von ATR Software nun eine Lernfabrik 4.0 von fischertechnik in unserem Labor. Dieses Fabrikmodell besteht aus verschiedenen Stationen, die typische Abläufe einer Fabrik nachbilden:

  • An einer „Delivery and Pickup Station” können einerseits Produkte in der Form von farbigen NFC-Chips in das System eingebracht sowie nach einer Bestellung abgeholt werden. Hierzu wird die Farbe der Chips bestimmt und alle Informationen auf den NFC-Chips gespeichert.
  • Ein „Vacuum Gripper Robot“ kann die NFC-Chips greifen und von einer Station zu einer anderen befördern.
  • Im „High-Bay Warehouse“ können die Chips in passenden Kisten vollautomatisch eingelagert werden.
  • Eine „Multi Processing Unit“ simuliert das Pressen und Zuschneiden der Teile.
  • In der „Sorting Line“ werden die Teile nach ihrer Farbe in drei unterschiedliche Behältnisse sortiert. Anschließend transportiert der „Vacuum Gripper Robot“ die NFC-Chips wieder an die „Delivery and Pickup Station“ und die Bearbeitung ist abgeschlossen.
  • Zusätzlich erfasst eine „Sensor Unit“ Umwelteinflüsse wie die Temperatur und die Luftqualität. Mittles einer Kamera lässt sich die Fabrik auch aus der Ferne überwachen.
Eine Fabrik im Miniaturformat für das Forschungsprojekt DigiPrüf

Das Video wird von YouTube eingebettet und erst beim Klick auf den Play-Button geladen. Es gelten die Datenschutzerklärungen von Google.

Die Steuerung der Aktuatoren wird von einer Siemens SIMATIC S7-1500 übernommen. Mittels eines Raspberry Pis und einem Fischer TXT Controller ist eine Steuerung und Überwachung über MQTT möglich.

Wir hatten sehr viel Freude, die Fabrik in Betrieb zu nehmen und freuen uns schon darauf, sie produktiv für das DigiPrüf-Projekt erweitern und einsetzen zu dürfen.

 

Erkennung von Anomalien an einem Lego-Modell durch Bildanalyse mit Deep Learning

Das Headerbild des Artikels zeigt ein Vepsa Modell von LEGO.

In diesem Artikel demonstrieren wir die Anwendbarkeit von Deep Learning für die Anomalieerkennung in Bildern. Unser Ziel ist es, mit Hilfe von Neuronalen Netzen mögliche Fehler am Aufbau eines Vespa-Modells aus Klemmbausteinen zu erkennen.

Bei der Erkennung von Anomalien handelt es sich um die Bestimmung von Abweichungen oder Unregelmäßigkeiten in den Daten, die nicht dem erwarteten Muster oder Verhalten entsprechen. Das ist eine wichtige Aufgabe in vielen Bereichen wie Betrugsprävention, Systemüberwachung und Qualitätssicherung.

Mit diesem Use Case adressieren wir Explainable AI und machen unser System für die Anwender verständlich. Zudem stärken wir das Vertrauen in KI-Lösungen, die für Außenstehende oftmals wie eine Art Blackbox wirken.

Der erste Ansatz

Zuerst verwendeten wir einen Autoencoder, eine Art neuronales Netz, das Eingabedaten komprimiert und rekonstruiert. Anomalien können erkannt werden, indem man den Rekonstruktionsfehler misst, der die Diskrepanz zwischen Eingabe und rekonstruiertem Ausgang darstellt. Instanzen mit hohen Rekonstruktionsfehlerwerten sind wahrscheinlich Anomalien. In unserem Blog-Artikel KI-gestützte Fehlererkennung bei einem Vespa-Modell erklären wir die Funktionsweise genauer. Obwohl mit Autoencodern schon gute Ergebnisse erzielt werden können, sind in jüngster Vergangenheit einige noch fortschrittlichere, komplexere KI-Architekturen entwickelt worden. Diese bauen auf dem gleichen Prinzip auf, haben es aber weiter optimiert. Deshalb testeten und verglichen wir viele dieser neuen Ansätze für unseren Anwendungsfall. 

Heatmap und Segmentierung eines Blender Modells der LEGO Vespa mit fehlerhaftem Kotflügel

Heatmap und Segmentierung eines fehlenden Kotflügels an einem Vespa-Blender-Modell, die von einem „simplerem“ Autoencoder-Model generiert wurde.

Optimierung des Modells

Wir entschieden uns für Reverse Distillation in Kombination mit One-Class Bottleneck Embedding (OCBE), um eine bessere Effizienz und Effektivität zu erreichen. Diese Methode liefert eine sehr gut interpretierbare Darstellung der Daten und ermöglicht eine verbesserte Generalisierung für unbekannte Anomalien. Stark vereinfacht ausgedrückt erreicht sie diese bessere Performance durch das Vergleichen von Input und Output, ähnlich dem Prinzip eines Autoencoders. Jedoch findet dies auf verschiedenen Stufen der Codierung und Decodierung der Daten gleichzeitig statt. Ähnlich vielversprechende Ergebnisse ließen sich mit der PatchCore-Architekur erreichen, die sich auf die Rekonstruktion lokaler Patches konzentriert und somit kleinere lokale Anomalien besser erkennen kann

Heatmap und Segmentierung generiert von Reverse Distillation-Model

Heatmap und Segmentierung generiert von Reverse Distillation-Model 

Anschließend optimierten wir unser Modell mit Methoden wie der Kreuzvalidierung, die wir während der Auswahl der besten Architektur und Parameter verwendeten, um besonders das häufige Problem von Overfitting zu vermeiden. Mithilfe von Transfer Learning konnten wir Gebrauch von sehr leistungsstarken, auf riesigen Datenmengen trainierten Bild-Klassifizierungs-Modellen machen, um die Anzahl der benötigten Trainingsdaten möglichst gering zu halten. 

Nach sorgfältiger Anpassung unseres Modells auf die in Blender modellierten 3D-Grafiken testeten wir es mit Fotos der realen Lego-Vespa. Dabei bemerkten wir, dass Unterschiede in der Beleuchtung bei der Datenaufnahme das Modell verwirren können, ein Phänomen, das als Verteilungsdrift bekannt ist. 

Foto der realen Vespa mit überblendeter Maske von fehlendem Teil (links), Heatmap (mitte) und Segmentierung (rechts).

Foto der realen Vespa mit überblendeter Maske von fehlendem Teil (links), Heatmap (mitte) und Segmentierung (rechts).

Um diese Herausforderung zu meistern, haben wir in unserer Showcase-Installation ein starkes Studiolicht eingesetzt. Dies führte zu einer gleichmäßigen Beleuchtung und minimierte die Missinterpretationen des Modells.

Abschließend konnten wir erfolgreich demonstrieren, dass KI-gestützte Bildanalyse effektiv zur Erkennung und Lokalisierung von Anomalien im Aufbau von Lego-Vespa-Modellen eingesetzt werden kann. Trotz einiger Herausforderungen, wie der Bewältigung von Verteilungsdrift durch Beleuchtungsunterschiede, zeigt unsere Arbeit das immense Potenzial von Deep Learning in der Qualitätssicherung und Anomalieerkennung. Es bleibt jedoch ein fortlaufender Prozess, die Modelle weiter zu optimieren und an spezifische Anwendungsfälle anzupassen. 

Jahrestagung der GAMM: Spannende Vorträge und Diskussionen in Dresden

Vom 30. Mai bis 2. Juni waren wir auf der Jahrestagung der GAMM (Gesellschaft für angewandte Mathematik und Mechanik) in Dresden. Die Veranstaltung, auf der zahlreiche Wissenschaftler aus aller Welt ihre Leistungen präsentieren, ist mit 1.000 Teilnehmern einer der größten Konferenzen im deutschsprachigen Raum zu den Themen Mechanik und angewandte Mathematik. Dementsprechend vielfältig war auch das angebotene Programm:

Neben der „Ludwig Prandtl“ und der „Richard von Mises Lecture“, beides Vorträge im Rahmen von Auszeichnungen der GAMM, gab es noch acht weitere Plenumsvorträge zu verschiedensten Themen aus der Mathematik und Mechanik. Zudem gab es noch 26 sogenannte Sections, in denen es Vorträge zu speziellen Themenkomplexen gab. In der Section 22 „Scientific Computing“ durften wir im Rahmen des Vortrages „A Dynamic Bayesian Network Approch for Digital Twins“ unsere Forschung aus dem Forschungsprojekt DigiPrüf vorstellen, was auf breites Interesse stieß.

Auch abseits der Vorträge luden die Kaffeepausen zu spannenden Diskussionen ein, ebenso wie die Welcome Reception auf dem Gelände der Universität Dresden sowie das Conference Dinner im Deutschen Hygiene Museum Dresden.

Abgerundet wurde das Programm durch eine Midissage „100 Jahre GAMM – A scientific art exhibition“ sowie den zwei öffentlichen Vorträgen „100 Jahre GAMM: Motivation, Historie und Errungenschaften“ von Wolfgang Ehlers und „Was hat das Universum mit mir zu tun?“ von Harald Lesch. Letzterer konnte leider kurzfristig nicht nach Dresden kommen, wurde aber per Video zugeschaltet. Zudem spielte Mathematik YouTuber DorFuchs drei seiner alten Hits als Vorprogramm zu Harald Lesch.

Wir freuen uns, dass wir mit vielen neuen Eindrücken und Ideen Dresden verlassen konnten und dass zum Ausgleich der CO2-Emissionen der Konferenz zwei Bäume per Teilnehmer gepflanzt werden.

microTEC Südwest Clusterkonferenz: ATR Software zeigt innovative Ansätze

Das Bild zeigt den Eingang des Konzrthauses in Freiburg mit einem Hinweise auf die Clusteronferenz von des microTEC e. V. im Fenster über den Türen.

 

Am 15. und 16. Mai 2023 fand die inzwischen elfte Auflage der Clusterkonferenz des microTEC Südwest e. V. statt. Wie jedes Jahr wurde im Konzerthaus Freiburg ein reichhaltiges Programm geboten. Neben Keynote Vorträgen gab es auch Präsentationen in parallel laufenden Vortragsslots, die sich beispielsweise um die Themenbereiche „Maschinelles Lernen in der Anwendung, Mikromedizintechnik, Thermische Sensorik, Modern Work“ und viele mehr drehten. In den Pausen lud ein Marktplatz mit Ausstellern aus der Industrie und Forschung zum Verweilen ein. Abgerundet wurden beide Tage jeweils mit einer Podiumsdiskussion: Am Montag drehte sich diese um das Thema „Der optimierte Mensch – wie Mikrosystemtechnik die Gesundheit und Leistungsfähigkeit der Menschen beeinflusst“. Am Dienstag wurde das Thema „Nachhaltigkeit als Chance und Wettbewerbsvorteil“ mit der Bundestagsabgeordneten Dr. Franziska Brantner vom Bundesministerium für Wirtschaft und Klimaschutz diskutiert.

Es hat uns sehr gefreut, dass wir von der ATR Software GmbH an der Veranstaltung einen Vortrag zum Thema „Digitale Zwillinge für Produktionsmaschinen“ einbringen durften. In dem Vortrag präsentierten wir das DigiPrüf Forschungsprojekt sowie die Ansätze, die wir zur Realisierung der Digitalen Zwillinge verfolgen. Wir bedanken uns recht herzlich bei den Veranstaltern vom microTEC Südwest e. V. für die Organisation dieser spannenden Konferenz.

microTEC Südwest Clusterkonferenz 2023

Das Video wird von YouTube eingebettet und erst beim Klick auf den Play-Button geladen. Es gelten die Datenschutzerklärungen von Google.

KI-gestützte Fehlererkennung bei einem Vespa-Modell

Das Bild zeigt drei Kollegen von ATR Software mit dem zusammengebauten LEGO Modell einer Verspa

Heute stellen wir euch ein weiteres Projekt aus unserer Zusammenarbeit mit dem Dgitalisierungszentrum Ulm | Alb-Donau | Biberach vor. Mit diesem Use Case adressieren wir Explainable AI und machen unser System für die Anwender verständlich. Zudem stärken wir das Vertrauen in KI-Lösungen, die für Außenstehende oftmals wie eine Art Blackbox wirken.

Der Use Case

Unser Ziel ist es, mit Hilfe von Neuronalen Netzen mögliche Fehler am Aufbau eines Vespa-Modells aus Klemmbausteinen zu erkennen. Der Algorithmus wird mit Bildern des vollständigen LEGO Modells aus verschiedenen Blickwinkeln sowie mit unterschiedlichen Belichtungen trainiert. So lernt die KI Bilder von fehlerfrei aufgebauten Vespas zu erzeugen. Diese werden anschließend mit Vergleichsbildern abgeglichen. Dadurch soll nicht nur entdeckt werden, ob ein Fehler an dem Modell vorliegt, sondern auch wo und mit welcher Sicherheit.

Zeitraffer Vespa ATR

Das Video wird von YouTube eingebettet und erst beim Klick auf den Play-Button geladen. Es gelten die Datenschutzerklärungen von Google.

Wie unsere Künstliche Intelligenz detektiert, welche Teile an einem LEGO-Modell fehlen

Die Kernkomponente der Anwendung ist ein Autoencoder-Modell. Ein Autoencoder ist ein neuronales Netz, welches versucht, die Eingangsinformationen zu komprimieren und mit den reduzierten Informationen im Ausgang wieder korrekt nachzubilden. Zuerst wird dafür ein Algorithmus mit Bildern des vollständigen LEGO-Modells aus verschiedenen Blickwinkeln sowie mit unterschiedlichen Belichtungen trainiert. So lernt die KI Bilder von fehlerfrei aufgebauten Vespas zu erzeugen.

Anschließend wird dieses Programm mit fehlerhaften Bildern des Modells ausgeführt. Ein Autoencoder besteht aus zwei Teilen, einem Encoder und einem Decoder. Der Encoder komprimiert die Input-Daten. Aber es können nicht alle Informationen aus dem Input in den komprimierten Daten gespeichert werden, sodass der Encoder priorisieren und unwichtige Informationen auslassen muss. Anschließend versucht der Decoder, aus dieser verkleinerten Darstellung der Bildinformationen die ursprüngliche Form der Vespa so gut wie möglich wiederherzustellen.

Um Anomalien in den Bildern zu erkennen, vergleichen wir jetzt den Input mit dem Output des Autoencoders. Wenn das Bild des Modells vollständig ist, sollte der Output dem Input sehr ähnlich sein. Wenn jedoch eine Anomalie im Bild vorhanden ist, wie zum Beispiel fehlende Teile an der Vespa, kann der Autoencoder diese nur schlecht rekonstruieren. Das liegt daran, dass der Encoder ungewöhnliche Merkmale nicht als wichtig erachtet und deshalb in der komprimierten Darstellung vernachlässigt. Daher verwenden wir die Differenz zwischen Input und Output als Maß für die Anomalität. Je größer die Differenz ist, desto wahrscheinlicher ist es, dass das Bild eine Anomalie aufweist.

In einem ersten Schritt wurden die Bilder hierfür in dem 3D-Grafikprogramm Blender erstellt. Später sollen die Neuronalen Netze aber auf Fotos der realen LEGO Vespa zurückgreifen.

„DigiPrüF“ – Die digitale Prüfplattform für die Fahrzeug- und Zuliefererindustrie

Titelbild des Blogartikels, dass sich aus einem Gruppenbild des Projektkonsortiums von DigiPrüF am Fahrezugstand der Hochschule Aalen und den Logos der Europäischen Uninon und dem Bundesministerium für Wirtschaft und Klimaschutz zusammensetzt.

Heute stellen wir Ihnen DigiPrüF – die Digitale Prüfplattform für die Fahrzeug- und Zulieferindustrie vor. Ziel des Forschungsprojektes ist es, eine effiziente und kostengünstige Alternative zu manuellen Prüfprozessen zu schaffen. Dazu wird eine Prüfplattform entwickelt, mit der man Produkte virtuell testen und Prüf- sowie Produktionsprozesse optimieren kann. Denn damit können Unternehmen zukünftig Zeit, Geld und Ressourcen einsparen

Was ist „DigiPrüF“?

Das vom Bundesministerium für Wirtschaft und Klimaschutz geförderte Innovationsprojekt setzt sich aus fünf Industriepartnern, drei Forschungseinrichtungen und zwei assoziierten Großkonzernen der Automobil- und Zulieferindustrie zusammen und ist im Januar 2023 gestartet. Aber was genau ist „DigiPrüF“ eigentlich?

Im Rahmen des Forschungsprojektes soll die reale Prüfinfrastruktur der Unternehmen digital in einer virtuellen, erweiterbaren Prüfplattform nachgebildet werden. Dazu werden Digitale Zwillinge der Prüfstände, der dafür benötigten Komponenten sowie der Produktionsanlagen in der Plattform gebündelt. Mit Simulationsmodellen ihrer eigenen Produkte können die Anwender diese virtuell testen. So können Vorhersagen zum Verhalten der realen Produkte getroffen werden. Über die digitalen Zwillinge der Produktionsmaschinen können diese Erkenntnisse dann für Optimierungen in der Produktion genutzt werden.

Kurz gesagt handelt es sich um eine digitale Prüfplattform, die es Unternehmen ermöglicht, ihre Prüfabläufe zu digitalisieren und zu optimieren. Dadurch können nicht nur Zeit und Kosten eingespart werden, sondern auch die Effizienz der Prüfprozesse verbessert werden.

Die Digitalisierung und Vernetzung im Rahmen der Industrie 4.0 gewinnt für den deutschen Mittelstand zunehmend an Bedeutung und ist schon heute ein wichtiger Faktor für den Erfolg und die Zukunftsfähigkeit eines Unternehmens. Das Ziel hierbei ist vor allem eine effiziente, nachhaltige und wirtschaftliche Produktion. Jedoch sind diese Themen für viele KMUs  auch in der Fahrzeug- und Zulieferindustrie schwer in die Praxis umzusetzen.

Insgesamt bietet „DigiPrüF“ somit eine moderne und zukunftsweisende Lösung für Unternehmen, die ihre Poduktionsabläufe optimieren möchten.

Vorteile von „DigiPrüF“ für die Fahrzeug- und Zulieferindustrie

Wenn es um die Qualitätssicherung in der Fahrzeug- und Zulieferindustrie geht, ist eine genaue Prüfung unerlässlich. DigiPrüF bietet hierfür viele Vorteile: So können die Nutzer zukünftig, Prüfungen virtuell bereits während der Entwicklungszeit durchführen – auch wenn noch kein realer Prüfling zur Verfügung steht.

Anhand der virtuellen Nachbildung und der Datenanbindung des Prüffeldes wird eine Auswahl und Zusammenstellung einzelner virtueller Prüfstände und -komponenten ermöglicht. Außerdem wird eine branchenübergreifende Nutzung der Plattform möglich sein. Somit kann eine individuelle Prüfumgebung als Nachbildung, Erweiterung oder zeitweiser Ersatz der realen Infrastruktur geschaffen werden. Das führt zu einer Steigerung der Effizienz, Nachhaltigkeit und Flexibilität für die Hersteller der Prüflinge. Denn teilweise müssen Produkte bei der realen Prüfung zerstört werden. So entstehen Mehrkosten für das Unternehmen und wertvolle Ressourcen werden verbraucht. 

Das Projekt zielt speziell auf die Bedürfnisse des deutschen Mittelstandes ab. So soll es die Anwender neben der Entwicklung einer digitalen Prüfplattform bestmöglich bei der Nutzung der Plattform und generell der Digitalisierung ihrer Unternehmen unterstützen.

Allgemeine Informationen zu dem Projekt

Das Vorhaben ist in das von der in Ellwangen ansässigen EurA AG geleitete Netzwerk DigiServ eingebettet, welches das Ziel verfolgt, den deutschen mittelständischen Maschinenbau für die Herausforderungen der Digitalisierung, insbesondere im Bereich des Service, fit zu machen. 

Das Projektkonsortium setzt sich wie folgt zusammen: die mittelständischen Unternehmen ATR Software, ADZ NAGANO GmbH, PlanB. GmbH und Schmidlin Labor + Service GmbH & Co. KG und das Großunternehmen msg systems ag, die Forschungseinrichtungen Hochschule Aalen (Institut für Antriebstechnik), Universität Ulm (Institut für Numerische Mathematik) und Hahn-Schickard-Gesellschaft für angewandte Forschung e.V., sowie zwei assoziierte Großkonzernen der Automobil- und Zulieferindustrie sind Teile des Innovationsvorhabens DigiPrüF.  

Wir sind stolz darauf, Teil der Realisierung dieses wegweisenden Projekts zu sein und freuen uns darauf, unsere Expertise und Erfahrung in die Entwicklung innovativer Lösungen einzubringen und es als Verbundkoordinator aktiv mitzugestalten.

Mit dem 3D-Drucker zu einer besseren Tiefenwahrnehmung

Frontale Ansicht der Stereokamera mit fertig montiertem Ringlicht und Laser zur Verbesserung der Tiefenwahrnehmung.

Im Zuge des Forschungsprojektes MeMoRob verwenden wir eine Stereokamera. Damit erhalten wir nicht nur die Farbinformationen aufgezeichneter Objekte, sondern können auch deren Abstand zur Kamera bestimmen.

Beschreibung der Stereokamera

Die Stereokamera zeichnet den gleichen Bereich ähnlich der menschlichen Wahrnehmung mit zwei Kameras gleichzeitig auf. In den beiden Bildern vergleicht der Algorithmus der Kamera dann die Positionen markanter Punkte. Anhand des bekannten Abstandes der beiden Kameras zueinander und der Berechnung des Positionsunterschiedes der Punkte wird dann die Distanz des Objektes zur Kamera zu berechnet.

Um das Finden solcher markanten Punkte zu verbessern, brachten wir ein Ringlicht und einen Laserpointer mit Streuung an der Kamera an. Hierfür konstruierten wir Halterungen, die zu den existierenden Anschraubpunkten der Kamera kompatibel sind. Diese Halterungen konnten wir direkt mit dem 3D-Drucker herstellen, sodass sie zeitnah zum Einsatz bereitstanden. Mit ihrer Hilfe befestigten wir die zusätzliche Hardware präzise an der Kamera.

Die Problemstellung

Ohne eine konstante Beleuchtung ist die Helligkeit der Aufnahmen stark von den umgebenden Lichtverhältnissen abhängig. Auf einer mobilen Plattform wie bei dem Projekt MeMoRob kann sich die Umgebungsbeleuchtung schnell ändern, was zu Problemen führen kann. Die Helligkeit in einem Bild lässt sich im groben durch die beiden Faktoren Beleuchtung und Belichtungszeit beeinflussen. Da die Bildqualität bei einer automatischen Anpassung der Belichtungszeit stark schwanken kann, setzen wir die Belichtungszeit auf einen festen Wert.

Die Lösung

Durch das Ringlicht bekommen wir in den Versuchen eine konstante Helligkeit in den Bildern, die zur gewählten Belichtungszeit passt. Dadurch verbessert sich die Menge an erkannten Punkten und mit dieser wiederum die Genauigkeit der wahrgenommenen Tiefe. Je mehr markante Stellen im Bild vorhanden sind, desto besser kann der Abstand zur Kamera bestimmt werden. Deshalb modifizierten wir die Halterung des Ringlichtes, sodass ein Laserpointer mit Streuung darin eingespannt werden kann. Dieser wirft nun ein Punkteraster auf den Bereich, der von den Kameras aufgezeichnet wird. Durch die zusätzlichen Punkte des Laserpointers ist es uns möglich, die Tiefe auch an Stellen gut zu bestimmen, an denen die Farbe der aufgezeichneten Objekte sehr einheitlich ist.

Da eine Dauerbelastung des Lichtes und des Lasers vermieden werden soll, ermöglichten wir ein An- beziehungsweise Ausschalten der beiden Lichtquellen über eine Netzwerkschnittstelle. Dies ermöglicht es uns, die Komponenten nur während einer angeforderten Bildaufzeichnung anzuschalten. Um dies beim Ringlicht zu ermöglichen, modifizierten wir den Schalter des Ringlichtes mit einem zusätzlichen Ausgang.

Nach einer ersten Bohrung ins Gehäuse unseres Laserpointers war zu erkennen, dass diese Modifikation nicht umsetzbar ist, ohne dafür das Gehäuse größer aufsägen oder sogar gänzlich entfernen zu müssen. Um dies zu vermeiden, modellierten und druckten wir eine weitere Halterung, mit der ein Servomotor so befestigt wurde, dass sich damit der Knopf zum An- und Ausschalten des Laserpointers betätigen lässt.

Mit Hilfe der 3D-gedruckten Teile, können wir schnell Anpassungen vornehmen sowie testen und dadurch eine deutliche Verbesserung der Tiefenwahrnehmung mit der Stereokamera erreichen.

 

Prototyping mit dem 3D-Drucker

Da viele unserer Projekte – anders als der Firmenname ATR Software GmbH vermuten lässt – über reine Softwareprojekte hinausgehen, ist es nur naheliegend für das schnelle Prototyping von Ideen auf einen 3D-Drucker zu setzen. Deswegen ist seit einiger Zeit der 3D-Drucker „Vyper“ von Anycubic im Einsatz. Durch diesen Fused-Filament-Fabrication (FFF) Drucker können in kürzester Zeit Modelle aus Kunststoff angefertigt werden.

Der Drucker schmilzt hierzu einen Filamentstrang und trägt ihn schichtweise auf ein beheiztes Druckbett auf. Die Schichtdicke kann variiert werden. Je nach Modell  sind Dicken zwischen 0.1 und 0.2mm gängig. Auf dem Drucker können Modelle von einer maximalen Größe von 24,5 x 24,5 x 26 cm gedruckt werden. Durch eine automatische Bettnivellierung gelingt dies perfekt ab der ersten Schicht.

Druckkopf trägt die erste Schicht der Stützen für das 3D-Modell auf das Bett auf.

Der Druckkopf trägt die erste Schicht des Supports für den Prototypen auf das Druckbett auf.

Für den Drucker kann eine Vielzahl von unterschiedlichen Materialien verwendet werden, die unterschiedlichste Materialeigenschaften und Farben besitzen. Das gängigste Material PLA (Polyactic acid) wird aus nachwachsenden Rohstoffen wie zum Beispiel Mais gewonnen und ist biologisch abbaubar. Somit werden keine fossilen Rohstoffe benötigt.

Die für das Prototyping benötigten 3D-Modelle können entweder von einer Online-Plattform stammen oder mittels CAD Software selbst erstellt werden. Aus diesem Modell können dann mithilfe von Open-Source-Software Druckanweisungen erstellt werden, die der Drucker nacheinander ausführt. Die Daten können hierbei einfach auf einer SD-Karte gespeichert werden. Die Bedienung erfolgt über einen Touchscreen. Zudem besteht die Möglichkeit, den Drucker über eine USB-Schnittstelle anzusprechen und zu überwachen.

In den vergangenen Monaten fand der 3D-Drucker schon bei einigen Projekten Anwendung, so wurde beispielsweise eine Kamerahalterung für das Forschungsprojekt MeMoRob angefertigt. Zudem wird der Drucker genutzt, um im Rahmen der Promotion zu dem Thema Digitale Zwillinge Testobjekte zu drucken, mit denen Daten zu Müdigkeitsbrüchen gewonnen werden.

Neben der Anwendung innerhalb der Unternehmensprojekte, steht der Drucker auch allen Mitarbeitern zur privaten Nutzung zur Verfügung. So können zum Beispiel Ersatzteile oder Halterungen für Alltagsgegenstände einfach selbst angefertigt werden.

Thermische Kalibrierung mit Waffeln

Das Software-Modul „Data Analytics” der ATR-Softwareplattform umfasst eine Vielzahl von Methoden und Lösungen zur Verarbeitung und Aufbereitung von Daten, die aus verschiedensten Bereichen erhoben werden. Zuletzt entwickelten wir in diesem Bereich eine Kalibrierungssoftware für eine Wärmebildkamera. Zur Unterstützung des Entwicklungsprozesses und Verifizierung der Ergebnisse wurde folgender auf den ersten Blick etwas ungewöhnliche Versuchsaufbau vorgenommen:

In manchen Produktionsschritten ist es nötig, die Temperaturen einer Oberfläche exakt zu bestimmen, um diese anschließend auswerten oder durch Heizen und Kühlen an gezielten Stellen anpassen zu können. Hierfür kann eine Infrarot(IR)-Kamera verwendet werden. Diese Kamera liefert ein Wärmebild, in dem die Temperaturen der aufgezeichneten Oberfläche angezeigt werden. IR-Kameras weißen jedoch Ungenauigkeiten auf, die dafür sorgen, dass die angezeigten Werte für manche Anforderungen nicht präzise genug sind.

Zur Kalibrierung und dem damit verbundenen Ausgleich von Ungenauigkeiten einer IR-Kamera kann ein Pyrometer verwendet werden. Denn ein Pyrometer ist ein Sensor, der für einen einzelnen Punkt die Temperatur extrem genau bestimmen kann.

Nahaufnahme der IR Kamera mit darüber befestigtem Pyrometer.
Nahaufnahme der IR Kamera mit darüber befestigtem Pyrometer

Das Pyrometer wird hierzu auf einen Punkt ausgerichtet, der im Bild der IR-Kamera ebenfalls zu sehen ist. Danach wird die Abweichung zwischen der an dieser Stelle gemessenen Temperatur im IR-Bild mit dem genaueren Wert des Pyrometers bestimmt. Diese Abweichung wird dann zur Berechnung einer Korrektur verwendet. Anhand dieser Berechnung kann anschließend die Genauigkeit des gesamten IR-Bildes optimiert werden.

Zur Bestimmung der Korrekturfunktion führten wir eine umfangreiche Versuchsreihe durch. Das Ziel dabei war es, die Größenordnung der Ungenauigkeiten zu bestimmen und herauszufinden, wie sie sich diese Ungenauigkeiten bei unterschiedlich hohen Temperaturen verhalten.

Das Waffeleisen diente uns hierbei als Oberfläche im Versuchsaufbau, weil damit verschiedene, teilweise sehr hohe Temperaturen von über 200 °C erreicht werden können. Dafür platzierten wir die Heizfläche des Gerätes vor der IR-Kamera und richteten anschließend das Pyrometer darauf aus.

Lokalisieren des Messpunktes des Pyrometers anhand der Temperaturunterschiede zwischen Finger und Waffeleisen
Lokalisieren des Messpunktes des Pyrometers anhand der Temperaturunterschiede zwischen Finger und Waffeleisen

Danach heizten wir das Waffeleisen maximal auf. Bei einer Temperatur von ca. 210 °C laut Pyrometer überprüften wir, wie hoch die gemessene Temperatur an dieser Stelle im IR-Bild ist. Anschließend schalteten wir das Waffeleisen ab und hielten beim Abkühlen in 10 °C Schritten jeweils die Abweichung zwischen Pyrometer und IR-Bild fest.

Angleichen einer Funktion an den Verlauf der Gemessenen Werte gezeigt mit Hilfe eines Graphen, der die Ergebnisse zeigt.
Angleichen einer Funktion an den Verlauf der Gemessenen Werte

Mittels dieser Messergebnisse bestimmten wir eine Funktion, die das Verhalten der Kamera in Relation zum Pyrometer bei unterschiedlichen Temperaturen beschreibt. Auf Basis dieser Erkenntnisse konnten wir dann einen exakten Kalibriervorgang für die IR-Kamera mithilfe des Pyrometers umsetzen und testen.

Als netter Nebeneffekt wurden bei dem Versuch noch Waffeln für die Kollegen produziert!

Gallerie