In diesem Artikel demonstrieren wir die Anwendbarkeit von Deep Learning für die Anomalieerkennung in Bildern. Unser Ziel ist es, mit Hilfe von Neuronalen Netzen mögliche Fehler am Aufbau eines Vespa-Modells aus Klemmbausteinen zu erkennen.

Bei der Erkennung von Anomalien handelt es sich um die Bestimmung von Abweichungen oder Unregelmäßigkeiten in den Daten, die nicht dem erwarteten Muster oder Verhalten entsprechen. Das ist eine wichtige Aufgabe in vielen Bereichen wie Betrugsprävention, Systemüberwachung und Qualitätssicherung.

Mit diesem Use Case adressieren wir Explainable AI und machen unser System für die Anwender verständlich. Zudem stärken wir das Vertrauen in KI-Lösungen, die für Außenstehende oftmals wie eine Art Blackbox wirken.

Der erste Ansatz

Zuerst verwendeten wir einen Autoencoder, eine Art neuronales Netz, das Eingabedaten komprimiert und rekonstruiert. Anomalien können erkannt werden, indem man den Rekonstruktionsfehler misst, der die Diskrepanz zwischen Eingabe und rekonstruiertem Ausgang darstellt. Instanzen mit hohen Rekonstruktionsfehlerwerten sind wahrscheinlich Anomalien. In unserem Blog-Artikel KI-gestützte Fehlererkennung bei einem Vespa-Modell erklären wir die Funktionsweise genauer. Obwohl mit Autoencodern schon gute Ergebnisse erzielt werden können, sind in jüngster Vergangenheit einige noch fortschrittlichere, komplexere KI-Architekturen entwickelt worden. Diese bauen auf dem gleichen Prinzip auf, haben es aber weiter optimiert. Deshalb testeten und verglichen wir viele dieser neuen Ansätze für unseren Anwendungsfall. 

Heatmap und Segmentierung eines fehlenden Kotflügels an einem Vespa-Blender-Modell, die von einem „simplerem“ Autoencoder-Model generiert wurde.

Optimierung des Modells

Wir entschieden uns für Reverse Distillation in Kombination mit One-Class Bottleneck Embedding (OCBE), um eine bessere Effizienz und Effektivität zu erreichen. Diese Methode liefert eine sehr gut interpretierbare Darstellung der Daten und ermöglicht eine verbesserte Generalisierung für unbekannte Anomalien. Stark vereinfacht ausgedrückt erreicht sie diese bessere Performance durch das Vergleichen von Input und Output, ähnlich dem Prinzip eines Autoencoders. Jedoch findet dies auf verschiedenen Stufen der Codierung und Decodierung der Daten gleichzeitig statt. Ähnlich vielversprechende Ergebnisse ließen sich mit der PatchCore-Architekur erreichen, die sich auf die Rekonstruktion lokaler Patches konzentriert und somit kleinere lokale Anomalien besser erkennen kann

Heatmap und Segmentierung generiert von Reverse Distillation-Model 

Anschließend optimierten wir unser Modell mit Methoden wie der Kreuzvalidierung, die wir während der Auswahl der besten Architektur und Parameter verwendeten, um besonders das häufige Problem von Overfitting zu vermeiden. Mithilfe von Transfer Learning konnten wir Gebrauch von sehr leistungsstarken, auf riesigen Datenmengen trainierten Bild-Klassifizierungs-Modellen machen, um die Anzahl der benötigten Trainingsdaten möglichst gering zu halten. 

Nach sorgfältiger Anpassung unseres Modells auf die in Blender modellierten 3D-Grafiken testeten wir es mit Fotos der realen Lego-Vespa. Dabei bemerkten wir, dass Unterschiede in der Beleuchtung bei der Datenaufnahme das Modell verwirren können, ein Phänomen, das als Verteilungsdrift bekannt ist. 

Foto der realen Vespa mit überblendeter Maske von fehlendem Teil (links), Heatmap (mitte) und Segmentierung (rechts).

Um diese Herausforderung zu meistern, haben wir in unserer Showcase-Installation ein starkes Studiolicht eingesetzt. Dies führte zu einer gleichmäßigen Beleuchtung und minimierte die Missinterpretationen des Modells.

Abschließend konnten wir erfolgreich demonstrieren, dass KI-gestützte Bildanalyse effektiv zur Erkennung und Lokalisierung von Anomalien im Aufbau von Lego-Vespa-Modellen eingesetzt werden kann. Trotz einiger Herausforderungen, wie der Bewältigung von Verteilungsdrift durch Beleuchtungsunterschiede, zeigt unsere Arbeit das immense Potenzial von Deep Learning in der Qualitätssicherung und Anomalieerkennung. Es bleibt jedoch ein fortlaufender Prozess, die Modelle weiter zu optimieren und an spezifische Anwendungsfälle anzupassen. 

Am 15. und 16. Mai 2023 fand die inzwischen elfte Auflage der Clusterkonferenz des microTEC Südwest e. V. statt. Wie jedes Jahr wurde im Konzerthaus Freiburg ein reichhaltiges Programm geboten. Neben Keynote Vorträgen gab es auch Präsentationen in parallel laufenden Vortragsslots, die sich beispielsweise um die Themenbereiche „Maschinelles Lernen in der Anwendung, Mikromedizintechnik, Thermische Sensorik, Modern Work“ und viele mehr drehten. In den Pausen lud ein Marktplatz mit Ausstellern aus der Industrie und Forschung zum Verweilen ein. Abgerundet wurden beide Tage jeweils mit einer Podiumsdiskussion: Am Montag drehte sich diese um das Thema „Der optimierte Mensch – wie Mikrosystemtechnik die Gesundheit und Leistungsfähigkeit der Menschen beeinflusst“. Am Dienstag wurde das Thema „Nachhaltigkeit als Chance und Wettbewerbsvorteil“ mit der Bundestagsabgeordneten Dr. Franziska Brantner vom Bundesministerium für Wirtschaft und Klimaschutz diskutiert.

Es hat uns sehr gefreut, dass wir von der ATR Software GmbH an der Veranstaltung einen Vortrag zum Thema „Digitale Zwillinge für Produktionsmaschinen“ einbringen durften. In dem Vortrag präsentierten wir das DigiPrüf Forschungsprojekt sowie die Ansätze, die wir zur Realisierung der Digitalen Zwillinge verfolgen. Wir bedanken uns recht herzlich bei den Veranstaltern vom microTEC Südwest e. V. für die Organisation dieser spannenden Konferenz.

Heute stellen wir Ihnen DigiPrüF – die Digitale Prüfplattform für die Fahrzeug- und Zulieferindustrie vor. Ziel des Forschungsprojektes ist es, eine effiziente und kostengünstige Alternative zu manuellen Prüfprozessen zu schaffen. Dazu wird eine Prüfplattform entwickelt, mit der man Produkte virtuell testen und Prüf- sowie Produktionsprozesse optimieren kann. Denn damit können Unternehmen zukünftig Zeit, Geld und Ressourcen einsparen

Was ist „DigiPrüF“?

Das vom Bundesministerium für Wirtschaft und Klimaschutz geförderte Innovationsprojekt setzt sich aus fünf Industriepartnern, drei Forschungseinrichtungen und zwei assoziierten Großkonzernen der Automobil- und Zulieferindustrie zusammen und ist im Januar 2023 gestartet. Aber was genau ist „DigiPrüF“ eigentlich?

Im Rahmen des Forschungsprojektes soll die reale Prüfinfrastruktur der Unternehmen digital in einer virtuellen, erweiterbaren Prüfplattform nachgebildet werden. Dazu werden Digitale Zwillinge der Prüfstände, der dafür benötigten Komponenten sowie der Produktionsanlagen in der Plattform gebündelt. Mit Simulationsmodellen ihrer eigenen Produkte können die Anwender diese virtuell testen. So können Vorhersagen zum Verhalten der realen Produkte getroffen werden. Über die digitalen Zwillinge der Produktionsmaschinen können diese Erkenntnisse dann für Optimierungen in der Produktion genutzt werden.

Kurz gesagt handelt es sich um eine digitale Prüfplattform, die es Unternehmen ermöglicht, ihre Prüfabläufe zu digitalisieren und zu optimieren. Dadurch können nicht nur Zeit und Kosten eingespart werden, sondern auch die Effizienz der Prüfprozesse verbessert werden.

Die Digitalisierung und Vernetzung im Rahmen der Industrie 4.0 gewinnt für den deutschen Mittelstand zunehmend an Bedeutung und ist schon heute ein wichtiger Faktor für den Erfolg und die Zukunftsfähigkeit eines Unternehmens. Das Ziel hierbei ist vor allem eine effiziente, nachhaltige und wirtschaftliche Produktion. Jedoch sind diese Themen für viele KMUs  auch in der Fahrzeug- und Zulieferindustrie schwer in die Praxis umzusetzen.

Insgesamt bietet „DigiPrüF“ somit eine moderne und zukunftsweisende Lösung für Unternehmen, die ihre Poduktionsabläufe optimieren möchten.

Vorteile von „DigiPrüF“ für die Fahrzeug- und Zulieferindustrie

Wenn es um die Qualitätssicherung in der Fahrzeug- und Zulieferindustrie geht, ist eine genaue Prüfung unerlässlich. DigiPrüF bietet hierfür viele Vorteile: So können die Nutzer zukünftig, Prüfungen virtuell bereits während der Entwicklungszeit durchführen – auch wenn noch kein realer Prüfling zur Verfügung steht.

Anhand der virtuellen Nachbildung und der Datenanbindung des Prüffeldes wird eine Auswahl und Zusammenstellung einzelner virtueller Prüfstände und -komponenten ermöglicht. Außerdem wird eine branchenübergreifende Nutzung der Plattform möglich sein. Somit kann eine individuelle Prüfumgebung als Nachbildung, Erweiterung oder zeitweiser Ersatz der realen Infrastruktur geschaffen werden. Das führt zu einer Steigerung der Effizienz, Nachhaltigkeit und Flexibilität für die Hersteller der Prüflinge. Denn teilweise müssen Produkte bei der realen Prüfung zerstört werden. So entstehen Mehrkosten für das Unternehmen und wertvolle Ressourcen werden verbraucht. 

Das Projekt zielt speziell auf die Bedürfnisse des deutschen Mittelstandes ab. So soll es die Anwender neben der Entwicklung einer digitalen Prüfplattform bestmöglich bei der Nutzung der Plattform und generell der Digitalisierung ihrer Unternehmen unterstützen.

Allgemeine Informationen zu dem Projekt

Das Vorhaben ist in das von der in Ellwangen ansässigen EurA AG geleitete Netzwerk DigiServ eingebettet, welches das Ziel verfolgt, den deutschen mittelständischen Maschinenbau für die Herausforderungen der Digitalisierung, insbesondere im Bereich des Service, fit zu machen. 

Das Projektkonsortium setzt sich wie folgt zusammen: die mittelständischen Unternehmen ATR Software, ADZ NAGANO GmbH, PlanB. GmbH und Schmidlin Labor + Service GmbH & Co. KG und das Großunternehmen msg systems ag, die Forschungseinrichtungen Hochschule Aalen (Institut für Antriebstechnik), Universität Ulm (Institut für Numerische Mathematik) und Hahn-Schickard-Gesellschaft für angewandte Forschung e.V., sowie zwei assoziierte Großkonzernen der Automobil- und Zulieferindustrie sind Teile des Innovationsvorhabens DigiPrüF.  

Wir sind stolz darauf, Teil der Realisierung dieses wegweisenden Projekts zu sein und freuen uns darauf, unsere Expertise und Erfahrung in die Entwicklung innovativer Lösungen einzubringen und es als Verbundkoordinator aktiv mitzugestalten.

Das Software-Modul „Data Analytics” der ATR-Softwareplattform umfasst eine Vielzahl von Methoden und Lösungen zur Verarbeitung und Aufbereitung von Daten, die aus verschiedensten Bereichen erhoben werden. Zuletzt entwickelten wir in diesem Bereich eine Kalibrierungssoftware für eine Wärmebildkamera. Zur Unterstützung des Entwicklungsprozesses und Verifizierung der Ergebnisse wurde folgender auf den ersten Blick etwas ungewöhnliche Versuchsaufbau vorgenommen:

In manchen Produktionsschritten ist es nötig, die Temperaturen einer Oberfläche exakt zu bestimmen, um diese anschließend auswerten oder durch Heizen und Kühlen an gezielten Stellen anpassen zu können. Hierfür kann eine Infrarot(IR)-Kamera verwendet werden. Diese Kamera liefert ein Wärmebild, in dem die Temperaturen der aufgezeichneten Oberfläche angezeigt werden. IR-Kameras weißen jedoch Ungenauigkeiten auf, die dafür sorgen, dass die angezeigten Werte für manche Anforderungen nicht präzise genug sind.

Zur Kalibrierung und dem damit verbundenen Ausgleich von Ungenauigkeiten einer IR-Kamera kann ein Pyrometer verwendet werden. Denn ein Pyrometer ist ein Sensor, der für einen einzelnen Punkt die Temperatur extrem genau bestimmen kann.

Das Pyrometer wird hierzu auf einen Punkt ausgerichtet, der im Bild der IR-Kamera ebenfalls zu sehen ist. Danach wird die Abweichung zwischen der an dieser Stelle gemessenen Temperatur im IR-Bild mit dem genaueren Wert des Pyrometers bestimmt. Diese Abweichung wird dann zur Berechnung einer Korrektur verwendet. Anhand dieser Berechnung kann anschließend die Genauigkeit des gesamten IR-Bildes optimiert werden.

Zur Bestimmung der Korrekturfunktion führten wir eine umfangreiche Versuchsreihe durch. Das Ziel dabei war es, die Größenordnung der Ungenauigkeiten zu bestimmen und herauszufinden, wie sie sich diese Ungenauigkeiten bei unterschiedlich hohen Temperaturen verhalten.

Das Waffeleisen diente uns hierbei als Oberfläche im Versuchsaufbau, weil damit verschiedene, teilweise sehr hohe Temperaturen von über 200 °C erreicht werden können. Dafür platzierten wir die Heizfläche des Gerätes vor der IR-Kamera und richteten anschließend das Pyrometer darauf aus.

Danach heizten wir das Waffeleisen maximal auf. Bei einer Temperatur von ca. 210 °C laut Pyrometer überprüften wir, wie hoch die gemessene Temperatur an dieser Stelle im IR-Bild ist. Anschließend schalteten wir das Waffeleisen ab und hielten beim Abkühlen in 10 °C Schritten jeweils die Abweichung zwischen Pyrometer und IR-Bild fest.

Mittels dieser Messergebnisse bestimmten wir eine Funktion, die das Verhalten der Kamera in Relation zum Pyrometer bei unterschiedlichen Temperaturen beschreibt. Auf Basis dieser Erkenntnisse konnten wir dann einen exakten Kalibriervorgang für die IR-Kamera mithilfe des Pyrometers umsetzen und testen.

Als netter Nebeneffekt wurden bei dem Versuch noch Waffeln für die Kollegen produziert!

Gallerie