SynosIs: Optimierte Oberflächeninspektion mit Künstlicher Intelligenz

Automatisierte visuelle Inspektion mittels KI

Innerhalb von Produktionsketten gibt es immer höhere Qualitätsanforderungen. Gleichzeitig kommt es – auf Grund der Komplexität der Produktionsprozesse – bei der Herstellung von Bauteilen zu Defekten. Industrielle Bildverarbeitung hilft im Projekt SynosIs mittels Künstlicher Intelligenz diese schnell und automatisiert zu detektieren. Im Bild: Detektion der Oberflächenstruktur eines Flugzeugflügels.

Im Projekt »SynosIs« entwickeln wir gemeinsam mit unseren Forschungspartner:innen ein Inspektionssytem, das auf Künstlicher Intelligenz (KI) beruht und Defekte auf Oberflächen schnell und automatisiert erkennt. Das Projekt wird vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.

Bildverarbeitungssysteme zur Qualitätskontrolle in der Produktion lösen zunehmend komplexere Aufgaben und müssen aufgrund kurzer Entwicklungszyklen immer schneller auf neue Produkte und Fehlerbilder reagieren. Typische Prüfaufgaben sind die Detektion von Oberflächenfehlern und Abweichungen von der Sollgeometrie. Künstliche Intelligenz (KI) kommt in Bilderkennung, -verarbeitung und -verstehen zwar zum Teil erfolgreich zum Einsatz. Das Training eines robusten, automatischen, KI-basierten Inspektionssystems erfordert jedoch eine große Menge manuell annotierter Bilddaten, die insbesondere für alle Fehlertypen repräsentativ sein müssen.

Über SynosIs: Herausforderungen eines KI-basierten Inspektionssystems

Viele Fehler treten sehr selten auf. Insbesondere Fehler, die kritisch für die Sicherheit von Bauteilen sind, werden seltener beobachtet, da sie in der Produktion möglichst vermieden werden.
Die manuelle Annotation von beispielhaften Fehlern ist daher nicht nur aufwändig, sondern führt teilweise auch zu inkonsistenten Ergebnissen.
Insbesondere sind die Entscheidungen des trainierten Systems dann durch das Fehlen von Fehlerbildern im Training verzerrt.

Es ist daher wünschenswert, automatisch realistische, synthetische Bilddaten zusammen mit den entsprechenden Annotationen zu erzeugen. Die Simulation solcher Bilddaten erfordert derzeit aber noch mehrfach manuelle Interaktion, ist also nicht automatisiert. Zudem ist das synthetische Erzeugen von Oberflächendefekten ein offenes Forschungsthema, das es gilt in Zukunft weiter zu untersuchen.

Häufig gestelle Fragen

Warum ist es so schwierig, KI zu trainieren, um eine bearbeitete Oberfläche zuverlässig zu inspizieren?

Weil die Texturvariationen und -merkmale die KI oft dazu verleiten, einen Defekt zu vermuten, wo keiner ist, oder die Defekte in bestimmten Situationen zu verdecken.

Warum trainieren wir das Netz nicht mit mehr Fehlerbeispielen, um es robuster zu machen?

Weil das Beschaffen und Annotieren einer solchen Menge an Daten meist teuer und nicht praktikabel ist.

Warum verwenden wir nicht einfach korrekte Oberflächen als Training?

Die Algorithmen zum Erkennen von Auffälligkeiten sind noch nicht in der Lage, mit der durch komplexe Texturen verursachten Abweichung umzugehen, und konzentrieren sich auf die oft geringfügigen Veränderungen, die durch Oberflächenfehler verursacht werden.

Können wir künstlich erzeugte Bilder verwenden, um die KI zu unterstützen?

Ja, dies ist auch der neueste Stand der Entwicklung. Es gibt eine Menge offener Fragen, und viele davon werden von uns mit unserer Software SynosIs angegangen. Unsere Kernmotivation ist dabei, dass keine zwei produzierten Objekte genau gleich sind und die Bildsimulationspipeline in der Lage sein muss, genau diesen Gedanken zu reproduzieren. Außerdem soll sie die Kontrolle über die wichtigsten Produktionsparameter behalten.

Mit KI automatisiert der Realität nähern und Bilddatenportfolio aufbauen

In diesem interdisziplinären Projekt werden Methoden aus Physik, Mathematik und Informatik vereint, um synthetische Bilder typischer Defekte auf metallischen Oberflächen zu erhalten – in einer Realitätsnähe, die aktuell noch nicht erreicht wurde. Diese Bilddaten sind offen zugänglich und können für das Training und die Validierung von KI-Modellen zum Einsatz kommen. Das vereinfacht und beschleunigt die Entwicklung von KI-Modellen für die optische Oberflächeninspektion.

Erstmals werden mit dem Bilddatenportfolio garantiert korrekt und objektiv annotierte Fehlerbilder zur Verfügung stehen. Darüber hinaus ermöglichen diese synthetischen Daten einen objektiven quantitativen Vergleich verschiedener Lösungen sowie die Vorhersage der Auffindewahrscheinlichkeit (Probability of Detection, POD) von Oberflächendefekten in Abhängigkeit von Fehler, Bauteil und Inspektionssystem.

Unsere Expertise: Defekte definieren, klassifizieren, KI trainieren

Im Anfangsstadium entwerfen unsere ITWM-Expert:innen in enger Zusammenarbeit mit dem Fraunhofer IOF für die Validierung zwei Freiformprobekörper mit komplexer Geometrie. Einzubringende Defekte werden so definiert, das einerseits typische Defektklassen wie Schlagstellen, Kratzer, (Öl-) Verschmutzung vertreten sind, andererseits der Herstellungsaufwand vertretbar bleibt. Im nächsten Schritt trainieren die Forschenden das KI-basierte Inspektionssystem anhand synthetischer Bilddaten. Eine weitere Aufgabe besteht in der Validierung der Inspektionslösung und der Simulation eines repräsentativen Portfolios synthetischer Bilddaten in Zusammenarbeit mit der Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau.

Dieses Projekt hat ein klares Anwendungsszenario, ist aber trotzdem als Grundlagenforschungsprojekt angelegt, weil wir in allen drei Fachrichtungen neue Methoden entwickeln. Neben Datensynthetisierung adressiert das Projekt den Themenbereich »Kenngrößen zur Messung von Eignung, Güte oder Bias-Freiheit der Daten«, da sowohl für die defektfreien Oberflächen als auch für die einzubringende Defekte Eignung, Güte und Bias-Freiheit der Daten fortlaufend überprüft und garantiert werden.

Aktueller Stand im Projekt »SynosIs«

Im ersten Jahr von »SynosIs« haben wir als Team festgestellt, dass es zu wenig kontrollierte Datensätze und Modellierungsverfahren für physikalische Oberflächen gibt. Wir haben im Projekt deshalb eine Prozesskette entwickelt, um den Bedarf zu decken. Dabei hat das Team einen Datensatz von zehn Aluminium-Testkörpern entworfen, der sich auf schwierige Oberflächen konzentriert, die Texturen enthalten, die durch Spiralfräsen, Parallelfräsen oder Sandstrahlen entstanden sind.

Auf Basis von Topologiemessungen der hergestellten Oberflächen haben wir Modelle erstellt, die in der Lage sind, das Aussehen der Oberflächen mit Hilfe stochastischer Geometriemodellierungstechniken kopieren. So erzeugen wir digital eine beliebige Anzahl von Oberflächen, die bei gleichbleibenden Eigenschaften trotzdem ein unterschiedliches Aussehen aufweisen. Darüber hinaus steuern wir die Modelle so durch produktionsrelevante Parameter, die die endgültige Oberfläche beeinflussen.

Die entwickelten Modelle zur Oberflächenerzeugung kann man immer wieder einsetzen und kombiniert auf jedes 3D-Modell anwenden.

Im zweiten Projektjahr konzentriert sich das Team auf:

das Modellieren von Defekten
das Erstellen öffentlicher Datensätze
das Untersuchen der Vorteile und Herausforderungen der simulationsbasierten Bildverarbeitung

Unsere Forschungspartner

Fraunhofer-Institut für Angewandte Optik und Feinmechanik IOF (Dr. Marcus Trost)
RPTU Kaiserslautern-Landau, Fachbereich Mathematik (Prof. Dr. Claudia Redenbach)
RPTU Kaiserslautern-Landau, Fachbereich Informatik (Prof. Dr. Hans Hagen)

Projektlaufzeit und -förderung

Das Projekt ist auf zwei Jahre angelegt und läuft vom 01.10.2021 bis 30.09.2023. Es wird vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.