Inspektionsvorgang simuliert und optimiert

Basierend auf der Geometrie des geprüften Objekts erstellt die Software eine Liste von Viewpoint-Kandidaten (weiß) und reduziert diese auf eine Reihe von Viewpoints, die benötigt werden, um die wichtigsten Bereiche (blau) abzudecken. Ein Blickwinkel markiert einen physikalischen Punkt im Raum, relativ zum Objekt, an dem die Kamera während der Inspektion positioniert werden muss.

Virtuelle Bildverarbeitung – Paradigmenwechsel durch Simulation

Fabriken werden immer stärker automatisiert. Produktionsanlagen sind flexibler, so dass bei Umstellung auf neue Produkte keine neuen Anlagen gebaut werden müssen. Inline-Inspektionssysteme haben sich in vielen Produktionsumgebungen bewährt. Aber was passiert, wenn die Bauteile komplizierter werden? Wie lässt sich trotz zunehmender Individualisierung von industriell hergestellten Produkten ihre Prüfung automatisieren? Antworten liefert die virtuelle Bildverarbeitung, die den Inspektionsvorgang komplett simuliert und optimiert.
 

Prozesse flexibler und effizienter gestalten

Der Begriff Industrie 4.0 ist inzwischen weit verbreitet und in aller Munde. Ein wichtiger Aspekt, der oft vernachlässigt wird, ist die anschließende visuelle Inspektion der Produkte. Selbst wenn diese automatisiert stattfindet, ist sie meist relativ starr und nur auf spezifische Produkte zugeschnitten. Neue Systeme werden iterativ entwickelt. Experten entwerfen ein initiales System, das anschließend solange modifiziert wird, bis es das Produkt ausreichend genau inspizieren kann. Diese Tests verschiedener Hardwarelösungen kosten viel Zeit und Mühe – mehrere Stunden pro Testlauf.

Daher wird oft eine Konfiguration gewählt, die funktioniert, jedoch nicht annährend optimal ist. Daraus erwachsende Schwächen bei der Bildqualität müssen später algorithmisch ausgeglichen werden. Um diese Schwachstelle zu schließen, entwickeln wir ein adaptives, simulationsbasiertes Framework, das den Entwicklungsprozess für Inspektionssysteme revolutionieren wird.

Unter Verwendung von Computer Vision, Computergrafik, Maschinellem Lernen und Robotik arbeiten wir an einem Framework, das Werkzeuge zur Planungsoptimierung stellt, um eine flexible Einrichtung von Bildaufnahmesystemen zu ermöglichen. Bisher haben Forschende dieses Gebiet gar nicht oder kaum untersucht.

Forschergruppe
© Fraunhofer ITWM

Die Arbeitsgruppe besteht aus Petra Gospodnetic, Dascha Dobrovolskij, Markus Rauhut, Prof. Hans Hagen, Markus Kronenberger und Dennis Mosbach. Auf dem Foto fehlt Falco Hirschenberger.

Nahaufnahme der Pivotpunkte für die Kamera-Blickpunktkandidaten
© Fraunhofer ITWM

Nahaufnahme der Pivotpunkte für die Kamera-Blickpunktkandidaten. Flache Stellen werden durch wenige Punkte abgedeckt, während an stark gekrümmten Regionen mehrere Punkte generiert werden.

Framework Entwicklung

In der Zukunft werden industrielle Prüfsysteme mithilfe dieses Frameworks vollständig virtuell entworfen und auf ihre Zuverlässigkeit geprüft. Auf dem Weg zum kompletten Framework für virtuelle Inspektionsplanung und Bildverarbeitung optimieren wir zunächst die Positionierungen von Produkt und Kamera während der Inspektion. 

Darüber hinaus entwickeln wir Computer Vision Algorithmen und testen diese an simulierten Daten, um das Problem zu lösen, dass oft nicht genug Proben der zu untersuchenden Defekte vorhanden sind. Dies ist besonders häufig in Bereichen der Fall, in denen Fehler selten auftreten, aber wenn sie vorkommen, verheerende Auswirkungen haben können – wie zum Beispiel bei einer Turbinenscheibe im Flugzeug oder bei Bremsen im Auto.

 

Virtualisierungskern steht im Zentrum

Der Schlüssel unseres Systems ist der Virtualisierungskern. Er besteht aus zwei miteinander verbundenen Komponenten: Simulation und Planung. Die Simulation dessen, was die Kamera sieht, wird zur Auswertung des Konstruktionsplans eines Inspektionssystems genutzt. Die Planungskomponente berechnet multiple Systemkonfigurationen (Kamera, Optik, Beleuchtung, etc.), die der Roboter später für eine optimale Inspektion durchläuft.

Der Virtualisierungskern wird durch ein CAD-Modell – die Geometrie – eines Produktes sowie verschiedene Prüfparameter, wie z.B. Fehlerarten, Produktmaterial und Prüfgeschwindigkeit, gespeist. Basierend auf diesen Parametern wird eine Menge möglicher Lösungen berechnet, mit denen ein/e Ingenieur/in dann das physische Inspektionssystem aufbaut. Zudem erhalten die User eine Reihe simulierter Bilder, die wiederrum zum Test des Systems während der Entwicklung verwendet werden.

 

Unser Framework wird derzeit an mehreren Fronten parallel erforscht und entwickelt:

  • Parametrische Oberflächenrekonstruktion
  • Aktive modellbasierte Positionsplanung
  • Kameraobjektivmodellierung
  • Positionsbasierte Fehlervermehrung
  • Oberflächenlichtmodellierung

Der Schwerpunkt liegt primär auf der Positionsplanung  ̶  dem Rückgrat des Gesamtsystems. Diese kann dann modular erweitert und um neue Funktionalität ergänzt werden, um an produktspezifische Anforderungen angepasst zu werden.

Demo-System: Optische Kontrolle komplexer Produkte
© Fraunhofer ITWM

Demo-System: Optische Kontrolle komplexer Produkte mit dem Ziel, die komplette Inspektionsumgebung zu simulieren.

Video: Neue Wege in der Bildverarbeitung

Mit Hilfe von Computer Vision, Computergrafik, maschinellem Lernen und Robotik wird bei uns am Fraunhofer ITWM ein virtuelles Framework konzipiert, welches das iterative Design eines Inspektionssystems unterstützt und somit ein fixes Bildaufnahme-Setup als Ausgangspunkt umgeht.

Virtuelle Bildverarbeitung