Deep Learning für die 3D-Rekonstruktion hochporöser Strukturen aus FIB-REM-Bildstapeln
© Fraunhofer ITWM
Deep Learning für die 3D-Rekonstruktion hochporöser Strukturen aus FIB-REM-Bildstapeln

#

Deep Learning ist bei uns als eine weitere Methode zur Rekonstruktion poröser Strukturen aus FIB-REM-Bildern im Einsatz. Rasterelektronenmikroskopie (REM) kombiniert mit fokusiertem Ionenstrahl kann Nanostrukturen räumlich abbilden.

Deep Learning für die 3D-Rekonstruktion hochporöser Strukturen aus FIB-REM-Bildstapeln

Besseres Verständnis des Zusammenhangs von Struktur-Eigenschafts-Beziehungen durch 3D Abbildung und Deep Learning

Moderne Werkstoffe wie Gasdiffusionsschichten für Brennstoffzellen, Elektroden für Lithium-Ionen-Batterien, Filtermedien oder keramische Werkstoffe mit aktiven Komponenten haben komplexe, multiskalige Strukturen, die das makroskopische Materialverhalten hochgradig beeinflussen. 3D-Bilder der Strukturen ermöglichen ein tieferes Verständnis, wie Struktur und Eigenschaften zusammenhängen. Mit neuen DeepLearning-Methoden tragen wir zu diesem Verständnis bei.

Auf der Nanoskala können Strukturen im Bereich 5–100nm durch die FIB-REM-Serienschnitttechnik dreidimensional abgebildet werden. Mithilfe eines fokussierten Ionenstrahls (Focused Ion Beam, FIB) wird die zu untersuchende Struktur präzise geschnitten und die Schnittfläche anschließend mit dem Rasterelektronenmikroskop (REM) abgebildet. Die Oberfläche wird weiter abgetragen, die Schnittfläche wieder abgebildet. Mehrere Hundert Schnittbilder ergeben einen Volumendatensatz.

Zirkondioxid-Probe
© Sören Höhn, Fraunhofer IKTS
Abbildung 1: REM-Bild einer nanoporösen Zirkondioxid-Probe.
Zufällige Packung von Zylindern
© Fraunhofer ITWM
Abbildung 2: EIn Beispiel für synthetische REM-Bilddaten von Realisierungen stochastischer Geometriemodelle; zufällige Packung von Zylindern.
CoxBoolesches-Modell von Kugeln
© Fraunhofer ITWM
Abbildung 3: Ein Beispiel für synthetische REM-Bilddaten von Realisierungen stochastischer Geometriemodelle; CoxBoolesches-Modell von Kugeln.

Durchscheinartefakte erschweren die Rekonstruktion

Bei hoher Porosität entspricht die aus den 2D-Schnitten rekonstruierte 3D-Struktur jedoch nicht der realen Struktur, da die einzelnen REM-Bilder nicht nur die tatsächlichen Schnittflächen zeigen. Die hohe Tiefenschärfe des REM lässt durch die Poren auch Strukturbereiche dahinter sichtbar werden und genauso hell erscheinen wie die aktuelle Schnittfläche. Diesen Effekt, dass feste Strukturen durch die Poren aus tieferen Schichten sichtbar sind, nennt man Durchscheinartefakt. Die Rekonstruktion der 3D-Struktur und deren quantitative Analyse sind deshalb für poröse Strukturen eine Herausforderung. Bei uns am ITWM sind mehrere Rekonstruktionsverfahren entwickelt worden. Sie sind jedoch nach wie vor maßgeschneidert für bestimmte Strukturen und Kontrastverhältnisse, nicht leicht zu parametrisieren und anfällig bei typischen Abbildungsartefakten wie Streifen durch das Schneiden oder Aufladung im Fall nichtleitender Materialien.

Skizze der genutzten U-Net3D-Architektu
© Fraunhofer ITWM
Abbildung 4: Skizze der genutzten U-Net3D-Architektur; die grauen Kästchen stellen Convolutional Layer dar, denen einer Batch-Normalisation folgt und mit ReLU aktiviert werden. rot: Max-Pooling-Layer; blau: entsprechende UpSampling-Layer. gelb: Convolutional Layer mit Soft-Max-Aktivierung

Deep Learning als Lösungsansatz für komplexe 3D-Segmentierungsaufgaben

Machine Learning wird immer öfter für die Lösung komplexer Segmentierungsaufgaben, auch in 3D-Bildern, eingesetzt. Convolutional Neural Networks (CNN) benötigen allerdings für die Trainingsphase viele korrekt segmentierte (hier rekonstruierte) Bilder. Gerade in unserem Fall ist aber die Bildgewinnung teuer. Außerdem ist es schwierig, interaktiv korrekt zu segmentieren, weil auch der Mensch Mühe hat, durchscheinendes von echtem Material zu unterscheiden. Wir haben deshalb ein CNN (U-Net3D) mit ausschließlich synthetisch erzeugten FIB-REM-Bildern trainiert. U-Net3D besteht aus zwei Pfaden, wobei der erste – der Encoder – einem klassischen CNN ähnelt und alle Convolutional Layer mit Rectified Linear Unit (ReLU) aktiviert werden (siehe Abbildung 4).

Sobald die dünnste Schicht – der Flaschenhals des Netzwerks – passiert ist, expandiert der symmetrische zweite Pfad die Feature Maps wieder. Im Bottleneck wird ein Dropout-Layer mit einer Wahrscheinlichkeit von 0,5 als indirekte Augmentierung verwendet. Der expandierende Pfad ermöglicht die präzise Lokalisierung in den ursprünglichen Bilddimensionen, indem UpSampling-Layer anstatt Pooling-Layer verwendet werden und der Output mit dem entsprechenden Layer im Encoder verknüpft wird. Schließlich wird ein zusätzlicher Convolutional Layer mit Soft-Max-Aktivierung angewendet, um Wahrscheinlichkeiten der Klassenzugehörigkeit zu erhalten. Abbildung 4 enthält eine Skizze unserer Architektur einschließlich der Anzahl der Layer.

Training mit synthetisch erzeugten Bildern

Wir erzeugen also eine Geometrie, z.B. aus überlappenden Kugeln. Dieses Kugelsystem wird direkt diskretisiert. Das so entstandene 3D-Bild ist sofort als Grundwahrheit verfügbar. Zum anderen wird ein Stapel von REM-Bildern physikalisch korrekt simuliert. Die Abbildungen 2 und 3 zeigten zwei Beispiele für synthetische REM-Bilddaten von Realisierungen stochastischer Geometriemodelle. Mit diesen Daten trainiert das CNN zu entscheiden, welche Pixel tatsächlich zum Vordergrund gehören, also zum Material. Wir haben dann diesem ausschließlich auf synthetischen Daten trainierten CNN FIB-REM-Stapel realer Strukturen vorgelegt. Zwei reale Datensätze hat es genauso gut wie die besten maßgeschneiderten klassischen Methoden segmentiert. In Abbildung 5 ist das Rekonstruktionsergebnis des trainierten Modells für die nanoporöse Zirkoniumdioxid-Probe abgebildet. Das nächste Entwicklungsziel besteht darin, das CNN anhand synthetischer FIB-REM-Bilder vieler verschiedener Strukturen zu trainieren. Dieses CNN könnte dann auch neue, unbekannte Strukturen korrekt segmentieren. 

Modell für die nanoporöse Zirkondioxid-Probe
© Fraunhofer ITWM
Abbildung 5: Rekonstruktionsergebnis des trainierten Modells für die nanoporöse Zirkondioxid-Probe; grün: korrekt segmentierte Vordergrundpixel (True Positiv); gelb: falsch als Vordergrund klassifizierte Pixel (False Positiv); rot: falsch als Hintergrund klassifizierte Pixel (False Negativ).

 

Referenzen

  • Fend, C.; Moghiseh, A.; Redenbach, C.; Schladitz, K.:
    Reconstruction of highly porous structures from FIB-SEM using a deep neural network trained on synthetic images.
    Journal of Microscopy, 281, Nr. 1, pp. 16-27, 2021.