BMBF-Projekt »High Performance Deep Learning Framework«

Im BMBF-Projekt »High Performance Deep Learning Framework« (HP-DLF) wird Wissenschaftlern und Entwicklern aus dem Bereich »Deep Learning« ein einfacher Zugang zu existierenden und zukünftigen Hochleistungsrechensystemen ermöglicht.

Wie erkennt ein autonom fahrendes Auto Fußgänger und andere Verkehrsteilnehmer? Wie funktioniert alltagstaugliche Spracherkennung? Wie erkennt die Internet-Suchmaschine Personen auf Fotos? Die Antwort lautet: mit Machine Learning Algorithmen. In den letzten Jahren wurde im Bereich des Maschinellen Lernens erhebliche Vorschritte erzielt. Ein bedeutender Anteil dieser Erfolge ist auf die Weiterentwicklung von sogenannten »Deep Learning« Algorithmen zurückzuführen.  

Schema HP-DLF
© Foto ITWM

Schema »High Performance Deep Learning Framework«.

Im Zuge dieser Entwicklung werden heute immer größere und komplexere künstliche Neuronale Netze entworfen und trainiert. Diese für viele praktische Anwendungen erfolgreiche Vorgehensweise erfordert allerdings einen enormen Rechenaufwand und sehr viel Trainingsdaten. Daher hängt die weitere Entwicklung von »Deep Learning« wesentlich an der Entwicklung von Methoden und Infrastrukturen, welche auch zukünftig die Berechenbarkeit immer komplexerer Neuronaler Netze sicherstellen.

 

Ziele des Projektes

  • Den Einstieg einer neuen, großen Benutzergruppe ins HPC von Anfang an durch innovative Werkzeuge zu unterstützen.
  • Die Komplexität der Hardware vor dem Nutzer zu verbergen und ihn zu einer maximal skalierbaren und energieeffizienten Lösung zu führen.
  • Nicht nur bestehende HPC-Methoden für neue Nutzer zugänglich machen, sondern auch Er-kenntnisse über die Systemanforderungen einer zukünftig sehr bedeutenden HPC-Anwendung gewinnen.

Dazu soll ein neues Software-Framework entwickelt werden, welches die hoch komplexe Parallelisierung des Trainings von großen Neuronalen Netzen auf heterogenen Rechenclustern automatisiert.

 

In Fokus des Software-Frameworks stehen

  • Skalierungs- und Energieeffizienz
  • hohe Portabilität
  • Nutzertransparenz

Das Training von in bestehenden Frameworks entworfenen Netzen soll ohne zusätzlich Nutzeraufwand über eine dreistellige Anzahl von Rechenknoten skaliert werden.  

 

GPI-Space als Basis

Das bei uns am Institut entwickelte generische Parallelisierungs-Framework GPI-Space, das Petri-Netze zur effektiven Beschreibung von Daten- und Taskparallelität einsetzt, bietet die Basis. Im Projekt wird das Programmiermodell weiterentwickelt und mittels eines Domain-spezifischen Compilers generisch an die führenden DL-Frameworks (z.B. Caffe und Tensorflow) angebunden.

 

Projektpartner

 

Projektlaufzeit

Die Arbeit im Projekt ist für eine Zeit von drei Jahren (1.11.2017-31.10.2020) vorgesehen.