Skalierbare Algorithmen

Im Schwerpunkt arbeiten wir an neuen Algorithmen zur effizienten verteilten Berechnung von Lernalgorithmen und deren Umsetzung auf spezialisierter Hardware.

Datenanalyse und Maschinelles Lernen

Die Forschung im Bereich des Maschinellen Lernens hat in den letzten Jahren sehr große Fortschritte gemacht: Algorithmen sind mittlerweile in der Lage, menschliche Weltmeister im Schach und Go zu schlagen, autonom Fahrzeuge zu fahren oder Konversationen zu führen. Intelligente Systeme werden daher immer mehr zur Schlüsseltechnologie für viele existierende und zukünftige Anwendungen und Produkte. Algorithmen erlangen zunehmend Fähigkeiten, die bis vor kurzem nur von Menschen bewältigt werden konnten.

Diese rasante Entwicklung geht einher mit einer stetig steigenden Komplexität der zugrunde liegenden Modelle. Auf dem Weg zum alltagstauglichen Einsatz vieler bestehender Ansätze Maschinellen Lernens gibt es aber immer noch wesentliche Hürden zu überwinden: Eine davon ist der enorme Bedarf an Rechenleistung des Maschinellen Lernens. So ist derzeit nicht unüblich, dass für einen einzigen Lernvorgang mit aktuellen Methoden (Stichwort Deep Learning) mehrere Tage Rechenzeit erforderlich sind. 

Im Schwerpunkt Datenanalyse und Maschinelles Lernen arbeiten wir u.a. an neuen Algorithmen zur effizienten verteilten Berechnung von Lernalgorithmen und deren Umsetzung auf spezialisierter Hardware. Der Fokus unserer Arbeit liegt dabei auf der Entwicklung skalierbarer Optimierungsalgorithmen für die verteilte Parallelisierung von großen Machine-Learning-Problemen. Grundlage für diese Arbeiten sind dabei die am CC HPC entwickelten HPC-Komponenten, wie z. B. das parallele Filesystem BeeGFS oder das Programmierframework GPI2.0, welche die effiziente Implementierung neuer Algorithmen wie ASGD (Asynchronous Stochastic Gradient Descent) erst ermöglichen.

Maschinelles Lernen und High Performance Computing

Ausgewählte Projekte und Dienstleistungen des Schwerpunktes

 

Carme

Mit dem Open-Source Multi-User Softwarestack Carme können mehrere Nutzer die verfügbaren Ressourcen eines Rechenclusters verwalten.

 

Tarantella

Im BMBF-Projekt »High Performance Deep Learning Framework« ermöglichen wir einfachen Zugang zu Hochleistungsrechensystemen durch unser Framework »Tarantella«.

 

DeTol

Im BMBF-Projekt »Deep Topology Learning« (DeTol) werden durch datengetriebene Entwurfsalgorithmen der Entwurfsprozess für Deep-Learning-Lösungen beschleunigt und vereinfacht.

 

TensorQuant

Mit unserem Softwaretool TensorQuant simulieren Entwickler Deep-Learning-Modelle mit beliebigen Zahldarstellungen und Rechengenauigkeiten.

 

HALF

Im Projekt HALF entwickeln wir energie-effiziente Hardware, die Künstliche Intelligenz zur Auswertung von Patientendaten auch auf mobilen Geräten ermöglicht.

 

DLseis

Das Projekt »Deep Learning für große seismische Anwendungen« (DLseis) befasst sich mit der Grundlagenforschung bis hin zu einsatzbereiten Deep-Learning-Tools für seismische Anwendungen.

 

Multi-Target Neural Architecture Optimization

KI-Services: Neural Architecture Search as a Service (NASaaS)

Wir unterstüzen Sie bei der Integration Ihres optimalen, individuellen neuronalen Netzes.

Datenanalyse

Ausgewählte Projekte

 

SafeClouds

Weitere Informationen zum Projekt »SafeClouds« auf unserer Projektseite »Verteilte Infrastruktur zur Datenanalyse in der Luftfahrt«.

 

Fraunhofer-Cluster of Excellence CIT

Kognitive Internet-Technologie

Das Cluster fokussiert sich auf die drei Schwerpunkte »IOT-COMMs«, »Fraunhofer Data Spaces« und »Machine Learning«.

Ausgewählte Veröffentlichungen

 

  • Y. Yang, Y. Yuan, A. Chatzimichailidis, R. JG van Sloun, L. Lei, S. Chatzinotas. "ProxSGD: Training Structured Neural Networks under Regularization and Constraints." International Conference on Learning Representation (ICLR), Apr. 2020. PDF
  • Raju Ram, Sabine Müller, Franz-Josef Pfreundt, Nicolas R. Gauger, Janis Keuper. "Scalable Hyperparameter Optimization with Lazy Gaussian Processes." Super Computing 2019, International Conference for High Performance Computing, Networking, Storage and Analysis, Workshop on Machine Learning in HPC Environments
  • Valentin Tschannen, Norman Ettrich, Matthias Delescluse and Janis Keuper. "Detection of point scatterers using diffraction imaging and deep learning." Geophysical Prospecting (2019).
  • Durall, Ricard, Margret Keuper, Franz-Josef Pfreundt, and Janis Keuper. "Unmasking DeepFakes with simple Features." arXiv preprint arXiv:1911.00686 (2019).
  • Durall, Ricard, Franz-Josef Pfreundt, and Janis Keuper. "Semi Few-Shot Attribute Translation." IVCNZ 2019 and arXiv preprint arXiv:1910.03240 (2019). PDF
  • Chatzimichailidis, Avraam, et al. "GradVis: Visualization and Second Order Analysis of Optimization Surfaces during the Training of Deep Neural Networks." Super Computing 2019, International Conference for High Performance Computing, Networking, Storage and Analysis, Workshop on Machine Learning in HPC Environments.
  • Durall, Ricard, et al. "Object Segmentation Using Pixel-Wise Adversarial Loss." German Conference on Pattern Recognition. Springer, Cham, 2019. PDF