Datenmengen bewältigen

Mit der stetig zunehmenden Leistungsfähigkeit moderner Prozessoren und Netzwerktechnologien, wächst der Bedarf an erfassten und aufbereiteten Daten.

Fraunhofer paralleles Dateisystem – BeeGFS

BeeGFS (auch bekannt als Fraunhofer Parallel Filesystem, ehemals FhGFS) ist ein paralleles Dateisystem, speziell optimiert für Hochleistungsrechner (High Performance Computing). Neben der sehr guten Skalierbarkeit des Systems legt unser Entwicklerteam großen Wert auf eine unkomplizierte Handhabung und ein hohes Maß an Flexibilität.

Mit der stetig zunehmenden Leistungsfähigkeit moderner Prozessoren und Netzwerktechnologien, wächst auch der Bedarf an erfassten und aufbereiteten Daten. Um diese riesigen Datenmengen zu bewältigen und optimale Performance bei der Berechnung zu gewährleisten, arbeitet das CC HPC seit einigen Jahren am parallelen Dateisystem BeeGFS. Hierbei werden die einzelnen Dateien scheibchenweise, in sogenannte Chunks, auf mehrere Server verteilt und können dadurch parallel eingelesen bzw. geschrieben werden.

Durch die Erhöhung der Anzahl an Servern und Speichermedien im System können Anwender einfach die Leistung und Kapazität des Dateisystems auf das von ihnen benötigte Level skalieren – und zwar problemlos von kleinen Clustern bis hin zu Systemen mit Tausenden von Rechenknoten. BeeGFS wird daher zurzeit in verschiedenen Supercomputing-Einrichtungen eingesetzt – von Einrichtungen mit wenigen Maschinen bis hin zu einigen der schnellsten Hochleistungsrechnern der Welt (entsprechend der Top 500 Klassifizierung). Darüber hinaus ist das Dateisystem eine wesentliche Komponente vieler Forschungsprojekte, die von unterschiedlichen Forschungseinrichtungen und staatlichen Institutionen gefördert werden.

BeeGFS ist Open Source Software und kann kostenlos bezogen werden. Optional ist auch kommerzieller Support erhältlich.

Europäische HPC-Projekte für Exascale-Computing

BeeGFS ist ein wichtiger Bestandteil mehrerer von der europäischen Kommision geförderter Projekte, die spezielle Computerarchitekturen für den Exascale-Bereich entwickeln.: DEEP-ER, EXANODE und EXANEST.

Für das Projekt DEEP-ER, das eine Cluster-Booster- Architektur vorschlägt, haben wir BeeGFS erweitert, um die verschiedenen
Ebenen des Speichersystems effizient zu nutzen. Die neu gestarteten Projekte EXANODE und EXANEST werden energiesparende Prozessoren und Nanotechnologie verwenden und ein systemweites vereinheitlichtes Speicherkonzept nutzen. Viele der vorgestellten Ideen werden zum ersten Mal genutzt und es ist interessant zu sehen,  wie sie die Forschungsrichtungen des High Performance Computing beeinflussen.

Um unser umfangreiches Wissen in die europäische strategische Forschungsagenda einfließen zu lassen, arbeiten wir im Rahmen der EXDCI-Initiative mit führenden Experten aus dem HPC-Bereich zusammen und tragen essentiell zu Entscheidungen für das wissenschaftliche Programm der EU bei. Spannende Zeiten im Wettrennen zum ersten Exascale-Computercluster.

Beispielprojekte

ExaNeSt

In einer immer dynamischeren und komplizierteren Welt wachsen auch die Anforderungen an neue Supercomputer, die immer höhere Datenmengen berechnen müssen. So genannte ExaScale Computer mit mehr als 10 Millionen Prozessoren sind in der Lage, unsere Welt mithilfe moderner Simulationen besser zu verstehen und Lösungen für Probleme zu finden.  Das europäische Gemeinschaftsprojekt ExaNetSt spielt eine tragende Rolle in dieser Entwicklung. Es besteht aus 12 Partnern, von denen jeder über besondere Fachkenntnisse verfügt. Wir sind einer der ExaNetST-Partner, der seine Kompetenzen im Bereich Supercomputing einbringt und beiteiligen uns mit BeeGFS an der Entwicklung einer Umgebung für schnellen Datenaustausch.

DEEP und DEEP-ER

Im Projekt DEEP als auch dem Nachfolgeprojekt DEEP-ER wird eine Cluster-Booster-Architektur entworfen und prototypisch umgesetzt. Dabei wird das Gesamtsystem aus einem Cluster von Rechenknoten mit vielen Rechenkernen und einem Booster zusammensetzt. Diese Kombination bietet maximalen Datenfluss und Skalierbarkeit. Im Projekt DEEP hat sich herausgestellt, dass die wachsende Kluft zwischen I/O-Bandbreite und Rechnergeschwindigkeit eine Herausforderung für die DEEP-Architektur ist. DEEP-ER erweitert deshalb die Computerarchitektur basierend auf vielfältigen Rechnerkomponenten durch ein hochskalierbares I/O-System. Im Projekt passen wir das parallele I/O-System basierend auf BeeGFS an die DEEP-ER Architektur an.

DEEP-EST

Das EU-Projekt DEEP-EST folgt auf die erfolgreich abgeschlossenen Projekte DEEP und DEEP-ER. Ziel ist es einen modularen Supercomputer zu schaffen, der auf die Komplexität moderner Simulationscodes und das wachsende Aufgabenspektrum von Rechenzentren zugeschnitten ist.

Für die Handhabung großer Datenmengen haben wir das parallele Filesystem BeeGFS entwickelt und für Hochleistungsrechner optimiert. BeeGFS ist ein wichtiger Bestandteil mehrerer EU-Projekte, die sich mit speziellen Computerarchitekturen für den Exascale-Bereich beschäftigen.  

Das Projekt DEEP-EST erweitert dieses Konzept nun um eine modulare Supercomputer-Architektur.