Styx – der GPU-Cluster am Fraunhofer ITWM

Der High Performance GPU-Cluster »Styx« ist in seiner Art einzigartig am Fraunhofer ITWM. Unser Ziel war es, einen Cluster zu konzipieren, dessen Fokus auf der effektiven Nutzung und nahtlosen Einbindung neuartiger Beschleunigerkarten in den Workflow der User liegt.

Um diese Idee umzusetzen wird für den Zugang zum Cluster das bei uns entwickelte Open-Source-Framework CARME verwendet.

Zugriff

Zugriffsberechtigt sind alle Mitarbeitenden, Doktoranden und Studierenden des Frauhofer ITWM sowie alle Mitglieder des Leistungszentrums Simulations- und Software-basierte Innovation. Darüberhinaus besteht die Möglichkeit fallabhängig im Zuge von Projekten oder Forschungsvorhaben, die eine der zuvor genannten Institutionen involvieren, auch Forscherinnen und Forschern über diesen Personenkreis hinaus einen Zugang zu ermöglichen.

Um einen Account zu beantragen wenden Sie sich bitte an die unter Kontakt gelisteten Personen. Der Zugang auf den Cluster erfolgt dabei über einen webbasierten Zugriff, der mittels »CARME« bereitgestellt wird.

Hardware

Alles in allem stehen unseren Nutzerinnen und Nutzern rund 100 GPUs und mehrere hundert Terabyte an Storage zur Verfügung. Die GPUs verteilen sich dabei auf insgesamt 32 physikalische Rechenknoten, welche mittels schnellem Interconnect (InfiniBand) an das mit BeeGFS bereitgestellte verteilte Dateisystem angebunden sind. Zudem besitzt jeder Rechenknoten eine lokale SSD, auf die während der Joblaufzeit frei zugegriffen werden kann.

Momentan stehen zwei verschiedene Compute-Node Typen zur Verfügung.

|   **Typ**   | **Anzahl** | **GPUs pro Knoten** | **GPU Speicher** | **CPU** | **CPU Kerne** | **Hauptspeicher** |
| :---------: | :--------: | :-----------------: | :--------------: | :-----: | :-----------: | :---------------: |
| makaria | 16 | 2x NVIDIA GTX-1080ti | 11GB | AMD Threadripper 1920x  | 24 | 64GB |
| cerberus | 16 | 4x NVIDIA Titan V | 12GB | Intel Xeon 4108 | 32 | 192GB |

Dabei ist sowohl der Zugriff als die Nutzung dieser Ressourcen durch ein Batch-System und unterschiedliche Queues entweder projekt- oder accountspezifisch festgelegt und kann daher für die Nutzerinnen und Nutzer variieren.

Software

Die softwareseitige Grundlage des Clusters stellt »CARME« da. Die für Projekte benötigte Software wird den Nutzerinnen und Nutzern dabei in einer Kombination aus Singularity-Containern und Anaconda-Umgebungen zur Verfügung gestellt. Für nähere Informationen und Unterstützung wie Sie die Software installieren können und welche Restriktionen existieren, wenden Sie sich bitte an die unter Kontakt gelisteten Personen.