Der HLRN-Verbund betreibt das HLRN-IV-System an den Standorten Georg-August-Universität Göttingen und Zuse-Institut Berlin (ZIB). Mit der vollständigen Lieferung beider HLRN-IV-Ausbaustufen Ende 2019 durch die Firma Atos/Bull verfügen beide Standorte zusammen über ein Gesamtsystem mit mehr als 230.000 Rechenkernen und damit über eine Spitzenleistung von rund 16 PFlop/s.

Die Berliner Komponente des HLRN-IV am ZIB, benannt nach Lise Meitner, umfasst 1270 Rechenknoten mit insgesamt 121.920 Rechenkernen.

• 1270 Rechenknoten
  • 1236 Knoten mit 384 GB Hauptspeicher (standard node)
  • 32 Knoten mit 768 GB Hauptspeicher (large node)
  • 2 Knoten mit 1,5 TB Hauptspeicher (huge node)
  • je Knoten 2 CPUs und 1 Intel Omni-Path host fabric Adapter
  • je CPU 1 Intel Cascade Lake Platinum 9242 (CLX-AP), 48 Kerne
• Omni-Path Netzwerkkonfiguration
  • 2 x 1162 port OPA100 director Switche
  • 56 x 48 port edge Switche
  • Fat Tree Topologie
  • 14 TB/s Bisectionsbandbreite
  • 1,65 μs maximale Latenz

• 8 Loginknoten
  • je Knoten 2 CPU mit 384 GB Hauptspeicher
  • je CPU 1 Intel Cascade Lake Silver 4210 (CLX), 20 Kerne

Am Standort Universität Göttingen wird seit Oktober 2018 die erste Ausbaustufe des HLRN-IV mit dem Namen Emmy (benannt nach Emmy Noether) betrieben. Im Oktober 2020 wurde dann die zweite Ausbaustufe in Betrieb genommen.

• 974 Rechenknoten hinzugefügt in Ausbaustufe 2
  • 956 Knoten mit 384 GB Hauptspeicher (standard node)
  • 16 Knoten mit 768 GB Hauptspeicher (large node)
  • 2 Knoten mit 1,5 TB Hauptspeicher (huge node)
  • je Knoten 2 CPUs und 1 Intel Omni-Path host fabric Adapter
  • je CPU 1 Intel Cascade Lake Platinum 9242 (CLX-AP), 48 Kerne
• 448 Rechenknoten der Ausbaustufe 1
  • 432 Knoten mit 192 GB Hauptspeicher (medium node)
  • 16 Knoten mit 768 GB Hauptspeicher (large node)
  • je Knoten 2 CPUs und 1 Intel Omni-Path host fabric Adapter
  • je CPU 1 Intel Skylake Gold 6148, 20 Kerne
  • 1 x 480 GB SSD Festplattenspeicher
• 3 GPU Knoten mit
  • 2 x Intel Skylake Gold 6148 CPUs (40 Kerne pro Knoten)
  • 768 GB Hauptspeicher
  • 1 x 480 GB SSD Festplattenspeicher
  • 1 x Intel Omni-Path host fabric adapter
  • 4 x NVIDIA Tesla V100 32GB

Das HLRN-IV-System umfasst jeweils drei Dateisysteme an den Standorten Berlin und Göttingen.

Work-Dateisystem

Für große Datenmengen steht an den beiden Standorten ein WORK-Dateisystem zur Verfügung.

• 2 x 8,1 PB netto Speicherkapazität
• 81 GB/s aggregierte Schreib- und Leseleistung

Das WORK-Dateisystem basiert auf einem DDN EXAScaler mit dem parallelen Dateisystem DDN-Lustre. Jeweils sind 2 x DDN ES18K Embedded-Storage Systeme mit integrierten OSS und einer skalierbaren MDS-Einheit installiert. Diese Scratch-Daten werden nicht in das automatische Backup übernommen.

HOME-Dateisystem

Das Heimat-Dateiverzeichnis hat die folgenden Leistungsdaten.

• 2 x 340 TB netto Speicherkapazität
  • 2 x 280 TB für Nutzerdaten
  • 2 x 60 TB für Snapshots und Systeminstallationen

Das HOME-Dateisystem basiert auf DDN GRIDScaler (Spectrum Scale) mit DDN SFA7700X Block-Storage. Das Dateisystem bietet Disk-Quotas und Inode-Quotas für Gruppen und Nutzer, die auf allen Knoten bei Dateizugriffen verarbeitet werden können. Es werden hard-/soft-limits, grace periods usw. unterstützt. Disk-/Inode-Quotas mit Soft/Hard-Limits sowie „grace periods“ können für Nutzer, Gruppen und per Fileset konfiguriert werden. Das Dateisystem wird an die Login und Compute Knoten mittels NFS exportiert. Das HOME-Dateisystem wird kontinuierlich gesichert und es werden tägliche Snapshots des Systems gemacht.

Archivsystem

Für die mittel- und langfristige Datenhaltung wird an beiden Standorten ein Archivsystem mit Magnetbandspeicher-Medien betrieben. Am ZIB besteht das Archivsystem aus einem Hierarchical-Storage-Management-System (HSM) mit Sun StorEdge SAM-FS als Steuersoftware. In Göttingen wird eine Tape-Library mit StorNext als Dateisystem bereitgestellt.