Mit dem HLRN immer im Bild bleiben

Diese Seite soll in lockerer Folge mit aktuellen Informationen und Bildmaterial zum HLRN-II System über den jeweiligen Stand des Aufbaus berichten und Nutzern und Interessierten Einblicke geben, die normalerweise den Mitarbeitern an den Installationsorten vorbehalten sind.

Der Stand Mitte Mai 2008

Das HLRN-II-System ist an beiden Standorten (Berlin und Hannover) in seiner ersten Ausbaustufe aufgebaut.

Das SGI Altix Computesystem (ICE und XE) in der neuen Rechnerhalle des RRZN in Hannover

Zur Zeit (Mitte Mai 2008) wird das System softwareseitig zur Erfüllung der HLRN-spezifischen Anforderung der Ein-System-Eigenschaft konfiguriert. Es ist geplant, noch im Mai in den Abnahmebetrieb mit Nutzern zu gehen. Damit findet die lange Vorbereitungsphase des HLRN-II ihr Ende.

Rückblick

Bereits kurz nach der Inbetriebnahme des IBM-Systems (gewöhnlich als HLRN-I bezeichnet) im Jahr 2002 begann in den HLRN-Ländern die Abstimmung zur Finanzierung des HLRN-II-Systems. Schon im Januar 2004 erfolgte die erste Bedarfsumfrage bei den Nutzern und Projekten. Mitte 2005 begannen die Arbeiten zur Konzipierung eines Nachfolgesystems mit der Erarbeitung einer Leistungsbeschreibung und eines Leistungsverzeichnisses. Das sich in vollem Gang befindliche Antragsverfahren nach dem Hochschulbau-Förderungsgesetz (HBFG) fand Anfang des Jahres 2006 mit der positiven Stellungnahme der DFG sein Ende. Dem Finanzierungsmodell des HLRN war jedoch mit der Föderalismusreform zum 1.1.2006 die Grundlage entzogen, und das weitere Vorgehen war wieder offen. Ende 2006 beschloss der HLRN Verwaltungsrat schließlich eine Neuordnung der Finanzierung, das formale Verfahren konnte mit der EU-weiten Ausschreibung weitergehen. Nach fast zwei Jahren Arbeit und über 60 Arbeitsversionen konnten die insgesamt über 150 Seiten starke Leistungsbeschreibung und das Leistungsverzeichnis im April 2007 fertiggestellt werden und die Angebotsphase starten. Abgabe der Angebote und Start des Verhandlungsverfahrens waren gegen Ende Juni 2007. Zuschlagserteilung und Vertragsabschluss mit der Firma SGI erfolgten dann am 19.12.2007.

Das HLRN-II-System in Kürze

Die Eckpunkte des Gesamtsystems sind: Beginn Stufe 1, April 2008: 728 Compute-Knoten, 5.824 Cores mit 70 TFlop/s Peak-Leistung, 16 TByte Memory, 800 TByte Plattenplatz; Ende Stufe 2, September 2009: 2.570 Compute-Knoten (davon 10 sogenannte fette mit großem Memory), 24.832 cores mit 312 TFlop/s Peak-Leistung, 92 TByte Memory, 1600 TByte Plattenplatz. Damit steht dem Norddeutschen Verbund im Endausbau eine rund 60-fach vergrößerte Rechenleistung mit entsprechend erweiterter Platten- und Arbeitsspeicher-Ausstattung zur Verfügung. Bei der Konzeption des Gesamtsystems wurde trotz der komplexen Rahmenbedingungen auf die Energieeffizienz geachtet. Aufgrund der großen Zahl von Cores in den Compute-Knoten werden daher auch energiesparende Prozessoren mit nur 80 W Leistungsaufnahme eingesetzt.

Die offizielle Einweihungsfeier wird am 3. Juli 2008 stattfinden, also fünf Jahre nach dem Start der HLRN-II Finanzierungsabstimmung (mehr Details zum SGI-System sind in der 4. Ausgabe des Newsletters HLRN Informationen und in den RRZN TopNews sowie im RRZN Newsletter zu finden.

Das “Drumherum”

Neben der Beschaffung des HPC-Systems wurden noch wichtige Maßnahmen an der Infrastruktur durchgeführt. So muss dem deutlich vergößerten Strom- und Klimatisierungsbedarf sowie dem Platzbedarf Rechnung getragen werden. Im Endausbau werden die Rechnerräume an den beiden Standorten jeweils 46 Racks mit einem Gesamtgewicht von über 45 Tonnen auf einer Fläche von ca. 110 m² beherbergen. Trotz der Energieeffizienz der Komponenten des Systems freuen sich die Elektrizitätswerke dann über einen Strombedarf mit einer Leistung von gut 650 kW. Diese Energie wird als Abwärme über die Klimaanlage abgeführt, wobei fast 90% von der Wasserkühlung in den Racktüren erfasst wird, der Rest geht in die Raumluft. Eine Faustregel besagt, dass die Klimatisierung nochmals bis zu 40% Stromenergie zusätzlich erfordern kann.

Die wichtigsten Infrastrukturmaßnahmen:

  • RRZN+ZIB: Beschaffung und Installation eines vom Computesystem unabhängigen Datenarchivsystems bestehend aus einem roboterbedienten Magnetband-Archiv mit großem Plattencache (das neue $PERM).
  • RRZN: Aus- und Umbau einer Maschinenhalle zu einer modernen Rechnerhalle mit Bürotrakt für wissenschaftliche Mitarbeiter und Techniker, speziellen Räumen für eine unterbrechungsfreie Stromversorgung (USV), einem 3 Tonnen-Lastenaufzug und dem neuen Datenarchiv. Der Datenarchivraum ist als sogenannte Lampertz-Zelle ausgeführt, s.a. RRZN Newsletter).
  • RRZN: Installation einer dynamischen USV mit einem 1 Megawatt Dieselgenerator zur Stromerzeugung bei Stromausfällen sowie einer entsprechend dimensionierten Klimaanlage einschließlich Hybrid-Kühltürmen (s.a. RRZN TopNews).
  • ZIB: Installation einer zusätzlichen Batterie-USV.
  • ZIB: Ausbau der Klimaanlage durch Austausch und Installation von zusätzlichen Kältemaschinen und Rückkühlwerken.
  • RRZN+ZIB: Verstärkung der Stromzufuhr und des Kühlwasserkreislaufs.
  • RRZN+ZIB: Ausbau der Netzwerk-Infrastruktur, auch für den optischen 10 Gbit/s HLRN-Link zwischen beiden Standorten.

Im Folgenden einige Bilder zur Ergänzung.


Bilder, die man selten sieht


Eingangsbereich des neuen Rechnergebäudes am RRZN


Einzigartiger Anblick: beide HLRN Compute-Komplexe in einer Reihe im SGI-Labor in Chippewa Falls (WI, USA).


Aufbau des Compute-Systems in der Rechnerhalle des RRZN


On top of HLRN-II: Optische Infiniband-Verkabelung auf den Racks (SGI Lab Chippewa Falls)


Die zentrale Schaltstelle der Compute-Systeme: Infiniband-Switches und optische Verkabelung für das Kommunikations- und das I/O-Netzwerk


Aufbau des Plattensystems im Rechnerraum des ZIB: die erste Ausbaustufe für das globale Filesystem (Lustre) und für die Heimat


Immer schön cool bleiben


Coole Sache: Austausch einer 300 kW Kältemaschine gegen eine mit 500 kW Kälteleistung (ZIB)


Eines von vier neuen Rückkühlwerken schwebt zur Montage über dem Dach des ZIB (hinteres Gebäude)


Back of the Rack: die Abluftwärme wird in den Rack-Türen (links, hier geöffnet) auf der Rückseite durch wassergekühlte Wärmetauscher bereits zu fast 90% dem Luftstrom entzogen.


Seltener Anblick: Zu- und Ableitungen zu den wassergekühlten Racks im Doppelboden der Rechnerhalle (RRZN)


Immer unter Strom stehen


Megastark: das 1-Megawatt Diesel-Notstromaggregat mit dynamischer USV am RRZN in Hannover


Schlangestehen für den Fall der Fälle: die Akkus für die neue Batterie-USV im ZIB


Linksammlung zu diesem Artikel

© Text, Material und Zusammenstellung von Claus-Peter Rückemann (RRZN), Wolfgang Baumann (ZIB) und Fa. SGI 2008.

(wird fortgesetzt)

 
Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen
Back to top of page