HLRN Informationen ▪ Nr. 18 ▪ Dezember 2015

Vor sich haben Sie die achzehnte Ausgabe der HLRN-Informationen. Details zum Abonnement per E-Mail und zum Download sind am Ende unter Redaktionelles zu finden.

Der HLRN-III im Endausbau

An dieser Stelle wollen wir kurzgefasst auf einige Aspekte des Endausbaus der Cray-Systeme eingehen. Wichtige betriebliche Informationen sind auf den nachfolgenden Seiten zu finden.

Schon jetzt in Arbeit: der HLRN-IV

Kaum ist der Endausbau des HLRN-III-Projekts mit den Cray XC30/XC40-Systemen Konrad und Gottfried im Routinebetrieb, da befassen sich die Gremien und die Betreiber des HLRN mit einem möglichen Nachfolgesystem im Rahmen des HLRN-IV-Projekts mit dem Ziel, die erste Installationsstufe im Herbst 2018 bereitzustellen. Hierbei arbeiten alle Beteiligten des HLRN Hand in Hand.

Der Verwaltungsrat, der auch über die Finanzen entscheidet, hat die Betreiber mit der Bedarfsermittlung beauftragt. Die Umfrage bei allen Projekten im Herbst 2015 hat einen Bedarf ergeben, der um ein Vielfaches über der verfügbaren-Kapazität des HLRN-III liegt. Dieses und andere Ergebnisse der Umfrage fließen in das HLRN-IV-Konzept ein, für das die Technische Kommission federführend ist.

Aufgrund der Co-Finanzierung durch den Bund im Rahmen der Förderung von Forschungsbauten nach Art. 91 b Abs. 1 Nr. 3 GG wird zur Zeit der Förderantrag an den Wissenschaftsrat und die DFG erarbeitet und am 20. Januar 2016 eingereicht.

Die Beschaffung kann erst nach erfolgreicher Begutachtung durch Wissenschaftsrat und DFG in einem europaweiten Ausschreibungsverfahren erfolgen. Die gegenwärtige Planung geht von einer Zuschlagserteilung und einem Vertragsabschluss Ende 2017 aus. Die Installation soll in der ersten Jahreshälfte 2018 erfolgen, die Inbetriebnahme der ersten Ausbaustufe im August 2018.

Das bewährte Konzept mit zwei Standorten in den Ländern Berlin und Niedersachsen soll auch für den HLRN-IV beibehalten werden. Als neuen niedersächsischen Standort hat die dortige Landesregierung die Universität Göttingen/GWDG festgelegt.


image of an XC30/XC40 compute blade


Bild 1: Ein Compute-Blade der XC-30/XC-40: Es besteht aus 4 Knoten mit je zwei Intel Xeon-Prozessoren und ihrem seitlich davon montierten Arbeitsspeicher sowie einem Netzwerkchip für das Cray Aries-Netzwerk (rechts). [Bild ©Zuse-Institut Berlin]

Bericht: Forschung im HLRN-Verbund 2015

Der Projektberichtsband "Forschung im HLRN-Verbund 2015", zu dem in den letzten vier Quartalen alle HLRN-Projekte beigetragen haben, befindet sich zur Zeit in Produktion. Interessenten wenden sich bitte an die Geschäftsstelle des Wissenschaftlichen Ausschusses (E-Mail an zulassung@hlrn.de).

Effizientere Nutzung der HLRN-Ressourcen

Wie erreiche ich kürzere Job-Turnaroundzeiten? Wie kann ich die verfügbaren Ressourcen insb. der Haswell-Prozessoren der mpp2-Partition besser nutzen? Solche und andere Fragen beantwortet unsere Online-Dokumentation „Best Practices, HowTos, Tutorials“.

WORK-Dateisysteme: Lustre-Upgrade in Berlin

Während der Wartung am 8. und 9. Dezember in Berlin wurde Lustre auf den Lustre-Servern auf Version 2.3.0 des Cray Lustre Filesystems (CLFS) aktualisiert. CLFS 2.3.0 ist ein Maintenance-Release und basiert auf Crays Lustre-Version 2.5.4. Auf Client-Seite wurde ein Patch eingespielt, der I/O-Probleme bei eingeschaltetem Quoten-Enforcement behebt.

Der Komplex in Hannover wird voraussichtlich im Januar ebenfalls auf CLFS 2.3.0 aktualisiert, wenn in Berlin bis dahin keine Probleme aufgetreten sind. Der HLRN und Cray erhoffen sich, dass damit die Lustre-Ausfälle, die insbesondere in Berlin kurz nach dem Beginn des Nutzerbetriebs in Phase 2 vermehrt auftraten, der Vergangenheit angehören und auch die Quoten-Funktionalität, das Erfassen der Belegung und das Durchsetzen der eingetragenen Limits pro Nutzer, fehlerfrei funktioniert. Ein funktionierendes Quoten-Enforcement ist aus betrieblicher Sicht nötig, um ein Volllaufen der Filesysteme und eine Überbelegung des vorhandenen Plattenplatzes durch einzelne Nutzer zu verhindern.

Im Frühjahr dieses Jahres war die Quoten-Funktionalität zunächst als Workaround komplett deaktiviert worden, nachdem einzelne große Jobs reproduzierbar ein Lustre-Filesystem zum Stillstand bringen konnten. Durch das Deaktivieren der Quoten konnte dies verhindert werden. Schrittweise wurden uns von Cray Patches zur Verfügung gestellt. Nach der Wartung und der Neuformatierung von WORK1 im Juli konnte zunächst das Space-Accounting wieder aktiviert werden. Ein Patch zur Aktivierung des Quoten-Enforcements führte allerdings im August zu I/O-Problemen bei Nutzern mit überschrittener Soft-Quota, so dass dieses bis zur Wartung im Dezember wieder deaktiviert werden musste.

In der Zwischenzeit wurde das System in Berlin im Frühjahr auch dahingehend vorbereitet, dass notfalls der Betrieb auch nur mit einem der beiden Lustre-Filesysteme erfolgen kann, falls bei einem davon mit einer längeren Ausfallzeit zu rechnen ist.

Generell sollte bei der Nutzung der Lustre-Filesysteme WORK1 und WORK2 beachtet werden, dass die WORK-Filesysteme als Scratch-Filesysteme konzipiert sind. Wegen ihrer Größe und ihres ständig wechselnden Daten-Bestands gibt es von den dort abgelegten Daten aus Gründen der Performance kein Backup. Aufgrund der Komplexität des parallelen Dateisystems und der Vielzahl der eingesetzten Hardware-Komponenten ist die Wahrscheinlichkeit von Ausfällen und eventuellen Datenverlusten relativ groß. Wichtige Daten sollten von den Nutzern daher immer auf den Bändern des Archivfilesystems PERM abgelegt werden.   (gla)

Projekte am HLRN

Auf den HLRN-Systemen werden Projekte aus vielen Forschungsgebieten bearbeitet. Hier stellen wir jeweils ein Projekt vor, das gerade bearbeitet wird oder abgeschlossen wurde. In dieser Ausgabe prä­sentieren wir ein Projekt aus der Ostseeforschung.

Mit Rechenleistung in die Vergangenheit

— Rekonstruktion des Zustandes der Ostsee für den Zeitraum 1980-2014 —

U. Gräwe und T. Seifert

Leibniz Institut für Ostseeforschung, Warnemünde

Die Meereswissenschaft hat ein zentrales Problem: Gleichzeitige Messungen an allen Stellen der Ostsee sind unmöglich. Dazu kommt, dass wir nicht alle relevanten Größen erfassen können. Selbst für den Fall, dass sich alles gleichzeitig messen ließe, würde dieser Ansatz nur das Wissen über den Jetzt-Zustand des Meeres einschließen. Die Vergangenheit der Ostsee könnte weiterhin nur mit Hilfe älterer, bereits existierender Messungen untersucht werden.

Ein möglicher Ausweg sind Computerberechnungen auf Hochleistungsrechnern mit zehntausenden von Prozessoren (HLRN). Hierfür simuliert ein Computermodell die Bewegungsgleichungen für die Wassermassen sowie die Zustandsgleichung für Dichte, Temperatur und den Salzgehalt. Dieses physikalische Strömungsmodell basiert dabei auf den meteorologischen Randdaten (z.B. Windgeschwindigkeiten, Sonneneinstrahlung, Regen) und berechnet den physikalischen Zustand des Modellsystems für jeden Zeitschritt (z.B. Strömung, Schichtung und Wassertemperatur).

Um dieses Ziel zu erreichen, werden am IOW seit seiner Gründung hochauflösende Computermodelle der Ostsee entwickelt. In den vergangenen zwei Jahren wurde ein Modellsystem aufgesetzt, das aus einem Sturmflutmodell des Nordatlantiks und einem daran angekoppelten Modell der Nordsee und der Ostsee mit einer räumlichen Auflösung von ca. 2 km besteht. Diese Kopplungen sind notwendig, da z.B. Stürme vor Island auch Auswirkungen auf die deutsche Ostseeküste haben können.

Das entwickelte Modellsystem hilft uns, die folgenden wissenschaftlichen Fragen zu beantworten: 1. Wie wird der Wasseraustausch zwischen dem Oberflächenwasser und dem Tiefenwasser z.B. im Gotland-Becken gesteuert? 2. Welche Bedeutung haben die großen Salzwassereinbrüche für den Zustand der Ostsee [1, 2]? Welchen Einfluss haben die vielen kleinen und mittleren Salzwassereinbrüche, um die Salzschichtung in den tiefen Becken der Ostsee aufrechtzuerhalten? 3. Wie beeinflussen horizontale Prozesse (Filamente, Wirbel, Auftrieb) den Wassertausch in der Ostsee?

Das oben beschriebene Modellsystem basiert auf dem am IOW mitentwickelten Küsten-Ozean-Modell GETM (General Estuarine Transport Model). Für seinen erfolgreichen Einsatz waren Adaptionen an die lokalen Gegebenheiten notwendig. In einem ersten Schritt haben wir die Numerik den speziellen Anforderungen der Ostsee angepasst. Dies umfasste vor allem die Verbesserung der vertikalen Auflösung, so dass sich die vertikalen Koordinaten der Hydrodynamik anpassen und dort, wo die größten vertikalen Gradienten auftreten, eine hohe Auflösung erzielt wird [3]. Die Nutzung des HLRN beschleunigte die Simulation soweit, dass sich ein Jahr „Computer-Ostsee“ innerhalb von zwölf Stunden berechnen lässt.


Fig1.png


Abb. 1: Zeitreihen des Bodensalzgehaltes an den drei Stationen a) US5B im Bottnischen Meerbusen (150 m Tiefe), b) BY15 im zentralen Gotlandbecken (240 m Tiefe) und c) BY2 im Bornholmbecken (90 m Tiefe). Die roten Punkte markieren die Messungen, und die schwarze Linie stellt die Simulationsergebnisse dar.

Mit Hilfe des Computermodells haben wir den Zustand der Ostsee der vergangenen 35 Jahre rekonstruiert. Abb. 1 stellt den Bodensalzgehalt an drei Stationen in der Ostsee dar. Vor allem an der Station BY2 sieht man die kleinen und mittleren Salzwassereinbrüche, die ca. alle 2–5 Jahre stattfinden. Je weiter man in den Norden der Ostsee geht (Station BY15, Abb. 1b), desto mehr nimmt der Salzgehalt ab. Trotzdem bleiben die Signale der großen Salzwassereinbrüche (etwa alle 10 Jahre) klar erkennbar (z.B. 1993 und 2003). Die physikalische Rekonstruktion des Zustandes der Ostsee hat die langfristige Erwärmung der Ostsee bestätigt. Wie auch Satellitenmessungen zeigen, nimmt die maximale Sommertemperatur um ca. 0.4–0.5 °C pro Dekade zu (Abb. 2a). Dieser Temperaturanstieg gilt aber nicht uniform über die gesamte Ostsee, sondern zeigt eine hohe räumliche Variabilität. Vor allem der Golf von Finnland und die südliche Ostsee erwärmen sich fast doppelt so schnell wie der Rest der Ostsee. Der generierte Datensatz wird helfen, diese Unterschiede genauer zu untersuchen und zu verstehen.


Fig2.png


Abb. 2: a) Mittlerer Anstieg der Sommer-Maximaltemperatur der Meeresoberfläche in °C pro Dekade. b) Mittleres Alter des Bodenwassers seit dem letzten Kontakt mit der Atmosphäre.

Computermodelle ermöglichen es außerdem, den Wasseraustausch zu untersuchen. Ein wichtiges Maß für den Wasseraustausch ist das Alter von Wassermassen. Hierbei bezieht sich das Alter auf die Zeit, die vergangen ist, seitdem die Wassermasse zuletzt Kontakt mit der Atmosphäre hatte. Diese Altersangabe ist ein gutes Maß, um z.B. die Belüftung des Tiefenwassers in den Becken der Ostsee zu beschreiben. Abb. 2b visualisiert das mittlere Alter am Boden der Ostsee. Speziell in der zentralen Ostsee kann das mittlere Alter auf über 2000 Tage ansteigen; d.h., der letzte Kontakt mit der Atmosphäre fand vor etwa sechs Jahren statt. Diese langen Austauschzeiten erklären die schlechte Sauerstoffversorgung der tiefen Becken; innerhalb dieser Zeitspanne haben Mikroorganismen den Sauerstoff komplett verbraucht. Die Integration eines Ökosystemmodells wird es erlauben, die Entwicklung des Sauerstoffs explizit darzustellen. Dabei werden die Simulationsergebnisse durch Hinzunahme eines alternativen Strömungsmodells abgesichert.

Innerhalb kürzester Zeit hat das entwickelte Computermodell zur Rekonstruktion der Ostsee dem IOW neue Erkenntnisse in der praktischen und theoretischen Meeresforschung geliefert. Die zukünftige Forschungsarbeit wird daher verstärkt Messungen auf der Ostsee mit Computerberechnungen kombinieren.

Projektförderung:

STB-MODAT, Land Mecklenburg-Vorpommern

Referenzen

[1] V. Mohrholz, M. Naumann, G. Nausch, S. Krüger, U. Gräwe, Fresh oxygen for the Baltic Sea – An exceptional saline inflow after a decade of stagnation. J. Mar. Syst. 148, 152–166 (2015). doi:10.1016/j.jmarsys.2015.03.005

[2]. http://www.io-warnemuende.de/salzwassereinbruch-2014-dezember.html

[3] R. Hofmeister, H. Burchard, J.-M. Beckers, Non-uni­form adaptive vertical grids for 3D numerical ocean models. Ocean Model. 33, 70–86 (2010). doi:10.1016/j.ocemod.2009.12.003

Personalia

Gedenken an Prof. Dr. Michael Müller-Preußker

* 26.09.1946     † 12.10.2015

Mit großer Bestürzung haben wir vom Tod von Michael Müller-Preußker Kenntnis genommen. Wir verlieren mit ihm einen hoch geschätzten und klugen Mitstreiter für die Förderung des High-Performance-Computing in Deutschland. Der Aufbau des Supercomputerver­bundes der Norddeutschen Bundesländer (HLRN) war ihm ein besonderes Anliegen, für das er sich unermüdlich eingesetzt hat. Darüber hinaus hat er sich viele Jahre ehrenamtlich als Mitglied des Wis­senschaftlichen Ausschusses des HLRN engagiert und mit seinem großen Sachverstand sowie seiner feinfühligen Art die Entwicklung des Verbundes mit­gestaltet. Wir vermissen ihn und sind dankbar für sein vielfältiges Wirken. Wir trauern mit seinen Angehörigen.

Ein Nachruf: http://people.physik.hu-berlin.de/~plefka/Nachruf-MMP.pdf

Personelle Veränderungen

Im vergangenen Halbjahr haben sich wieder perso­nelle Änderungen im HLRN-Kompetenznetzwerk ergeben. Neu im Kreis der HLRN-Berater sind Stefan Albensöder (ForWind Uni Oldenburg), Stefan Harfst (Uni Oldenburg) und Wolfram Schmidt (Sternwarte Uni Hamburg), sowie Christian Böhmert, Rainer Bohrer, Sven Bingert und Tim Ehlers (alle Uni Göttingen/GWDG).

Termine und Veranstaltungen

Workshops und Kurse im HLRN

Die nächsten Kurse Parallele Programmierung mit MPI und OpenMP werden in Bremen (vom 22.–26. Januar 2016, in englischer Sprache) und in Hamburg (vom 01.–05. Februar 2016, in deutscher Sprache) durchgeführt. Ein Workshop zur GPU-Programmierung mit OpenACC findet vom 08.–09. Februar 2016 in Hannover statt. Ein Kurs zum Thema Einzelprozessoroptimierung vom 01.–02. März 2016 in Hamburg ergänzt das Kursprogramm. Die Kurse sind prinzipiell für alle Interessierten offen, sie beinhalten Vorträge und Programmierübungen. Einzelheiten zu die­sen und anderen Workshops entnehmen Sie bitte, wie immer, den HLRN-News und der HLRN-Veranstaltungsseite.

Großprojekte: Antragstermin 28.01.2016

Die nächste Deadlinefür die Beantragung von Rechenzeit für Großprojekte ist der 28.01.2016. In der anschließenden Begutachtung durch den Wis­senschaftlichen Ausschuss werden Rechenzeit-Kontingente für vier Quartale ab 01.04.2016 bewil­ligt. Anträge auf neue Nutzerkennungen zur Vorbereitung von Großprojekten sowie Anträge auf Rechenzeit für Großprojekte können online über das Serviceportal des HLRN gestellt werden. Die Gutachter des Wissenschaftlichen Ausschusses des HLRN bewilligen etwa 130 Millionen Core-Stunden pro Quartal (dies entspricht etwa 42 Millionen NPL pro Jahr) für Großprojekte. Details und nähe­re Informationen dazu sind auf den Webseiten des HLRN und dem HLRN Ser­viceportal zu finden.

Redaktionelles

Abonnement und Download

Wenn Sie die HLRN Informationen per E-Mail abonnieren wollen, senden Sie eine E-Mail an die Adresse newsletter-request@hlrn.de mit dem Wort subscribe im Text. Sie erhalten dann einmalig eine automatische Antwort mit Hinweisen, wie Sie Ihr Abonnement bestätigen müssen.

Wenn Sie die HLRN Informationen per E-Mail abbestellen wollen, senden Sie ebenfalls eine Mail an die Adresse newsletter-request@hlrn.de mit dem Wort unsubscribe im Text.

Diese Hinweise und die Druckvorlagen (PDF) der vorliegenden und aller weiteren Ausgaben der HLRN Informationen sind auch auf der Webpräsenz des HLRN zu finden.

Redaktion

Dr. Wolfgang Baumann (baumann@hlrn.de)

Die nächste Ausgabe der HLRN Informationen erscheint voraussichtlich im Juni 2016.


-- WolfgangBaumann - 21 Dec 2015

 
Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen
Back to top of page