HLRN Informationen ▪ Nr. 17 ▪ Juli 2015

Vor sich haben Sie die siebzehnte Ausgabe der HLRN-Informationen. Details zum Abonnement per E-Mail und zum Download sind am Ende unter Redaktionelles zu finden.

Der HLRN-III im Endausbau

An dieser Stelle wollen wir kurzgefasst auf einige Aspekte des Endausbaus der Cray-Systeme eingehen. Wichtige betriebliche Informationen sind auf den nachfolgenden Seiten zu finden.

Der HLRN in der Top500-Liste

Konrad und Gottfried sind die Cray XC30/XC40-Systeme des HLRN-III-Projekts. Der Endausbau ging rechtzeitig für die Aufnahme in die 44. Top500 Liste in Betrieb, die im November 2014 erschienen ist. Die Komplexe stehen mit einer Linpack-Leistung von 991,5 TFlops (Konrad) bzw. 829,8 TFlops (Gottfried) auf den Plätzen 51 bzw. 61 in der Liste. Die unterschiedlichen Leistungen sind dadurch begründet, dass in Hannover neun und in Berlin zehn Computeracks betrieben werden. Hannover betreibt zusätzlich das SMP-System, dessen Rechenleistung aber nicht in der TOP500 berücksichtigt wird. [Ergänzung 21.7.2015: In der 45. Top500 Liste vom Juli 2015 finden sich die HLRN-Komplexe auf den Plätzen 69 bzw. 83 wieder.]

20141007_124416_1024.jpg wimg_2397_v1_1024.jpg

Bild 1: Der HLRN-III im Endausbau. (li: Gottfried, re: Konrad; Bilder ©Zuse-Institut Berlin und LUIS, Leibniz Universität Hannover)

Benutzungs- und Entgeltordnung

Mit der Inbetriebnahme des HLRN-III-Systems im Endausbau hat der HLRN zur Jahreswende 2014/15 eine aktualisierte Entgelt- und Benutzungsordnung veröffentlicht. Die NPL-Formel zur Umrechnung von Rechenzeit in die Norddeutsche Parallelrechner-Leistungseinheit (NPL) umfasst nun auch die neuen Haswell-basierten Knoten des XC40-Systems (MPP2). Gemessen am HLRN Benchmarkmix bieten diese eine rund 20% höhere Rechenleistung im Vergleich zu den IvyBridge-Knoten der Phase 1 (MPP1). Danach wird die Nutzung eines Cray XC40-Knotens mit 24 Rechenkernen pro Stunde Belegungszeit mit 2,4 NPL abgerechnet.

Projekte am HLRN

Auf den HLRN-Systemen werden Projekte aus vielen Forschungsgebieten bearbeitet. Hier stellen wir jeweils ein Projekt vor, das gerade bearbeitet wird oder abgeschlossen wurde. In dieser Ausgabe präsentieren wir ein Projekt aus der Schiffstechnik.

Numerische Modellierung granularer Ladung auf Massengutfrachtern

W. Wriggers und T. Rung

Institut für Fluiddynamik und Schiffstheorie, Technische Universität Hamburg-Harburg

In den letzten Jahren ist es wiederholt zu Unfällen gekommen, bei denen Massengutfrachter, die Eisen- oder Nickelerz geladen hatten, durch Ladungsverflüssigung in schwerer See gesunken sind, siehe beispielsweise der Untergang der Trans Summer im August 2013. Die Trans Summer hatte Nickelerz geladen, sie geriet in den Taifun Utor mit bis zu 15 Meter Wellenhöhen und sank. Der Vorgang tritt relativ spontan auf und ist i.d.R. mit dem Tod von Seeleuten und dem Totalverlust von Schiff und Ladung verbunden. Ursache ist die rasche Änderung des Verhaltens der granularen Ladung und deren flüssigkeitsähnliche Bewegung in den Laderäumen. Um die Ursachen und Kausalketten besser zu verstehen, wird ein numerisches Modell zur Analyse der Bewegung granularer Ladung an Bord von Massengutfrachtern entwickelt. Ziel des internationalen Projektes LiquefAction ist eine ganzheitliche Betrachtung des Problems. Dies schließt die Simulation des vollständigen Systems aus Massengutfrachter, natürlichem Seegang, Schwimmbewegungsmodellierung und Ladungsbewegung ein. Für das Beispiel eines sog. Handy-Max-Frachters mit ca. 190m Länge, 30m Breite und etwa 12m Tiefgang sind derartige Simulationen nur mithilfe eines Supercomputers wie dem HLRN möglich.

Beim Transport granularer Ladung kann aufgrund seegangsinduzierter Schiffsbewegungen beziehungsweise starker Beschleunigungen des Schiffes ein relativ spontaner Wechsel des Materialverhaltens der granularen Ladung auftreten. Insbesondere in wassergesättigtem Zustand kommt es dabei zur sogenannten Ladungsverflüssigung (Englisch: Liquefaction). Hierbei verändert sich das Deformationsverhalten der Ladung maßgeblich. Diese verhält sich fortan nicht mehr wie ein Festkörper, sondern wie ein fluider Körper. Verantwortlich hierfür ist die Veränderung des Gefüges unter zyklischer Last, die einer Verdichtung des Granulats und eine Erhöhung des Porenwasserdrucks nach sich zieht. Diese Druckerhöhung bewirkt eine Entlastung des Granulats, weshalb dessen Scherfestigkeit stark sinkt.

In einem ersten Schritt wird das Verhalten des Massengutfrachters im Seegang untersucht. Hierzu werden zunächst die Unfallvorgänge in Hinblick auf die aus den Wetterdaten und Unfallberichten rekonstruierbaren Seegangsbedingungen - dies sind die Wellenhöhe, die Wellenlänge und die Wellenlaufrichtung - analysiert. Anhand der Bedingungen zur Unfallzeit sowie charakteristischer Bedingungen während der Fahrt werden die Bewegungen und Beschleunigungen des schwimmenden Massengutfrachters inkl. eines vereinfachten Granularmodells simuliert. Zur Simulation wird der am Institut für Fluiddynamik und Schiffstheorie entwickelte Mehrphasen-RANS-Löser FreSCo+ verwendet. Die aufwendigen Seegangsstudien sind notwendig, um Partnern die von ihnen benötigten Langzeitverläufe der Schiffsbewegungen zur Verfügung zu stellen, um das Materialverhalten von Nickel- und Eisenerz in aufwendigen Zentrifugenexperimenten genauer nachzuvollziehen und eine Materialbeschreibung zu erarbeiten.

Die numerische Modellierung der granularen Ladung erfolgt ebenfalls innerhalb des Finite-Volumen-Lösers FreSCo+. Ein hierzu entwickelter spezieller monolithischer Ansatz für mehrere fluide oder feste Phasen ermöglicht die Simulation aller physikalischen Prozesse mit einem Verfahren. Damit fallen keine Datenübertragungen zwischen Teilproblemen an, und die gute Parallelisierungseigenschaft von FreSCo+, der zufriedenstellend bis zu 30.000 Kontrollvolumen pro Prozesskern skaliert, kann ausgenutzt werden.

Zur Beschreibung der turbulenten Wasser- und Luftphase werden die Reynolds-gemittelten Navier-Stokes-Gleichungen (RANS) verwendet. Für die Granularladung wird im ersten Ansatz ein elasto-plastisches Materialmodell verwendet. Dabei dienen die Fließkriterien nach Mohr-Coulomb oder Drucker-Prager zur Formulierung der Scherfestigkeitsgrenze. Im weiteren Verlauf des Projektes wird das Granularmodell um eine Gleichung für den Porenwasserdruck erweitert. Der Porenwasserdruck schwächt die Scherfestigkeit und geht in das Fließkriterium ein. Berücksichtigt werden soll in dem Materialmodell auch die Veränderung der Materialeigenschaften bei unterschiedlichen Sättigungsgraden der granularen Ladung. Dafür muss das Materialmodell um eine Formulierung für ungesättigte granulare Materialien mit Hilfe der experimentellen Ergebnisse erweitert werden. Steigt der Porenwasserdruck so weit an, dass das granulare Skelett entlastet wird, verflüssigt sich das Material. Die verflüssigte Ladung kann dann als Fluid abgebildet werden, und die Auswirkung der entstandenen freien Oberfläche auf die Stabilität des Massengutfrachters kann studiert werden.

Massengutfrachter.png

Bild. 2: Links: Abbildung der Tankgeometrien eines typi­schen Handysize Massengutfrachters. Rechts: Massen­gutfrachter in Seegang von vorn.

Für die Simulationen wird die Tankgeometrie im Massengutfrachter exakt nachgebildet und ein realistischer Ladungszustand hergestellt. Der Frachter wird während der Simulationen im beladenen Zustand charakteristischen Seegangsbedingungen ausgeliefert, und die Veränderung der Ladungseigenschaften und deren Bewegung werden simuliert (Bild. 2). Die zusätzlich zum Zweiphasen-Problem der Schiffsumströmung berücksichtigte Bewegung und Eigenschaftsänderung der Ladung, erhöht den Rechenaufwand deutlich. Weitere Gleichungen für die dritte (Granular-)Phase und die Porenwasserentwicklung sowie eine feine Diskretisierung der Ladungsräume bedürfen erhöhter Rechenkapazitäten in der Größenordnung von 1000 Rechenkernen. Hinzu kommt, dass für eine vollständige Betrachtung des Problems mehrere Seegänge simuliert werden müssen. Ohne den Zugriff auf einen Supercomputer und die Unterstützung des HLRN wäre es nicht möglich, diese Anzahl an Simulationen zu bewältigen.

Referenzen

[1] Manzke, M. und Rung, T. (2012). Prediction of Roll Damping Using Viscous Flow Solvers. OMAE Paper, 2012-83375.

[2] Ulrich, C., Leonardi, M. und Rung, T. (2013). Multi-physics SPH simulation of complex marine-engineering hydrodynamic problems. Ocean Engineering, 64 (109pp)

[3] Wriggers, W. R., Voss, J.-P. Und Rung, T. (2013). A coupled approach for non-reflecting boundary conditions in free-surface flow simulations. 5th GACM Colloquium on Computational Mechanics.

Vorbereitet für Neue Technologien: Many-Core Computing am ZIB

Die nächste Generation von Supercomputer-Installationen wird eine Reiher innovativer Technologien umfassen. Dazu zählen sowohl Many-Core CPUs, die eine neue Parallelisierungsebene pro Knoten einführen, als auch nichtflüchtiger Speicher hoher Kapazität. Diese Technologien eröffnen neue Möglichkeiten der Umsetzung zunehmend komplexerer und ressourcengieriger Simulationen, jedoch können ihre Vorteile nur dann voll ausgeschöpft werden, wenn existierende Codes einer radikalen Anpassung unterzogen werden.

Um für die Nutzung der künftigen Technologien im HLRN vorbereitet zu sein, unterstützt das ZIB die HLRN-Anwender durch Know-How-Transfer im Rahmen des Intel Parallel Computing Centers (IPCC) am ZIB und bietet den Zugang zum Cray Test- und Development System (TDS), in dem Rechenknoten mit Intel Xeon Phi Koprozessoren und Cray DataWarp Knoten mit SSDs im Cray Aries Netzwerk integriert sind.

wimg_2708_v1_1024.jpg
Bild 3: Das Cray TDS am ZIB mit Intel Xeon-Phi- und Cray DataWarp-Knoten (Bild ©Zuse-Institut Berlin)

Die Konfiguration des Cray TDS im Überblick:

  • 16 Knoten mit Intel Xeon Phi 5120D Koprozessor und 10 Core Intel IvyBridge Host CPU, 32 GiB Hauptspeicher

  • 80 Knoten mit Prozessor der nächsten Intel MIC Generation (Knights Landing), der ersten stand-alone Many-Core CPU (erwartet in 1H/2016)

  • 8 DataWarp Knoten mit je 3.2 TiB Kapazität von nichtflüchtigem Speicher (SSD) und einer I/O-Bandbreite von 3 GB/s

Jeder der Xeon Phi Koprozessoren bietet 60 Rechenkerne auf einem einzigen Chip an und verfügt über 8 GiB GDDR5 lokalen Speicher. Daten können persistent auf den insgesamt 25.6 TiB an SSD-Kapazität abgelegt werden.

Das Cray TDS wird für die Aktivitäten des IPCC am ZIB betrieben, einem der ersten Intel Parallel Computing Center weltweit. Bisher wurden Codes aus Bereichen wie Materialwissenschaft (VASP), Hochenergiephysik (BQCD), molekulare Thermodynamik (GLAT), sowie Biophysik (HEOM) modernisiert. Die Optimierungen betreffen die Vektorisierung, das Multithreading und die Skalierung auf Xeon-Phi-Clustern. Horizontale FuE-Themen unterstützen die Modernisierung: Mit dem Heterogenous-Active-Messages (HAM) Offload können entfernte Xeon-Phi-Koprozessoren in GLAT und HEOM genutzt werden. Generell gilt: Die Optimierung für die MIC-Architektur ist unmittelbar ein Gewinn für die Variante auf Intel Standard-CPUs, wobei für beide CPU-Architekturen – x86 und MIC – die Vektorisierung besonders kritisch ist (mehr unter: http://www.zib.de/institute/intel-center).

Aktuelles zum HLRN-III

An dieser Stelle wollen wir kurzgefasst auf Neuigkeiten und Betriebliches zu den Cray-Systemen eingehen. Ausführliche und tagesaktuelle Hinweise sind auf den Newsseiten der HLRN-Webpräsenz zu finden. Eingetragene Benutzer werden, wie üblich, zusätzlich per E-Mail informiert.

Rekonfiguration von WORK1 in Berlin

In Berlin wird das Lustre-Scratch-Dateisystem WORK1 (Nutzerverzeichnisse /gfs1/work/) am 13. Juli neu formatiert. Dadurch gehen alle dort noch vorhandenen Nutzer-Daten verloren.

Das Lustre-Dateisystem WORK1 existiert seit dem Beginn der Standzeit des HLRN-III im Sommer 2013 und hat schon mehrere Lustre-Versionssprünge und Hardware-Ausfälle erfahren. Vom Neu-Aufsetzen versprechen sich Cray und der HLRN größere Performance, Stabilität und Verfügbarkeit.

Die Nutzer sind selbst dafür verantwortlich, ihre Daten auf andere Dateisysteme wie WORK2, HOME oder PERM zu kopieren. Zur Erhöhung der Kopiergeschwindigkeit wurden dafür zentral die mutil-Tools bereitgestellt, mit denen sich Kopiervorgänge mit mehreren Threads parallel ausführen lassen.

Anpassung Batch-System Phase 2

Mit der Inbetriebnahme der Phase 2 des HLRN-III-Systems wurde das Batch-System so erweitert, dass die neuen Haswell-Knoten über das Feature mpp2 (oder über die Klasse mpp2q) und die neuen SMP-Knoten in Hannover mit dem Feature smp2 (oder über die Klasse smp2q) angefordert werden können. Weiterhin wurde ein Feature mpp (Job-Klasse mppq) eingeführt, über das sowohl die älteren IvyBridge-Knoten (MPP1) als auch die neuen Haswell-Knoten (MPP2) bedient werden. Diese Klasse ist für parallele Jobs auf der Cray XC30/XC40 gedacht, für die keine speziellen Hardware-Anforderungen bestehen. Da die Klasse auf allen Rechenknoten gescheduled wird, erlaubt diese kürzere Wartezeiten.

Ausführliche Informationen zur aktuellen Batch-System-Konfiguration (zum Beispiel maximal mögliche Joblaufzeiten, maximale Knotenanzahl pro Job, etc.) sind auf unseren Webseiten zum Batchsystem zu finden.

Nutzer, deren Anwendungsprofil sich nicht mit den aktuellen Batch-System-Limits in Einklang bringen lassen, werden gebeten, sich an ihren Fachberater oder an den HLRN-Support zu wenden. Für einzelne Nutzer können, falls erforderlich, temporär oder auch permanent andere Limits passend für ihr Jobprofil eingerichtet werden.

Termine und Veranstaltungen

Großprojekte: Antragstermin 28.07.2015

Die nächste Deadline für die Beantragung von Rechenzeit für Großprojekte ist der 28.07.2015. In der anschließenden Begutachtung durch den Wissenschaftlichen Ausschuss werden Rechenzeit-Kontingente für vier Quartale ab 01.10.2015 bewilligt. Anträge auf neue Nutzerkennungen zur Vorbereitung von Großprojekten sowie Anträge auf Rechenzeit für Großprojekte können online über das Serviceportal des HLRN gestellt werden. Die Gutachter des Wissenschaftlichen Ausschusses des HLRN bewilligen etwa 130 Millionen Core-Stunden pro Quartal (dies entspricht etwa 42 Millionen NPL pro Jahr) für Großprojekte. Details und nähere Informationen dazu sind auf den Webseiten des HLRN und dem HLRN Serviceportal zu finden.

Personalia

Personelle Veränderungen

Im vergangenen Jahr hat das HLRN-Kompetenznetzwerk personelle Verstärkung bekommen. Neu im Kreis der HLRN-Berater sind Dr. Karsten Balzer (Uni Kiel), Dr. Tobias Kramer (ZIB), Frank Ebeling (TU Clausthal) und Matthias Walter (Uni Rostock); ausgeschieden sind Dr. Eva-Maria Zeidler (Uni Kiel) und Dr. Peter Elsner (TU Clausthal).

Redaktionelles

Abonnement und Download

Wenn Sie die HLRN Informationen per E-Mail abonnieren wollen, senden Sie eine E-Mail an die Adresse newsletter-request@hlrn.de mit dem Wort subscribe im Text. Sie erhalten dann einmalig eine automatische Antwort mit Hinweisen, wie Sie Ihr Abonnement bestätigen müssen.

Wenn Sie die HLRN Informationen per E-Mail abbestellen wollen, senden Sie ebenfalls eine Mail an die Adresse newsletter-request@hlrn.de mit dem Wort unsubscribe im Text.

Diese Hinweise und die Druckvorlagen (PDF) der vorliegenden und aller weiteren Ausgaben der HLRN Informationen sind auch auf der Webpräsenz des HLRN zu finden.

Redaktion

Dr. Wolfgang Baumann (baumann@hlrn.de)

Die nächste Ausgabe der HLRN Informationen erscheint voraussichtlich im Dezember 2015.


Last modification: WolfgangBaumann - 29 Jul 2015 12:01 / 4 years, 2 weeks, 6 days ago. (Version: 4)

 
Norddeutscher Verbund für Hoch- und Höchstleistungsrechnen
Back to top of page