Green IT Best Practice Award

LOEWE CSC Goethe Universität Frankfurt - Ökologischer Supercomputer

07.12.2011
Am Center for Scientific Computing der Goethe-Universität in Frankfurt hat man bewiesen, dass höchste Rechenleistung und ökologisches Handeln eine zukunftweisende Allianz eingehen können.

Moderne Wissenschaft ist entscheidend auf die Nutzung von Höchstleistungscomputern, so genannten Supercomputern, angewiesen. Ob für die Simulation von Experimenten, für die Auswertung von Messergebnissen oder für theoretische Berechnungen, in den meisten Fällen ist ein Höchstmaß an Computerleistung erforderlich. Die Ausgangslage in der Rhein-Main-Region hatte sich in den vergangenen Jahren in punkto Hochleistungsrechnen insofern verändert, als sich zunehmend hochrangige Institutionen der theoretischen Naturwissenschaften im Rhein-Main-Neckar-Raum angesiedelt hatten. Der Ausbau der Supercomputer-Kapazitäten wurde somit immer dringender.

Da kam es gelegen, dass Hessen 2008 die Landes-Offensive zur Entwicklung Wissenschaftlich-ökonomischer Exzellenz (LOEWE) startete. Bis 2013 will das Bundesland hierzu 410 Millionen Euro bereitstellen. Zusätzlich mit der Förderung von Seiten der Deutschen Forschungsgemeinschaft wurde das Center for Scientific Computing (CSC) der Goethe-Universität Frankfurt durch einen neuen Supercomputer erheblich ausgebaut: durch LOEWE-CSC. Mit bemerkenswertem Erfolg: Die Rechenleistung des CSC wurde auf einen Schlag verachtfacht. Sie steht nun mehreren Forschungszentren im Rhein-Main-Gebiet zur Verfügung, etwa dem im Aufbau befindlichen internationalen Beschleunigerzentrum FAIR (Facility for Antiproton and Ion Research), über das Hessische Hochleistungsrechenzentrum an der Goethe-Universität (HHLR-GU) auch allen anderen Hochschulen des Landes.

Was es ist, was es kostet

Der Loewe-CSC ist ein...

CPU/GPU-Cluster, das eine Rechenleistung von 299,3 Teraflop/Sekunde erreicht. Bei seiner Inbetriebnahme im November 2010 (und bei Bewerbungsschluss des GreenIT-Award) war er im Vergleich der zweitschnellste Computer Deutschlands (weltweit auf Platz 22), und der energieeffizienteste Großcomputer Europas. Heute liegt LOEWE-CSC in der globalen Rangliste der schnellsten Computer von November 2011 weltweit auf Platz 33 (in Deutschland auf Platz drei). In Europa ist er immer noch einer der "grünsten" Großrechner mit 718,14 Megaflop /Sekunde/Watt. Die Hardware des Systems besteht aus 832 Rechnern in 34 wassergekühlten Racks, in denen 20.928 Rechenkerne mit 778 GPGPU-Hardwarebeschleunigern (= General-purpose Computing on Graphics Processing Units) arbeiten. Der Speicher umfasst 56 TB Arbeitsspeicher plus zwei PB Festplattenkapazität. Die Vernetzung erfolgt über QDR-Infiniband-Verbindungen, das parallele Scratch-Filesystem umfasst 764 TB mit einer aggregierten Bandbreite von 10 GB/Sekunde. Die Leistungsaufnahme beträgt im Spitzenfall 500 kW.

...der so viel kostet

Die Kosten teilen sich auf in Installations- und Betriebskosten, die Installationskosten wiederum in die Kosten für das Rechenzentrum und die reinen Betriebskosten der Rechner. Die Rechner werden aus Ökonomiegründen typischerweise nach drei Jahren getauscht. Weitere wirtschaftliche Differenzierungen gilt es bei Netzwerken vorzunehmen, da deren Erneuerungszyklen in der Regel langsamer sind und oft Prozessoren und GPGPU-Hardware-Beschleuniger getrennt getauscht werden. So können Rechenleistung und Leistungseffizienz deutlich gesteigert werden - und das bei lediglich einem Teil der Investitionskosten.

Sieger in der Kategorie "Visionäre Konzepte" wurde das Center for Scientific Computing. (v.l.n.r.): Cornelia Rogall-Grothe (IT-Beauftragte der Bundesregierung), Hans-Jürgen Lüdde, Volker Lindenstruth (beide CSC der Goethe-Universität Frankfurt a.M.), Hans-Joachim Otto (Parlamentarischer Staatssekretär beim BMWi)
Sieger in der Kategorie "Visionäre Konzepte" wurde das Center for Scientific Computing. (v.l.n.r.): Cornelia Rogall-Grothe (IT-Beauftragte der Bundesregierung), Hans-Jürgen Lüdde, Volker Lindenstruth (beide CSC der Goethe-Universität Frankfurt a.M.), Hans-Joachim Otto (Parlamentarischer Staatssekretär beim BMWi)
Foto: Green-IT-BB

Der Rechnerpreis betrug insgesamt 5,2 Millionen Euro - inklusive Ausschreibungs- und anderer Kosten. Das Rechenzentrum mit Kühlsystem schlug mit 750.000 Euro zu Buche. Hinzu kommen etwa 300.000 Euro für die Installation der Racks, die Wasserverrohrung im Rechnerraum und die Installation der Niederspannungsverteiler in den Racks mit deren thermischen Überwachungssystemen. Die Stromkosten machen - abhängig vom Betrieb - mit etwa 580.000 Euro pro Jahr den Löwenanteil aus.

Für die Entwicklungen von LOEWE-CSC war nun ein Trend von Bedeutung, der sich in der Szene der Höchstleistungsrechner erst seit kürzerem eingestellt hat. Bis vor ungefähr zweieinhalb Jahren richtete sich der Blick in der Szene vor allem auf die Rechengeschwindigkeit von Supercomputern. Zugleich wurde wie selbstverständlich in Kauf genommen, dass höhere Rechengeschwindigkeit mit einem höheren Energieverbrauch verbunden war. Energieeffizienz und Umweltschonung galten lange Zeit eher als zweitrangig, zumal die energiesparenden Techniken im Ruf standen, zu langsam zu sein. Erst seit zweieinhalb Jahren ist in der Top500-Liste - die zweimal pro Jahr die leistungsstärksten Superrechner der Welt aufführt - überhaupt auch die Leistungsaufnahme der Supercomputer verzeichnet. Inzwischen hat hier ein radikales Umdenken eingesetzt.