Wesentliche Elemente sind die Superrechnerleistung, um bei den Simulationen den erforderlichen Durchsatz zu erzielen, sowie die Datenspeicherung und der schnelle Zugriff auf Modellierungsdaten. Daneben setzt das Klimarechenzentrum Visualisierungs- und Animationsgrafik ein. Die lokalen Nutzer, beispielsweise das Max-Planck-Institut für Meteorologie und die Universität Hamburg, sind mit 10 bis 800 Mbit/s, regionale Nutzer wie das Alfred Wegener Institut in Bremerhaven mit 155 Mbit/s angeschlossen. Etwa 20 nationale und ebenso viele internationale Hochschulen und Forschungseinrichtungen greifen als Kooperationspartner auf das im wesentlichen bundesfinanzierte Zentrum zu.
Das Rechenzentrum nutzte schon immer die leistungsfähigsten Supercomputer, ist derzeit aber im Weltvergleich um zwei Generationen zurückgefallen. Der Grund: fehlende Bundesmittel. Es setzt veraltete Vektorrechner Cray C90 mit 16 und den Parallelrechner Cray T3D mit 128 Prozessoren ein. Kürzlich hat das MPI einen Vektorrechner NEC SX-4 mit acht Prozessoren geliehen. Das Forschungsministerium signalisierte jedoch inzwischen öffentlich, daß das DKRZ bald einen leistungsfähigen Rechner beschaffen kann. In direkter Abhängigkeit von der Rechenleistung steht die langfristige Speicherkapazität, die sich in Zukunft auf etwa 2 TB pro Datensatz und über das Jahr aufsummiert auf etwa 100 TB belaufen wird.
Im Gegensatz zur Wettervorhersage, die nur die Atmosphäre und einen Zeitraum von zwei bis zehn Tagen berücksichtigt, werden bei der Klimamodellierung zusätzliche Faktoren wie Ozeane, Kryosphäre, Kontinente und Biosphäre sowie chemische Prozesse und anthropogene Einflüsse durch Ökonomie und Politik berücksichtigt. Ein Berechnungszeitraum erstreckt sich von einem bis zu 1000 Jahre. Aufgrund der höheren numerischen Komplexität und der größeren Zeiträume ist die Auflösung der Modelle niedriger. Derzeit wird das Klimamodell "T42" bearbeitet, mit einem Gitter von 312,5 Kilometern. Die Ungenauigkeit ist so groß, daß hier Irland, Großbritannien und Skandinavien fest mit dem Rest Europas verbunden sind. In der Atmosphäre, im 3D-Raum, berücksichtigt die Simulation 20 Schichten.
Das Modell hat etwa 160000 Gitterpunkte, von denen nur einige wenige auf Deutschland fallen. Auch läßt sich der Einfluß von Wirbelprozessen des Golfstroms im Nordatlantik nicht erfassen, die nur eine Ausdehnung von fünf bis 30 Kilometer haben und im Modell völlig verschwinden. Das nächste Modell, "T106", wird produktiv mit den neuen Rechnern angegangen.
Es besitzt einen Feinheitsgrad von 125 Kilometern pro Gitterpunkt. Bei einer typischen Simulationszeit von 100 Jahren ist bei T42 eine Rechenleistung von 10 GFlop/s erforderlich, die die bisherigen Crays liefern. Etwa 6000 Simulationsjahre, die jeweils einen Datensatz von 2 GB liefern, lassen sich pro Jahr durchführen. Pro Jahr müssen etwa 10 TB komprimierte Daten archiviert werden.
Hartmut Fichtel vom Betrieb des DKRZ hat einige Faustregeln aufgestellt: Verdoppelung der installierten CPU-Kapazität durchschnittlich alle zwei Jahre, die jährliche Langzeitarchivierung beträgt 1 KB pro 1 Flop/s sustained CPU-Leistung, die sich aber durch andere Modelltypen - Luftchemie - um den Faktor Drei erhöhen kann. Besonders muß er den Zugriff auf die Modelldaten berücksichtigen, der um den Faktor Drei größer als die Datenerzeugung ist. Auf die Ergebnisdaten älterer Simulationen wird im Rahmen der Forschung immer wieder zurückgegriffen.
Für das nächste Jahr prognostiziert Fichtel eine Archivierungsrate auf Bandlaufwerken von 100 TB pro Jahr, für 2003 sogar 700 TB. Auch die Gesamtkapazität wird von 200 TB auf 1,5 Petabyte (PB) im Jahr 2003 wachsen. Im Durchschnitt werden nächstes Jahr 1,6 TB gegenüber 11 PB pro Tag im Rechenzentrum bewegt, die eine Spitzentransferrate von 200 MB/s gegenüber 1,3 GB/s im Jahr 2003 erfordern.
Datenmengen und Übertragungsraten steigen
Ein Teil der Daten, etwa fünf bis sechs Prozent der jährlichen Archivierungsrate, muß auf Platten gehalten werden. Das können Ergebnisse aktueller Simulationen oder ältere Daten sein, die nun noch einmal bearbeitet werden. Dieser sogenannte Disk-Cache betrug im letzten Jahr 0,7 TB und soll bis zum Jahr 2003 auf 42 TB wachsen. Die Spitzenübertragungsrate muß dann von 70 MB/s auf etwa 3 GB/s wachsen. Auch die Zahl der Diskdrives explodiert dann von 80 auf 1200 im Jahr 2003. Jetzt muß nur noch das Geld bereitgestellt werden, um sukzessive den wachsenden Bedarf abzudecken.
Manager Fichtel beobachtet daher sehr aufmerksam die neuen Platten- und Bandlaufwerk- sowie Netzwerk- und Übertragungstechnologien, um sie möglichst schnell in den praktischen Einsatz zu nehmen und die wachsenden Anforderungen zu erfüllen. Die Ergebnisse fließen dann umgehend in die Planungen ein. Bei den 3,5-Zoll-Plattenlaufwerken erwartet er eine Kapazitätssteigerung von 18 GB/drive im vergangenen Jahr auf 144 GB im Frühjahr 2003, die Datenrate wächst von 20 bis 30 MB/s auf 50 bis 80 MB/s. Große Erwartungen setzt er in die FC-AL-Technologie (Fibre-Channel-Arbitrated-Loop), an den 128 Geräte bei einer Übertragungsrate von zweimal 100 MB/s angeschlossen werden können.
Im letzten Jahr hat das DKRZ die bisherigen File-Server vom Typ Convex C3800 mit vier und fünf Prozessoren durch eine Sun E6000 mit acht Prozessoren, 336 Megahertz und 2 GB Speicher abgelöst. Dieser Rechner verwaltet die gesamten Datenmengen im Disk-Cache und in den Tape-Silos. Der Datenverkehr zwischen File-Servern und Supercomputern ist vom Benutzerbereich deutlich getrennt. Das DKRZ hat also schon SAN-Konzepte (Storage Area Network) realisiert, derzeit aber noch ohne Fibre Channel. Die Verbindung zwischen Daten und Rechnern erfolgt über High Performance Parallel Interface (Hippi) mit 800 MB/s.
Da eine Platte um eine Größenordnung schneller ist als der Band-Silo, werden häufig oder aktuell benötigte Daten dort gespeichert. Derzeit läßt sich in der Summe dort etwa 1 TB lagern, während der Bandspeicher bis zu 600 TB faßt. Immerhin werden am DKRZ monatlich 40 000 neue Dateien erzeugt, so daß die Gesamtzahl mit derzeit etwa 1,8 Millionen nahezu linear ansteigt.
Als File-System setzt das Zentrum das Hierarchische-Storage-Management-(HSM-)System "Unitree" ein, zunächst auf den Convex-Rechnern und jetzt auf der Sun-Maschine. Wird auf Dateien eine gewisse Zeit nicht zugegriffen oder wird der Platz auf den Platten zu klein, werden bestimmte Dateien auf die Tape-Silos migriert. Den Entschluß, weiterhin mit Unitree zu arbeiten, erleichtern zum einen die Verfügbarkeit auf Solaris-Systemen, zum anderen die Migrationswerkzeuge von UTSI, einem Unternehmen mit Unitree-Software-Ingenieuren. Unitree ist jetzt nur noch auf den Plattformen Solaris, SGI, HP-UX sowie Digital Unix verfügbar. Obwohl das Datenformat fast gleich war, war die Datenbasis maschinenspezifisch angelegt. Sie wurde mit UTSI-Werkzeugen konvertiert, so daß jetzt der Sun-Server die Convex-Daten liest und verarbeitet.
Schon drei Tage nach dem Umstieg war der alte Durchsatz erreicht, und das mit einer deutlichen Steigerungsmöglichkeit. Hartmut Fichtel lobte UTSI für die Qualität der Werkzeuge, da bei der Umstellung kein Byte verlorenging. Für die Unitree-Aufgaben werden vier Prozessoren und 1 GB Speicher der E6000 reserviert.
Da die Semantik des Unix-File-Systems nicht zum Navigieren geeignet ist, um interessante Dateien schnell herauszufiltern, hat sich das Rechenzentrum schon längere Zeit mit dem Thema Metadaten beschäftigt. Zu dem abgespeicherten existiert in einer Datenbank ein zusätzlicher Datensatz, der zugehörige, beschreibende Attribute enthält. Hier entwickelte das DKRZ ein Klimadatenbanksystem auf der Basis von Oracle, das diese Metadaten enthält. Dort finden sich beispielsweise Mittelwerte pro Monat, Art der Simulation und weitere fachliche Angaben, so daß der Klimaforscher bei einer Recherche auf genau die passenden Daten trifft. Über dieses System kann er sich dann den vollständigen Datensatz aus den STK-Tape-Silos (STK = Stack) laden lassen. Damit ist dieses eigenentwickelte System eine Kombination von HSM und Datenbank, Migrieren und Laden. Die restlichen vier Prozessoren des Sun-Rechners mit 1 GB Speicher erledigen diese Aufgabe.
Dieser Server ist mit HIPPI, FDDI und ATM/ OC-12 mit einer Übertragungsrate von 200 MB/s an die Client-Systeme angebunden, geteilt zwischen File- und Datenbanksystem. Der File-Server ist mit 14 Ultra-SCSI-Anschlüssen mit 200 MB/s an das Plattensubsystem mit 700 GB und mit sechs Ultra SCSIs mit 100 MB/s an das Tape-Subsystem angebunden. Der Klimadatenbank-Server mit Oracle V8 greift über sechs Ultra-SCSIs mit 100 MB/s auf sein Plattensubsystem von 300 GB zu.
Mit nur einem Rechner, der Sun E6000, läßt sich ein größerer Datendurchsatz erreichen - mit der Option, den Rechner sukzessive hinsichtlich Prozessoren und Speicherplatz zu erweitern. Das Beibehalten von Unitree und der Klimadatenbank auf der neuen Plattform sparte erhebliche Umstellungskosten. Die Betriebskosten der alten Rechner reichten an den Preis des neuen Systems fast heran.
Mit den neuen Supercomputern, die in Kürze erwartet werden, wächst wegen des Umstiegs auf das neue Klimamodell allerdings das Datenvolumen erneut, so daß Hartmut Fichtel weiterhin Ausschau nach neuen Speicherlösungen hält.
Angeklickt
Im Deutschen Klimarechenzentrum in Hamburg fallen im kommenden Jahr rund 100 TB an Daten an, die auf Bändern archiviert werden. Im Jahr 2003 sollen es 700 TB sein.Die Zahl der Festplatten explodiert ebenfalls von derzeit 80 auf 1200. Für die Verwaltung nutzen die Hamburger ein hierarchisches Speichermanagement.
*Uwe Harms ist freier Autor in München.