Im Bemühen um Prognosen über Vorgänge in komplexen Salzstock-Strukturen mußte die Bundesanstalt für Geowissenschaften und Rohstoffe (BGR) bis vor kurzem noch CPU-Zeit anmieten. Jetzt kann das Referat, das sich mit der radioaktiven Endlagerung befaßt, inhouse auf eine Convex-C220 zugreifen. Gernot Schärmeli* schildert, wie dieser "Personal" Numbercruncher der Arbeit neue Akzente verleiht.
Mit den bisher verfügbaren Ressourcen für Hochleistungs-Rechnerei hätte die Bundesanstalt für Geowissenschaften und Rohstoffe (BGR) die ihr aufgetragene sensible Abschätzung in der Praxis kaum übernehmen können: Das Referat "Theoretische Grundlagen der Geomechanik und Groß-Numerik" der BGR Hannover soll zuverlässige Auskunft darüber geben, ob der Salzstock unter dem nahegelegenen Gorleben auf Jahrtausende hinaus "integer" bleibt, also seine Dichtigkeit bewahrt, wenn radioaktiver Müll endgelagert wird und dessen Wärme-Produktion das Gebirge infolge thermo-mechanischer Prozesse in Bewegung versetzt.
Numbercrunching gehört hier wie überall in den Geowissenschaften zum täglichen Brot - schon seit Mitte der siebziger Jahre. Doch bisher kam die BGR bei ihren geotechnischen Fragestellungen - etwa nach der Standsicherheit künstlich ausgehöhlter Untertage-Strukturen - in der Regel noch mit 2D-Abbildern der Realität zurecht. Nur in Einzelfällen mußten dem Rechner Finite-Elemente-Jobs (FEM) mit dreidimensional modellierten Strukturen aufgelastet werden. Und wenn, dann nahmen sich die Verhältnisse doch noch relativ bescheiden detailliert aus. Mit beherrschbarem Aufwand ließ sich letztlich auch jene Menge an 2 1/2-dimensionalen Berechnungen durchziehen, die im vergleichenden Zusammenspiel mit In-situ-Experimenten für Grundlagen-Erkenntnisse sorgen - sei es, daß nach Niederbringung eines Bohrlochs der Verformungsvorgang des Salzgesteins beobachtet und auf die Parameter des komplexen Salz-Stoff-Gesetzes geschlossen wird, sei es, daß im Bohrloch heizbare Vorrichtungen untergebracht und die Wärmeausbreitung samt thermomechanischer Verformung beobachtet wurde. Modellannahmen einer Rotations-Symmetrie um das Bohrloch sowie eines unendlich ausgedehnten Salzgebirges hielten die Rechenprobleme jedenfalls in erträglichem Ausmaß.
Bisher: Numbercrunching via Cybernet
Als Numbercrunching-Ressource für derlei bisherige Problemstellungen nutzte die BGR bisher Cyber-Maschinen vom Typ 203 und 205 - man klinkte sich ins Cybernet ein, mietete Dienstleistung. "Unser tägliches Brot waren 2D-Läufe mit Umfängen von zirka 6000 Freiheitsgraden", blickt Referatsleiter Manfred Wallner zurück, "ja auch mit manchem grobem Modell von nur 50 Freiheitsgraden kann man mal eine gute Aussage finden". Die wenigen Versuche von 3D-Läufen, die dann zur Absicherung der 2D-Ergebnisse gefahren wurden, umfaßten bis zu 13 000 Freiheitsgrade (FG) und liefen auf der Cyber-990 des Physikalisch Technischen Bundesamtes (PTB) in Braunschweig, der Schwester-Institution der BGR.
13 000 FG, das hört sich auf den ersten Blick nicht überwältigend an, aber physikalische Komplexität der Gleichungen, die Zahl von 50 Zeitschritten plus die vielen Iterationen pro Zeitschritt addieren sich zu ansehnlichem Effekt. "Beim Salzgestein haben wir es mit einer hochgradig nicht-linearen Welt zu tun", betont Wallner, "und berücksichtigt man, daß eine Verformung des Salzes neben elastischen und thermischen Komponenten auch Kriech- sowie Bruch-Vorgänge mit enthalten soll, dann steht man doch vor beachtlich aufwendigen Differential-Gleichungen". Deren Umfänge hätten eine Cyber-205 schon alleine wegen des begrenzten Speichers gesprengt.
Angesichts des Endlagerungs-Problems konnte auch die Cyber-990 der PTB keine Perspektive mehr bieten. Nicht 13 000 Freiheitsgraden nämlich, sondern bis zu einer Million sieht sich die BGR nun gegenüber - kein Wunder: Schaut man sich den Gorlebener Salzstock einmal im Horizontalschnitt an, so erinnert das Bild mehr an ein Stück Krawatte mit filigranem Amöben-Design denn an ein von Symmetrie, Einfachheit und rechten Winkeln regiertes Reißbrett-Modell. "Mit Zweidimensionalität hat diese Realität leider überhaupt nichts mehr zu tun", stöhnt der BGR-Mann. Die diversen, den Salz-Bereich abgrenzenden geologischen Schichten sind stark verworfen und verschlungen, und die Strecken mit den vielen einzelnen Kammern, die letztlich die Abfälle aufnehmen sollen, ziehen sich dahin wie ein Fluß im Mäanderlauf.
Die Software wurde selbst erstellt
Den effizienten Lauf hinreichend detaillierter Modell-Rechnungen soll neue Hard- und Software ermöglichen. Bereits in Betrieb genommen ist der neue Numbercruncher. Seit Sommer 1990 hat sich ins BGR-Rechenzentrum eine Zwei-Prozessor-Maschine C220 von Convex hinzugesellt - zur dort traditionell üblichen DEC-Welt, die heute neben den drei zentralen 6000er Maschinen 310, 410 und 510 im Hause über 120 weitere DEC-Rechner umfaßt.
Softwareseitig heißt es in Hannover noch auf die große Neuerung warten, bisher läuft erst einmal noch das ursprüngliche FEM-Programm Ansalt1 - eine Eigenentwicklung, die dereinst zusammen mit Control Data auf die Beine gestellt und im Laufe des vergangenen Jahres von Cyber auf Convex umgestellt wurde. Der Nachfolger Ansalt2 - beim Auftragnehmer DC in Arbeit - soll dann die C220 auf noch erheblichere Durchsätze beschleunigen.
Nach einer gewissen Testphase steht die C220 seit diesem März jedenfalls in "wissenschaftlicher Produktion" und bearbeitet Ansalt1-Läufe auch mit 3D-Modellen, zunächst einmal mit bis zu 25 000 Freiheitsgraden. Bei 50 Zeitschritten nehmen derlei Jobs an die 100 Stunden in Anspruch.
Die CPU-Zeit um ein Drittel reduziert
Obwohl DC den Code nur teil-parallelisiert und auch nur begrenzt vektorisiert hat, ist der Zeitgewinn deutlich. Eine Vielzahl weniger komplexer Rechnungen, die bisher mehrere Tage auf der Cyber lagen, steht nun als Ergebnis bereits innerhalb desselben Arbeitstages zur Verfügung. Die CPU-Zeit hat sich auf ein Drittel reduziert - ganz entsprechend der Linpack-Werte, an die man sich sehr gut habe halten können.
"Fragt man nach der Verbesserung der Situation, so sind die schnelleren Ausführungszeiten auf dem Rechner aber nicht so sehr das Entscheidende", unterstreicht Manfred Wallner. "Der eigentliche Zugewinn ist, daß die acht Leute meines Referats nun direkt und schnell auf die Maschine zugreifen können". Vorbei sind die Zeiten, da man sich in Konkurrenz zu anderen Benutzern in eine Warteschlange begeben mußte, vorbei die Zeiten, als man sich die bis zu 100 MB Ergebnis-Daten über Datex-P relativ langwierig zuspielen ließ und bangen mußte, daß Übertragungs-Fehler den Transferprozeß noch weiter ausdehnen. "Natürlich kann man sich auch eine Standleitung einrichten lassen, aber diese Investition wollten wir anders besser anlegen", meint der BGR-Mann. "Alles in allem steckt hinter der Nutzung eines externen Rechen-Dienstes letztlich doch immer ein beachtlicher Organisations-Aufwand, den man sich vorher so gar nicht vorstellt".
Die Verfügbarkeit des In-House-Numbercrunchers beflügelt die Arbeit der Geo-Ingenieure merklich. Der unkomplizierte Zugriff auf die C220 erleichtert insbesondere jene so wichtigen Aufgaben, die neben den eigentlichen "Normal"-Rechen-Läufen zu erledigen sind: ständige Verifizierung und Validierung. "Die ingenieur-wissenschaftliche Fragestellung in einem Bereich, wo es um die Sicherheits-Beurteilung der Endlagerung radioaktiver sowie auch toxischer Abfälle geht, ist nun mal äußerst sensitiv", erinnert Wallner. "Folglich müssen wir sehr viel Aufwand treiben, um zum einen Güte und Richtigkeit unserer stets weiter verbesserten Programme und Numerik-Algorithmen zu verifizieren. Zum anderen, um die angesetzten physikalischen Modelle zu prüfen, inwieweit das Abbild die Realität genau genug wiederzugeben vermag."
Hier "quer" zu rechnen gibt es in Hannover in der Tat eine Menge. In beiden Fällen sind die Probleme nicht eben trivial. Sensibel ist die Frage nach den geeigneten Randbedingungen - denn "wir können ja nicht bis zum Erdmittelpunkt rechnen", verdeutlicht der BGR-Ingenieur. Und kritisch auch die Frage, wie die Verformungsprozesse sich so dramatisch beeinflussender Gleitflächen im Detail abgebildet werden müssen. All dies gehört zu einer Reihe noch zu klärender Fragen, deren Antwort letztlich für das Finden verläßlicher Prognosen Voraussetzung sind. Immerhin ist die Bundesanstalt aufgefordert, Prognosen für einen Zeitraum zu erstellen, der bis zu 10 000 Jahren reicht (Danach ist die Strahlung auf unwesentliche Restaktivität abgeklungen).
Dies bedeutet zugleich, daß eine große Zahl von Parameter-Studien zu bewältigen ist. Rund 20 Parameter regieren die komplexen Materialgleichungen, deren Lösung ein Bild von den sich über solche Zeiträume einstellenden Spannungs- und Verformungs-Verhältnissen ergeben sollen.
Insbesondere das langfristige Kriechverhalten bereitet einiges Kopfzerbrechen, denn es läßt sich ja nicht in jahrtausendelangen Experimenten studieren. Da viele Parameter nicht als feste Werte, sondern nur als Von-Bis-Möglichkeiten bekannt sind gilt es, eine erhebliche Zahl von Rechenläufen auf Parameter-Variationen zu verwenden: Für jeden einzelnen Parameter ist nacheinander eine Reihe von Werten einzusetzen und zu prüfen, mit welchem man bei der Prognose auf der sicheren Seite liegt. "Dabei können wir uns mit einem schnell gefundenen Ergebnis nicht zufriedengeben" meint Wallner, "denn was unter dem einen Aspekt sicher und konservativ aussieht, muß das nicht auch unter einem anderen Gesichtspunkt sein. Hohes Kriechen bedeutet einerseits hohe Verformung, ein unschöner Effekt, und geht man von ihm aus, liegt man auf der konservativen Seite. Hohes Kriechen baut aber auch akkumulierte, vielleicht zu Brüchen führende Spannungen sehr gut ab - was folglich favorablere Verhältnisse impliziert und demnach als eine weniger konservative Einschätzung zu sehen ist.
Hochspezialisierte Software ist nötig
Mit der im eigenen Haus stehenden C220 könne nun jedenfalls der arbeitssame Weg der Parameter-Variationen, des sich Hintastens an einen sicheren Satz von Parametern, genauer und weit effizienter verfolgt werden. Bessere, weil direktere Möglichkeiten gibt es aber auch hinsichtlich der erwähnten Verifizierungs-Aufgaben, wo es um den Glaubwürdigkeitsnachweis des Software-Werkzeugs, der numerischen Algorithmen geht. Nichtlineare Verfahren werden auf der Basis linearer Verfahren approximiert. Ob und wie schnell die zeitliche Annäherung, die Aus-Iteration zu den richtigen Werten führt, diese Frage gilt es immer wieder mit Hilfe des Vergleichs zu geschlossenen Lösungen zu beantworten - eine Frage, die insbesondere hinsichtlich der Nachfolger-Software Ansalt2 von entscheidender Wichtigkeit ist.
Das nun schon über zehn Jahre alte Ansalt1 ist eigentlich ein 2D-Programm, dessen Funktionalität bei den bisher begrenzten 3D-Rechnungen durch Nutzung einer 3D-Elemente-Bibliothek "aufgebohrt" wurde. "Ansalt2 aber wird ein echtes 3D-FEM-Paket sein und einen drastischen Beschleunigungs-Schub bringen", freut sich Dr. Wallner. "Die im Jahre 1988 gestartete Entwicklung hat sich zwar länger hingezogen als erwartet, aber wir befinden uns nun im fachlichen Feinkonzept und werden Ende 1992 eine Software zur Verfügung haben, die sich im weltweiten Vergleich sehen lassen kann". Der Clou sollen neue, rasend schnelle Gleichungslöser sein, die sich sogenannter Über-Relaxations-Faktoren bedienen und die Iterationen in bisher unerreichter Zielstrebigkeit abarbeiten. "Die Über-Relaxation ist eine feine Sache, aber man muß eben auf der Hut sein und gut absichern, daß die Iterationen auch wirklich manierlich, das heißt stabil verlaufen", umschreibt Wallner die nicht unerhebliche Verifizierungsarbeit.
Auf am Markt angebotene FEM-Programme hatte die BGR-Crew noch nie zugreifen können. Patran und auch andere Tools, sie waren doch zu sehr am Maschinenbau orientiert, als daß sie den spezifischen Wünschen der Geo-Techniker etwa nach einer direkten und effizienten Modell-Generierung hätten entsprechen können.
An dieser Situation hat sich im Prinzip nichts geändert. Zwar haben sich die Möglichkeiten der General-Purpose-Programme im Laufe der Jahre deutlich erweitert, doch auch die BGR-Mannen haben ihre Ansprüche weiter in die Höhe getrieben. Seit Jahren selbst engagiert im Vorantreiben von Modelling-Tools für geotechnische Fragestellungen und numerisch-nichtlinearer Verfahren, konnte und mußte sich Wallners Truppe deshalb für den Luxus der Eigen-Entwicklung auch beim Nachfolger Ansalt2 entscheiden. Was die vielversprechenden Iterations-Beschleuniger betrifft, so erfreut man sich indessen dank langjährig bester Beziehungen zum US-Department-of-Energy dessen Know-hows: Die Methoden wurden bei den Sandia-Labs zur Reife geführt. "Sie sind einzigartig", meint Wallner, "wenn man mal davon absieht, daß Vergleichbares auch hinter den Mauern der einen oder anderen Department-of-Defence-Institution zum Einsatz kommt".
Spitzen-Software, die dann auch komplett vektorisiert und parallelisiert sein wird, ist jedenfalls erforderlich, will man der C220 nicht Unmögliches abverlangen. Denn beim Sprung von 25 000 heutigen auf eine Million Freiheitsgrade morgen soll es nicht bleiben. Auch die Zahl der Zeitschritte wollen die Geo-Ingenieure von 50 auf 200 hochziehen. Eingedenk der Tatsache, daß sich der Rechenaufwand mit der FG-Zahl nahezu quadratisch erhöht, bedeutet dies gegen heutige Rechenläufe immerhin ein Mehraufwand um den Faktor 4000. "Auf der Basis der jetzigen 100-Stunden-Läufe : mit Ansalt1 wäre ein solcher Faktor natürlich nicht zu vertreten", meint der Referatsleiter. "Auch nicht, wenn wir den alten Code völlig vektorisierten und nochmals 50 bis 100 Prozent mehr aus der Maschine quetschten".
Um welchen Faktor die neue Software den Numbercruncher wird beflügeln können, darauf will sich Wallner noch nicht festlegen. "Wir wissen aber, daß der verbleibende Aufwand in machbare Dimensionen kommt." Beim Kalkül hat er indessen klar vor Augen, daß es bei den zwei Prozessoren wohl nicht bleiben wird: Eine Aufrüstung auf C240 ist mehr als nur angedacht.
Bis die allerdicksten Jobs mit hohem Detaillierungsgrad in Geologie sowie Kammer-Anordnung schließlich gefahren werden können, verbleibt - wie erwähnt - noch einige Vorarbeit. Und zu ihr gehört nicht zuletzt, auch neues Auswerte-Werkzeug auf die Beine zu stellen. Wallner: "Wir wollen die Hard- und Software-Ressourcen zu einem Satz sehr wohl ausgewogener und abgestimmter Hochleistungs Werkzeuge komplettieren. Das ist essentiell". So wird in Hannover etwa zeitgleich zu Ansalt2 noch das Interaktive Kommunikations-System INCA hinzukommen - ein System mit umfassenden Projekt-Management-Fähigkeiten: Vom Pre- und Post-Processing über Job-Control und Dokumentation wird hier alles zur Verfügung stehen.
INCA soll transparent machen, in welchem Status sich ein Projekt aktuell befindet: in der Modelling-, Berechnungs- oder Auswertungs-Phase oder gar abgeschlossen im Archiv. "Vital für uns ist insbesondere die Möglichkeit, daß wir in die Fortentwicklung eines Job-Laufs aufschlußreich hineinsehen können", meint Wallner. "Wir wollen frühzeitig auf eine Analyse aufsetzen können, die uns sagt, ob die Berechnung in die richtige Richtung läuft oder nicht, und uns in der Entscheidung unterstützt, ob wir den Job weiterlaufen lassen oder stoppen sollen. Damit läßt sich viel Zeit gewinnen".
Das ist bereits bei den heute 100 MB produzierten Ergebnis-Daten wichtig, das wird von extremer Bedeutung sein, wenn in Zukunft mit Outputs von 1 GB bis 10 GB Daten zu rechnen ist. Sowohl Ansalt2 als auch INCA sind so angelegt, daß eine klare, schnelle und unkomplizierte Auswertung insbesondere auch von Untermengen der Ergebnisse möglich wird. Vielfältige Möglichkeiten bei Ablage und Zugriff auf "strukturierte" Daten hieß die Forderung.
Erst wenn dies realisiert ist, wenn auf Spannungs-, Verformungs- und Temperatur-Verläufe ganz nach Belieben selektiv zugegriffen werden kann, wenn sich der auswertende Einblick in Verhältnisse sowohl innerhalb gewisser räumlicher Bereiche als auch unter dem Aspekt gewisser zeitlicher Abfolgen eröffnet, erst dann wird nach den Vorstellungen der Hannoveraner Crew die Gesamt-Software auch den Leistungen des Numbercrunchers gerecht, wird die High-Performance des Gesamtwerkzeugs ausgewogen sein.
Pre- und Post-Processing wird auf drei RISC-Workstations laufen, die mit High-end-Grafik-Features ausgestattet sein werden, und die man sich allerdings noch auswählen will. Heute noch über Ethernet, morgen über FDDI, hängen sie dann - wie die C220 und wie auch ein Massenspeicher-Subsystem für ein Terabyte (TB) Archivedaten am Zentralknoten, an einer VAX 6000. Dort soll das Interaktive Kommunikations-System INCA residieren und mit seinem Job-Controller letztlich dafür sorgen, daß sich Aufgaben- und Daten-Flüsse sämtlichen High-Performance-Ressourcen effizient zuspielen lassen. Dann, so ist Wallner überzeugt, wird sich auch die anstehende Problematik, wie sicher eine Endlagerungs-Stätte unter Gorleben sein wird, wie am günstigsten die unterschiedlich Wärme erzeugenden Abfälle auf die Kammern zu verteilen sind, im Zusammenspiel mit dem neuen Inhouse-Numbercruncher zügig beantworten lassen.