Parallelrechner - der neue Trend?Tausende Prozessoren sind heutzutage keine Utopie mehr

05.10.1990

Jahrzehntelang galt die Basisregel, ein ordentlicher Rechner bestehe eigentlich bloß aus einem Rechen- und Steuerwerk, einem Speicher, einer Ein-Ausgabeeinheit - und nichts weiter. Doch heute sieht dies alles ganz anders aus: Fast so flott, wie die Pilze aus dem Boden schießen, machen heute immer neue Konzepte exotischer Parallelcomputer mit Hunderten und Tausenden von Rechenwerken von sich reden.

War für den versierten Informatiker das Wort "Parallelrechner" vor Jahren noch fast so etwas wie eine Beschwörung des Aberwitzigen, so muß doch eingeräumt werden. Selbst in den Hoch-Zeiten - man denke an die 360er-Linie - gab es stets auch ein gewisses Maß an Parallelverarbeitung. Dabei denken wir nicht nur beispielsweise an die speziellen Ein- und Ausgabeprozessoren, die neben der eigentlichen Zentraleinheit arbeiteten, sondern auch an Arithmetik-optimierte Spezial-, beziehungsweise Vektor-Prozessoren. Tatsache ist außerdem, daß ja allein schon die wortweise erfolgende Datenverarbeitung, stellt man sie nur einmal der - natürlich bloß theoretisch bedeutenden - reinrassig-bitseriellen gegenüber, ein gewisses Maß an Parallelität in sich birgt.

Sind herkömmliche Computer also schon seit jeher in einem gewissen Sinne so etwas wie "heimliche Parallelrechner", so muß man andererseits doch sehen: Wenn heute von Parallelmaschinen gesprochen wird, so meint man damit sozusagen explizit parallele Architekturen - Rechner also, die vielleicht bloß zwei, vier oder acht gleichartige oder auch unterschiedlich spezialisierte - vollständige Rechenwerke unter einem gemeinsamen Dach vereinen; aber vielleicht auch Systeme wie etwa die berühmte Connection Machine mit ihren rund 65000 parallel arbeitenden Einfach-Einbit-Prozessoren.

Konfigurationen mit Hunderten oder gar Tausenden von Rechenwerken werden in der Fachwelt heute gern als massiv parallele Architekturen bezeichnet. Während ihr Hauptvorteil im theoretisch erreichbaren, immensen Rechentempo ist, liegt ihr Nachteil heute immer noch in ihrer notorisch schweren Programmierbarkeit. Denn wie sich immer wieder zeigt, ist es vor allem bei Problemstellungen mit verwickelten internen Datenabhängigkeiten ausgesprochen schwer, diese auf ein Gitter paralleler Prozessoren abzubilden. Das gilt sowohl für das manuelle Verteilen des Rechenaufwands auf die einzelnen Prozessoren als auch für ein automatisiertes Vorgehen mit Hilfe eines Compilers. Denn der Compiler neigt meist dazu, die vorhandenen Prozessoren schlecht auszunutzen, wie Kenner der Szenerie klagen.

Haben massiv parallele Architekturen bisher vor allem in den USA von sich reden gemacht, so hört man immer häufiger von einschlägigen Anstrengungen der Japaner. Denn in einer Art logischer Weiterführung des - nicht eben strahlend erfolgreich verlaufenem - 80er-Jahre-Projekt zur Entwicklung einer ganz neuen Generation von künstlich intelligenten Rechnern, rücken dort jetzt Parallel-Architekturen ins Blickfeld.

Sie sollen Aufgaben verarbeiten wie

- das Erkennen und Verstehen von Bildern,

- das Übersetzen gesprochener Wörter oder auch

- die Verfolgung der Flugbahn unbekannter Raketen.

Hinzu kommen Aufgaben wie etwa das Unterstützen der genetischen Forschung oder auch die Verwaltung großer Datenbestände.

Haben japanische Wissenschaftler noch während des erwähnten KI-Forschungsprogramms eine Maschine mit immerhin schon 64 parallel arbeitenden Prozessoren entwickelt, so werden in neuen Papieren über die weitere Strategie ehrgeizige Ziele wie etwa ein Rechner mit mehreren Millionen einzelner Rechenwerke aufgestellt. Ein solches System ist von seiner praktischen Verwirklichung ganz sicher noch Jahre entfernt.

Da das Programmieren massiv paralleler Rechner erheblich schwieriger zu sein scheint, als nur "einfach" der Bau entsprechender Baum-, Bus- oder auch Netz-Strukturen aus einzelnen Rechen- und Speicherwerken, kommt den Japanern ein eher unerwarteter Nebeneffekt ihrer bisherigen Forschung sehr gelegen: Sie haben in den letzten Jahren viel darüber gelernt, wie speziell für Parallelrechner sinnvolle Programme geschrieben werden. Doch auch die Japaner haben erkannt, daß die schnelle Ver- und Bearbeitung komplexer Daten und Programme auf weite Sicht "ohne massiv parallele Rechner völlig undenkbar" sei.

Nimmt man die Aktivitäten der japanischen Industrie wie auch des berühmten Ministeriums für Internationalen Handel und Industrie (MITI) näher unter die Lupe, so kann man feststellen, daß beide Seiten heute ganz und gar nicht mehr am gleichen Strang ziehen. Die Industrie will ihre 80er-Jahre-Erfolge ausbauen, die sie vor allem mit der Entwicklung superschneller, aber eben doch nur scheinbar parallel arbeitender Vektorrechner erzielt hat. Während die Unternehmen auf ihrem Weg zu immer höheren Rechengeschwindigkeiten nun auch auf explizit parallel organisierte Maschinentypen mit zahllosen gleichartigen Prozessoren übergeht, denken MITI-Exponenten wie etwa Taizo Nishikawa in einer ganz anderen Richtung.

Der Manager der Abteilung Industrielle Elektronik interessiert sich erheblich weniger als die Industrie für pures Tempo, sondern mehr für Konzepte neuartiger Rechner, die "Probleme bearbeiten können, an denen herkömmliche Rechner" - und zwar egal, wie schnell sie sein mögen - "scheitern".

Nishikawa scheut sich nicht, heute sogar schon den Gedanken an Systeme mit Milliarden statt "nur" Millionen von Einzel-Prozessoren ins Spiel zu bringen. Er betont dabei aber, dazu bedürfe es vor allem auch noch großer Fortschritte im Bereich der Chip-Technik. Da unter solchen Prozessoren, die jeweils gleich in ganzen Gruppen auf einem Chip gefertigt würden, zweifellos oft gleich Zehntausende fehlerhaft wären, müßten die neuartigen Parallel-Chips aus Japan dann auch die Fähigkeit aufweisen, ausgefallene beziehungsweise neu ausfallende Prozessoren in einem dynamischen Rekonfigurations-Prozeß zu umgehen. Deren Arbeitsleistung sei von anderen, intakten Einheiten zu erbringen.

Programmierer haben den Schwarzen Peter

Damit liegt der Schwarze Peter am Ende doch wieder bei den Programmierern und weniger bei den Chipologen. Denn das interne Koordinieren solcher dynamisch sich ändernden Prozessor-Felder ist zweifellos eine Herausforderung für die japanischen Programmierer - für Fachleute also, die als Theoretiker und vor allem Innovateure bislang zwar keinen allzu guten Ruf hatten, die nach Auskunft kundiger Beobachter aber doch schon deutlich hinzugelernt haben sollen. Von Jahr zu Jahr werden diese Leute besser, wie sogar W. Daniel Hillis, Entwickler der berühmten Connection-Machine des Massachusetts Institute of Technology (MIT) einräumt. Hillis als Gründer und Boß der Firma Thinking Machines liegt jedoch daran, das Feld für Rechner seiner Machart im eigenen Lande so gut zu bestellen, wie es nur eben möglich ist - ein Eigeninteresse ist also offenkundig.

Maschinen hochgradig paralleler Struktur, bestehend aus Tausenden von Prozessoren der gleichen Bauart: Dies ist ein Bereich, auf dem auch ein junger Kalifornier namens Eugene D. Brooks tätig ist. Der Amerikaner nimmt als Mitarbeiter der US-Rüstungsforschungszentrale Lawrence Livermore National Laboratories nicht nur eine prominente Position ein, sondern er kassiert auch staatliche Zuschüsse von 10 Millionen Dollar über einen Zeitraum von drei Jahren hinweg.

Riß zwischen dem Denkbaren und Möglichen

Doch was tut Brooks nun mit all diesen schönen Greenbacks? - Der 34jährige spezialisiert sich auf die Übertragung herkömmlicher, für konventionelle Vektor-Rechner mit ihren teuren Super-Prozessoren geschriebener Programme auf die neue Klasse der massiv parallelen Rechner, deren elementare Einheiten ja meist nichts anderes sind, als billige Mikroprozessoren aus dem Laden um die Ecke. Denn auch der amerikanische Steuerzahler möchte für die Sternenkrieger-Rüstungsforschung ungern mehr ausgeben, als unbedingt sein muß. Die Mikros versprechen, bei entsprechender Programmierung, Maschinen, die für die 20 bis 60 Millionen Dollar einer künftigen, hochgezüchteten Cray oder ähnlicher Entwicklungen, glatt das Zehn- bis Hundertfache leisten sollen. Oder auch mehr wie die US-Presse kürzlich mit Staunen notierte.

Das entscheidende Stichwort an dieser Stelle ist natürlich das von der entsprechenden Programmierung - denn hier öffnete sich beim Übergang auf parallele Maschinen ein Riß zwischen dem Denkbaren und dem Möglichen, der immer weiter und weiter auseinanderzuklaffen droht. Gilt doch beispielsweise für herkömmliche Einprozessor-Rechner der konventionellen Bauform Altmeister Zuses Regel, daß ein schlechter Programmierer oder auch ein dürftiger Compiler aus der Maschine nur etwa die Hälfte der tatsächlich erzielbaren Leistung herausholt; unter ungünstigen Umständen auch bloß ein Zehntel.

Für Parallelsysteme der hier besprochenen Arten gilt sogar, daß der schlechte Compiler beziehungsweise der unbegabte Programmierer aus dem vorhandenen System nur ein Prozent, vielleicht aber auch bloß ein Promille der theoretisch erreichbaren Leistung herauszieht. Einmal mehr zeigt sich: der Schlüssel zur Computerei von morgen liegt zwar sicher auch bei der Chip-Technik und bei der Architektur der nackten Maschinen. In allererster Linie aber wohl, und dies mit rasch steigender Bedeutung, bei deren Programmierung.

Was für gewaltiges Potential aber zumindest theoretisch, in äußerlich unscheinbaren und eigentlich leistungsschwachen, nun aber clever parallelgeschalteten Mikros steckt: - dies erfuhr der im späten Nachkriegsdeutschland als Kind eines US-Soldaten geborene Brooks schon vor Jahren an Hand seiner eigenen Studien. Denn er gehörte Anfang der 80er Jahre zu jenem Team junger Ingenieure, das aus 64 Intel-Mikroprozessoren im Wert von nicht mal 100000 Dollar den ersten sogenannten Hyperkubus-Parallelrechner zusammenlötete. Begeistert durfte der Techniker miterleben, wie dieser seltsame Kubus in bloß einem Tag die Lösung von Kalkulationen lieferte, an denen ein Standard-Minicomputer Hunderte von Stunden zu kauen hatte.

Heute arbeitet der kalifornische Rüstungsforscher und einstige Hacker zwar längst schon an höchst geheimen Sternenkrieg-Projekten, aber er kann sagen, daß ihm für seine Parallelisierungs-Versuche ein Bolt-Beranek-and-Newman-Parallelrechner (BBN) zur Verfügung steht, der auf einem guten Dutzend neuartiger 88000er-RISC-Prozessoren von Motorola basiert. Und die bisherigen Erfahrungen lassen ihn bereits prognostizieren, schnelle neue RISC-Prozessoren wie etwa jene in der neuen IBM-Arbeitsstation der 6000er-Serie könnten, parallel betrieben, schon in weniger als fünf Jahren den herkömmlichen Vektor-Rechnern - die ja im wesentlichen nur immer den gleichen Befehl an unterschiedlichen Daten ausführen - die Hölle heiß machen. Dem Tempo sollte zugute kommen, daß gleichzeitig ganz verschiedene Befehle - also ganz unterschiedliche Teile eines Gesamt-Programms - auf ganz verschiedene Daten ausgeführt werden können.

Zum Erfolg verurteilt

Ähnlich optimistisch sieht neben Brooks und Nishikawa auch Gordon Bell, der renommierte Entwickler der VAX-Rechnerserie des Hauses Digital Equipment, die Zukunft der parallelen Technik. Doch spricht, wie schon Hillis, auch er zugleich ein wenig pro domo: Bell ist heute längst nicht mehr untergeordneter DECianer, sondern ehrgeiziger, zum Erfolg verurteilter Boß des Parallelrechner-Herstellers Stardent, der wiederum durch die Fusion der beiden Firmen Stellar und Ardent entstanden ist.

Der 34jährige Hillis, an dem bei der Diskussion massiv paralleler Rechner von morgen schon heute niemand mehr vorbeikommt, arbeitet nach aktuellen Berichten inzwischen bereits an einer Teraflop-Maschine. An einem Parallelrechner also, zu dessen Entwicklung das US-Verteidigungsministerium 12 Millionen Dollar beisteuert, und der es pro Sekunde auf maximal 1 Billion (1000 Milliarden) Gleitkomma-Operationen bringen soll. Das wäre rund 200mal schneller, als seine heutige Connection Machine.

Ein erstes Exemplar der neuen Teraflops-Entwicklung soll schon 1992 laufen, wenngleich dann zunächst "nur" mit 100 GFLOPS an Rechenleistung. In Sachen Programmierung soll der Rechner dann sowohl zur guten alten Connection-Machine, als auch zu den späteren Modellen der neuen TFLOPS-Reihe kompatibel sein, verspricht Hillis. Und Leuten wie etwa den Konstrukteuren innovativer Hubschrauber wird das System wesentlich mehr Möglichkeiten als heutige Rechner bieten: Der Entwurf neuer Flugaparate kann schon vor Bau des ersten - kostspieligen - Prototypen in puncto Aerodynamik gründlich durchkalkuliert werden.

Kosten zwischen 20 und 50 Millionen Dollar

Dieses ganze neue Konstrukteurs-Gefühl wird auf absehbare Zeit allerdings nur Wenigen zuteil werden, wie schon eine kurze Abschätzung jener Rahmenbedingungen zeigt, die vor dem Einsatz so eines Teraflops erfüllt sein wollen. Denn da man allein mit Maschinenkosten zwischen 20 und 50 Millionen Dollar rechnen muß, bleibt das Ganze allenfalls ein Vergnügen für Unternehmen, die im Jahr eine Milliarde Dollar und mehr umsetzen.

Um aber den hier entstehenden Luxus-Jumbo aus dem Hause Thinking Machines dennoch einem möglichst breiten Kreis finanziell potenter Unternehmen schmackhaft zu machen, hat der pfiffige Hillis sich inzwischen eine Rechnung einfallen lassen, die auf den ersten Blick zumindest verblüfft. Dazu verweist er beispielsweise auf jene Millionen und Abermillionen von Einzeldaten, die ganz gewöhnliche Supermärkte heute tagaus-tagein an ihren Strichcode-Abtasterkassen erfassen und bemerkt: Zwar könnten Hersteller von Markenschokolade oder von Waschpulver aus diesen Daten Monat für Monat oftmals Milliarden hochinteressanter Querbeziehungen aufstellen und für die Verbesserung ihrer geschäftlichen Entscheidungen nutzen - doch mangels Rechenkapazität lassen sie dies einfach bleiben. Würde die Unternehmensleitung jeweils bedenken, daß 99 Prozent ihrer Angestellten bloß Däumchen drehen, dann könne es doch kaum eine bessere Entscheidung geben als die, einen Teraflopser anzuschaffen und mit seiner Hilfe den öden Zahlenfriedhöfen von heute endlich Leben einzuhauchen.

Einsatz in der Wallstreet

Der Gedanke, einen auf den ersten Blick scheinbar nur technisch-wissenschaftlich einsetzbaren Supercomputer, beziehungsweise einen ähnlich orientierten, massiv parallelen Hyperkubus-Rechner, auch mal auf kaufmännisch-adminstrative Problemfelder anzusetzen, scheint bei näherem Nachdenken eine Menge für sich zu haben. Konkrete Installationen zeigen schon jetzt, daß Kaufleute beziehungsweise Bankiers aus solchen Maschinen Nutzen zu ziehen vermögen.

So hat beispielsweise der bekannte US-Wertpapier-Broker und Aktienhändler Prudential Bache als erstes Unternehmen seiner Branche schon vor einem Jahr einen Hyperkubus-Parallelrechner installiert, mit dem das Finanzhaus nach eigenen Angaben "die Analyse, den Entwurf und die Erschaffung komplexer finanzieller Instrumente" vorgenommen hat. Mit seiner Hilfe wurden nämlich Portfolio-Strukturen verbessert und Hypothekenanleihen umgestaltet, aber auch neuartige Finanzinstrumente entwickelt, die den Kunden zu festen Einkommen verhelfen sollen.

Hinter all diesen Finanz-Innovationen stecken interaktiv arbeitende und höchst rechenintensive finanzmathematische Modelle, die in Wallstreet mehr und mehr zu wichtigen Elementen des Konkurrenzkampfes geworden sind. Denn im laufenden Handel mit Tausenden von Wertpapieren sind bereits Rechner nötig, die selbst auf komplexeste Fragen in Sekundenschnelle antworten können.

Sind nämlich bei einer konkreten Kaufüberlegung erst mal zehn bis 15 Minuten an Rechenzeit verstrichen, so hat mit hoher Wahrscheinlichkeit bereits ein schnellerer Konkurrent eine günstige Occasion weggeschnappt, erläutert der für finanzielle Strategien zuständige Bache-Manager Vincent T. Pica. Und genau deshalb sei interaktives Supercomputing in der Finanzwelt die Technik der Stunde.

Die Leistung einer Gray-1

Wie man von Pica in diesem Zusammenhang weiter erfahren kann, werden in manchen Kalkulationen Monte-Carlo-Techniken, also aufwendige Zahlenspielereien auf der Basis von Pseudo-Zufallszahlen, genutzt. Doch während die herkömmlichen Großrechner bislang allenfalls das "Ausprobieren" von vielleicht ein paar Hundert denkbaren Szenarien erlaubten, ehe die Entscheidung stehen mußte, bieten Hyperkubus-Maschinen der alten, noch auf 32 herkömmlichen 80386er-Prozessoren basierenden Art bereits weit mehr Möglichkeiten: Schon mit ihnen können nun binnen weniger Sekunden gleich Tausende verschiedener Möglichkeiten erprobt - und mithin Entscheidungen wesentlich höherer Qualität als früher getroffen - werden, so Pica.

Während Hillis bei seinem Teraflops-Projekt auf spezielle, schnelle Prozessor-Chips eigener Konstruktion setzen will, arbeitet Hyperkubus-Champion Intel unter dem Codewort "Touchstone" - und gefördert mit 7,6 Militär-Dollarmillionen - schon eifrig an einem Super-Parallelrechner auf Basis kommerziell verfügbarer 64-Bit-RISC-Prozessoren des hauseigenen Typs 860. Von diesen Chips soll jeder einzelne unter gewissen Randbedingungen annähernd so viel an Rechenleistung bringen, wie der Zentralprozessor einer klassischen Cray-1 aus den 70er Jahren. Justin Rattner, Technik-Experte und zuständiger Touchstone-Manager, will von jenen gleich an die 2000 Stück zusammenschalten und durch entsprechende Programmierung, alsbald zu kooperativem Wirken in wohlorganisiertem, fein abgestimmtem Gleichklang bewegen.

7,6 GFLOPS aus dem Katalog

Das Touchstone-Vorhaben, dessen Gesamtkosten auf rund 27,5 Millionen Dollar veranschlagt werden, soll zwar erst nächstes Jahr einen Rechner von annähernd 150 GFLOPS Maximalleistung bringen, doch Hyperkubus-Architekturen auf Basis des 860er-Prozessors sind schon heute so weit, daß sie frei auf dem Markt offeriert werden. Sie werden als iPSC/860 bezeichnet und erreichen als einfach aufzubauende - und an Ort und Stelle erweiterbare - luftgekühlte Systeme mit acht bis 128 Prozessor-Knoten bislang zwischen 0,5 und 7,6 GFLOPS. Dabei sind im 128-CPU-Maximal-Ausbau 2 GByte an Hauptspeicher und über 100 GBytes an Plattenspeicher vorgesehen.

Der Programmierung dieser exotischen Maschinen dienen unter anderem Hilfen wie etwa "Forge" zum Umwandeln konventionellen Codes in parallelen, oder auch "Linda" als Programmiersprache zur Erzeugung von Anwendungsprogrammen, die dann auf einer ganzen Reihe paralleler Maschinen laufen können sollen.

Mit Blick auf die bekannt problematische Programmierung parallel strukturierter Computer ist auch von Interesse, daß sich mit dem Computer-Produzenten Alliant, der bisher allerdings noch nicht ins Reich der massiv parallelen Architekturen vorgestoßen ist, sowie ferner dem Chiphersteller Intel zwei Unternehmen zusammengetan haben, die gemeinsam einen begehbaren Weg in die Parallelrechner-Zukunft bahnen möchten. Denn unter dem Kürzel PAX beziehungsweise "Parallel Architecture eXtended" definierten beide Firmen unlängst ein Regelwerk, auf dem künftig Programme für Parallelrechner basieren sollen PAX könnte im Reich dieser speziellen Rechner in etwa den gleichen Stellenwert erlangen, wie MS-DOS ihn zusammen mit der 80x86er Architektur - allerdings massiv gefordert durch Big Blues Definition ihres PCs - bei Kleinrechnern erlangte.

PAX schwört die an der neuen Liaison partizipierenden Produzenten innovativer Parallelrechner-Programme sowohl auf den Intel-Chip 860 als auch auf das Unix-System V und auf bestimmte Parallelisierungs- und Graphik-Techniken nach Alliant-Rezept ein. Das läuft zwar einerseits auf gewisse Einschränkungen der kreativen Freiheit der Parallelprogramm-Entwickler hinaus, bietet aber auch Vorteile. Denn PAX, so erläutert Alliant-Präsident Ronald Gruner, garantiere, daß jedes Standard-Anwendungsprogramm auf allen PAX-Computern mit dem 860er-Chip "ohne jegliche Änderung" laufen könne.

Man sieht also, daß sowohl die Entwicklung der eigentlichen Parallelmaschinen, als auch die Vervollkommnung der zugehörigen Programmiertechniken, auf parallelen Gleisen vorangetrieben wird. Das wiederum unterstreicht eine Prognose des Marktanalytikers James Magid vom US-Beratungsunternehmen Neddham & Co., die im Markt der massiv parallelen Rechner für die kommenden zehn Jahre explosives Wachstum ankündigt. Mit Blick auf kaufmännisch-administrative Anwendungen dieser Rechner sagt die Prognose eine Explosion um das Hundertfache vorher: also plus 10000 Prozent, grob gerechnet.

So scheint es ratsam, diesen Markt ebenso fest im Auge zu behalten, wie die ihm zugrundeliegende, neuartige Technik.