Es ist jedesmal das gleiche Spiel: ein Unternehmen stellt einen neuen Computer vor und verkündet stolz, wie viele MIPS oder MegaFLOPS das neue Instrument angeblich leiste. Oft wird auch gleich noch das Ergebnis eines Vergletchstests mitgeliefert. Dabei schneidet der Neuling stets besser ab als seine Konkurrenten.
Das bekannte Spiel mit den theoretischen Maximalleistungen beziehungsweise mit den "Benchmark"-Vergleichen ist fast so alt wie die Computerei an sich; und ebenso dringend suchen Fachleute seit jeher nach verbindlichen Maßstäben für die "wahre" Leistung eines gegebenen Systems. Doch erst in letzterer Zeit, seit nämlich zusehends mehr Konfigurationen mit parallelen Rechenwerken auf dem Markt erscheinen, fängt die Situation an, kritisch zu werden. Denn haben die Hersteller schon bei Einprozessor-Systemen immer wieder exakt "passende" Benchmarks zu finden gewußt, aus denen jeweils nur eben ihr System als Sieger hervorging - und stellten die Konkurrenten jenen Tests wiederum prompt ihre eigenen mit natürlich einem ganz anderen Sieger gegenüber -, so ist die Verwirrung inzwischen komplett. Denn die Zahl der denkbaren Varianten von Mehrprozessor-Computern ist einfach zu groß, als daß eine simple Meßlatte allein sinnvolle Vergleiche erlauben könnte. Und deshalb wird jetzt immer dringender ein neuer, klar überschaubarer Vergleichsmaßstab gesucht.
Marktschreier schreckt Anwender ab
Heute ist vor allem im Bereich der technisch-wissenschaftlichen Rechnerei eine eher abschreckende denn Vertrauen weckende Art von Marktschreierei zu konstatieren. Denn die einschlägigen Hersteller überbieten einander am laufenden Band mit Aussagen wie "ein Zehntel Cray-Leistung zum fünfzigmal kleineren Preis" oder auch "theoretische Spitzenleistung 300 Mega FLOPS" beziehungsweise "40 MIPS" und so weiter. - Wobei hier kurz daran erinnert sei, daß diese MegaFLOPS die Zahl der Millionen Gleitkomma-Operationen, die der Rechner pro Sekunde bearbeiten kann, ist. Während MIPS natürlich für das vertraute "Millionen Instruktionen pro Sekunde" steht. Was moderne Supercomputer und Parallelrechner so besonders schwer miteinander vergleichbar macht, ist die unglaubliche Vielfalt konkreter Bauformen für diese Maschinen. Denn da gibt es einmal Rechner mit mehreren, über einen Bus und einen gemeinsamen Speicher "eng" gekoppelten Prozessoren, und, auf der anderen Seite, teilweise exotische Strukturen wie etwa den bekannten "Hypercubus". Dessen einzelne Prozessor-Knoten sind alle mit lokalem Speicher versehen und die Kommunikation erfolgt hier durch den Austausch von Nachrichten.
Zum Prüfen der Leistung solcher und anderer Rechner hat sich nun in den letzten Jahren ein Benchmark-Test eingebürgert, der unter dem Namen "Linpack" bekannt geworden ist und der auf Jack J. Dongarra von Argonne National Laboratory in Argonne im US-Bundesstaat Illinois zurückzuführen ist. Denn Dongarra, der wissenschaftliche Direktor des Argonne-Computer-Forschungszentrums, hat hier rund 400 Fortran-Unterprogramme gebündelt, die bei der Lösung linearer Gleichungssysteme von Nutzen sind; in den USA können sie übrigens kostenfrei über das bekannte Arpa-Netz abgerufen werden.
Die unbestritten große Beliebtheit dieses Linpack-Benchmarks kann man wohl vor allem auf das hohe Maß an Fairneß zurückführen, das ihm zugeschrieben wird. Denn erstens gilt dieser Benchmark-Test nur dann als "bestanden", wenn der entsprechende Rechner ihn in genau der vordefinierten, von Dongarra festgelegten Weise absolviert hat. Und zweitens erlaubt dieser Test auch noch den gezielten und wohldokumentierten Übergang auf Assemblercode für solche Fälle, in denen erst damit die volle Leistung eines Systems erreicht werden kann.
Der Linpack-Benchmark, der inzwischen vom kleinen PC bis hinauf zu den schnellsten Rechnern der Welt auf vielen Maschinen gelaufen ist, ist aber auch durch die realitätsnahe Mischung der Operationen, mit denen er arbeitet, ein geschätzter Maßstab geworden. Denn hier gilt es, ein Spektrum an Operationen und vor allem an Gleitkomma-Operationen abzuarbeiten, das gerade für den Alltag eines technisch-wissenschaftlich genutzten Rechners typisch ist.
Da die Entwicklung der Rechner und der Computer-Architekturen nicht stehenbleibt, ist der Gedanke naheliegend, auch den Linpack-Benchmark von Zeit zu Zeit einer gewissen Modernisierung zu unterziehen; wobei natürlich klar ist, daß nur Vergleiche zwischen Linpacks gleicher Ausführung eine Aussage über die relativen Leistungsdaten zweier Maschinen erlauben.
So kann eine neuere Version dieses Satzes von Test-Routinen Matrizen mit 300 mal 300 statt nur mit 1 00 mal 100 Elementen behandeln; und gleichzeitig wird dem Hersteller des jeweiligen Rechners beziehungsweise Compiler bei der konkreten Bearbeitung der vorgegebenen Aufgabe auch ein höheres Maß an Freiheit zugestanden als bisher. Was dazu führt, daß Hochleistungs-Vektorrechner wie etwa eine Cray oder eine Cyber beziehungsweise deren japanische Konkurrenten von Firmen wie NEC oder Fujitsu besser als bisher zeigen können, was wirklich in ihnen steckt. Und das gleiche soll auch für eine Reihe der modernen, mehr oder weniger stark parallel strukturierten Rechner gelten.
Doch obwohl mithin in Sachen "Benchmark für Parallelrechner" schon ein gewisser erster Schritt getan ist, und obwohl immer mehr Hersteller paralleler Konfigurationen anfangen, mit Linpack-Tests zu werben, ist Dongarra mit der aktuellen Situation noch nicht so recht zufrieden. Denn sein Linpack-Benchmark behandelt bloß eine ganz bestimmte, wenn auch wichtige Klasse von Problemstellungen. Und da er nicht von Haus aus für Parallel-Architekturen konzipiert worden war, bleibt immer noch ein Gefühl des Unbefriedigtseins.
Diese Irritation ist für Dongarra Anlaß geworden, sich langsam mit der Entwicklung eines ganz neuen Satzes von Benchmark-Programmen zu befassen. Dieser Test soll dann ganz speziell auf die Parallel-Maschinen von heute und morgen passen und überdies auch die Leistung schneller Vektorrechner transparent machen. Und außerdem, aber das sagt Dongarra natürlich nicht so direkt, soll dieser neue Test auch wieder das Rennen machen und beliebter werden als eine Reihe ähnlicher, an denen zur Zeit andere Experten überall in den USA basteln.
Benchmarks nicht als Verkaufshilfen gedacht
Aktiv auf der Suche nach einem Parallelrechner-Leistungsmaßstab ist neben Dongarra beispielsweise auch die amerikanische Normungsbehörde National Bureau of Standards, die zu diesem Zweck bei Wissenschaftlern entsprechende Test-Routinen sammelt. Im vergangenen Jahr kamen, soweit bekannt, an die 15 Benchmark-Programme zusammen, wobei jene schon ein breites Spektrum denkbarer Anwendungen abdecken. Sie eignen sich damit weniger als Verkaufshilfen für die betreffenden Rechnerhersteller, denen ja meist nur an einem möglichst schlagenden Beweis für die Rundum-Überlegenheit ihres Produkts, möglichst ausgedruckt in Form einer einzigen und leicht zu merkenden Maß-Zahl, gelegen ist. Sondern sie zielen mehr auf die potentiellen Käufer der neuen Parallelrechner ab; denn jene sollen sich künftig aus den vorgegebenen Benchmarks einfach jenen heraussuchen, der die konkrete Verwendung, die dem neuen Rechner zugedacht ist, am besten widerspiegelt. So stehen beispielsweise Tests zur Wahl, die speziell das Feld der Strömungsmechanik oder auch das der Bilddaten-Verarbeitung abdecken.