MÜNCHEN (hv) - Die Messung von Rechnerleistung wirft nach wie vor Probleme auf: Nicht mit verbesserter Performance, sondern mit neuer Compiler-Technik erzielten jetzt Hersteller wie IBM und Hewlett-Packard (HP) Benchmark-Ergebnisse, die die Glaubwürdigkeit von SPEC-Mark-Werten in Frage stellen.
Insgesamt zehn Benchmarks offeriert die 1989 gegründete System Performance Evaluation Cooperative (SPEC) ihren Mitgliedern, den größten Computerherstellern, damit diese ihre Rechner möglichst vielseitig und objektiv testen können. Der Durchschnittswert aller Ergebnisse ergibt den sogenannten SPEC-Mark. Schon immer hat die Gruppe darauf hingewiesen, daß allein dieser Mittelwert wenig Aufschluß über die Leistungsfähigkeit eines Systems gibt: Mitglieder wurden deshalb von Anfang an verpflichtet, auch die Einzelergebnisse aller Benchmarks zu veröffentlichen.
IBM und HP gelang es jetzt, die Ergebnisse des Floatingpoint-Benchmarks "Matrix 300" - ein kurzes Fortran-Programm mit hoher Lokalität, das über die Leistung eines Rechners im Bereich der numerischen Mathematik Aufschluß gibt - zu ihren Gunsten zu beeinflussen .
SPEC-Mark-Ergebnis um 50 Prozent verbessert
Wie aus SPEC-Kreisen verlautet, waren die Resultate, die IBM-Workstations der RS/6000-Reihe beim Ablauf dieses Test-Programms erzielten, plötzlich etwa 20mal so hoch wie die zuvor gemessenen Werte. Bei HP-Workstations der Serie 700 konnten die Ergebnisse trotz systembedingter Unterschiede immerhin noch um den Faktor acht verbessert werden.
Der Trick: Compiler-Spezialisten sollen analysiert haben, wie der zu generierende Code aussehen muß, damit das Programm der jeweiligen Pipeline- und Cache-Struktur des Prozessors entsprechend optimal laufen kann. Wie SPEC-Insider berichten, haben die Hersteller ihren Fortran-Compiler mit einem neuartigen Preprozessor ausgestattet.
Mit diesem Instrument werde der kompilierte Code so optimal angeordnet, daß der Datenzugriff schneller erfolgen könne als je zuvor. Genaueres ist bis dato nicht bekannt, weil die Unternehmen ein halbes Jahr "Galgenfrist" haben, ehe die für den Benchmark eingesetzte Compiler-Technologie am Markt erhältlich sein muß.
Die enorme Verbesserung des Testergebnisses hat zur Folge, daß sich der gesamte SPEC-Mark-Wert - trotz Berücksichtigung der anderen neun Benchmarks - allein für die entsprechenden IBM-RS/6000-Rechner um etwa 50 bis 60 Prozent verbesserte. Aus Marketingsicht ein großer Vorteil: In der Verkaufspraxis finden zum Leidwesen der SPEC-Gruppe nämlich weniger die einzelnen Benchmarks als vielmehr das gesamte SPEC-Mark-Ergebnis Beachtung. So nutzt zum Beispiel das Vertriebspersonal der meisten Hersteller diese Zahlen als Verkaufsargument. Auch die Fachpresse jongliert seit einiger Zeit mit SPEC-Werten, zumal der ehemalige Maßstab "Mips" wegen häufigen Mißbrauchs in der DV-Welt kaum noch ernst genommen wird.
Ob der Anwender vom Einsatz der neuen Compiler-Technik Vorteile hat, muß sich erst noch erweisen. Entsprechen die Programme der Struktur des im l Benchmark benutzten Programms, so ist der Nutzen nach Einschätzung von Fachleuten groß; in der Realität habe der Durchschnittsbenutzer jedoch kaum Vorteile von dem optimierten Compiler. Vor allem über die tatsächliche Leistungsfähigkeit eines Rechners werde mit diesem überdurchschnittlich hohen Benchmark-Wert wenig ausgesagt.
Von Manipulation sprechen Insider nicht, zumal eine Verletzung der SPEC-Regeln nicht vorliege. Die Hersteller hätten sich vorschriftsmäßig verhalten, indem sie mit den gleichen Programmen gearbeitet hätten. Rechnerkonfiguration und Compilertechnik sind laut "Satzung" ohnehin frei wählbar. Im SPEC-Newsletter werden die Ergebnisse der Benchmarks in der Regel veröffentlicht, wobei alle Daten vollständig dokumentiert werden. Die Ergebnisse des jüngsten IBM-Benchmark erschienen allerdings bisher nicht im Newsletter und werden wohl auch in der nächsten Ausgabe noch nicht zu lesen sein: Wie aus Speckreisen verlautet, hat IBM den Redaktionsschluß nicht mehr einhalten können.