SAN FRANZISKO (IDG) - Durch die Benutzung eines nicht allgemein verfügbaren Precompilers soll es unter an derem der Sun Microsystems gelungen sein, Spec-Benchmark-Ergebnisse zu veröffentlichen, die irreführende Werte enthalten.
Wie die "Sunworld", eine CW-Schwesterpublikation in den USA, bereits in ihrer Märzausgabe empfiehlt, sollten Anwender die als herstellerunabhängig geltenden Spec-Benchmark-Ergebnisse in Zukunft besonders kritisch unter die Lupe nehmen.
Spec bedeutet System Performance Evalution Committee und steht für eine Interessengruppe von Herstellern, die sich im September 1988 zusammenschlossen, um für jeden Anwender nachvollziehbare und Allgemeingültigkeit beanspruchende Benchmark-Tests zu erarbeiten. Zu den mitwirkenden Herstellern gehören alle wichtigen Konkurrenten im Workstation-Markt: IBM, Sun, DEC, Hewlett-Packard, Data General, Control Data, Solbourne, Mips Computer, Silicon Graphics, Motorola und andere.
Nicht im Widerspruch zu den Spec-Richtlinien
Wie der Direktor des "Sunworld"-Testzentrums für Rechnersysteme, ASTC (Advanced Systems Test Center), Dave Taylor, aussagt, versuchen einige Hersteller, diese Ergebnisse durch Be- und Ausnutzung noch nicht öffentlich zur Verfügung stehender optimierender Precompiler zu schönen. Namentlich nennt Taylor den RISC-Workstation-Marktführer Sun Microsystems.
Da die Hersteller die von ihnen angegebenen Ergebnisse aus den allgemein verfügbaren Spec-Testläufen gewinnen, die bei ihnen selbst durchgeführt wurden, konnten Anwender bislang davon ausgehen, daß die erzielten Werte objektiven Kriterien genügen. Taylor führt dagegen aus, Sun Microsystems etwa habe für seine Workstation-Systeme "Sparcstation 2" einen Specmark-Wert von 25,0 angegeben. Tatung, Hersteller von Sparc-kompatiblen Systemen, der ein den Leistungsmerkmalen nach identisches Sparcstation-2-Modell produziert, konnte mit seinen Rechnern jedoch nur einen Wert von 20,4 erzielen.
Die ASTC-Prüfer konnten in ihren Labors die Antwort auf diese Unstimmigkeit finden: Nach ihren Erkenntnissen - sie selbst kamen übrigens für die Original-Sun-Maschine auf einen Specmark-Wert von 20,8 - benutzt Sun zur Leistungsaufwertung den Fortran-Precompiler von Kuch & Associates (KAP). KAP reorganisiert einen in der Regel recht zeitaufwendigen Spec-Algorithmus und schreibt ihn neu. Auf diese Weise könnte eine signifikante Rechenleistungs-Beschleunigung erzielt werden. KAP ist allerdings bislang nur für ausgewählte Hardwarehersteller verfügbar, zu denen auch Sun gehört. Tatung etwa konnte diese Precompiler nicht erhalten. Die unterschiedliche Art der Durchführung der Spec-Benchmarks führt zwar zu irreführenden Resultaten, trotz dem steht sie nicht in Widerspruch zu den offiziellen Spec-Richtlinien.
Danach erlaubt Spec seinen Mitgliedern, für die Tests Software wie etwa Precompiler zu nutzen, die noch nicht allgemein nutzbar sind.
Als Zeitpunkt, bis wann solche optimierende Software generell verfügbar sein müsse, galt bislang ein Jahr. Dieser Zeitrahmen wurde vor kurzem auf sechs Monate reduziert.
Taylor fragt sich in diesem Zusammenhang, ob durch eine Vorgehensweise, wie sie Sun praktiziert, der eigentliche Sinn der Spec-Tests nicht konterkariert werde.
Damit sollten schließlich nicht nur Hersteller die Gelegenheit erhalten, als objektiv geltende Testergebnisse zu veröffentlichen. Vielmehr kann auch jeder Anwender sich bei dem Komitee Bänder mit den aufgespielten Tests gegen Bezahlung zusenden lassen und so in eigener Regie Prüfungen an Systemen durchführen. Auf diese Weise sollte eine möglichst hohe Nachvonziehbarkeit der Tests durch jeden gewährleistet sein.
Kommentar von Taylor: "So wie die Spec-Tests von einigen Herstellern gehandhabt werden, muß man sich fragen, was soll's?"