MUENCHEN (CW) - Die Standard Performance Evaluation Corp. (SPEC) hat ihre neuen Benchmarks "CINT95" und "CFP95" verabschiedet. Sie loesen die SPECint92- und Specfp92-Angaben ab. Diese waren seit Januar 1992 gueltig, werden aber bis spaetestens Juni 1996 sukzessive durch die neuen Suiten ersetzt.
Mit den neuen Testlaeufen traegt das industrieweit anerkannte Gremium der rasanten Prozessor- und Systementwicklung Rechnung. Ausserdem versucht SPEC mit den neuen Benchmarks, einer bei den SPEC92- und SPEC89-Tests verbreiteten Unsitte Herr zu werden: Die Hersteller hatten an den fuer die Tests erforderlichen Compiler so lange gefeilt, bis sie exorbitante Ergebnisse vorlegen konnten. Allerdings sank damit die Aussagekraft fuer das Systemverhalten eines Rechners im Alltagseinsatz.
Erster Unterschied zu den bisher gueltigen Benchmarks ist die neue Referenzmaschine: Seit SPEC erstmals im Oktober 1989 Vergleichswerte veroeffentlichte, nutzte das Konsortium eine VAX- 11/780 von der Digital Equipment Corp. (DEC) als Messlatte fuer die Rechenleistung anderer Maschinen. Ab sofort dient eine "Sparcstation 10 Modell 40" von Sun Micrososystems mit 128 MB Arbeitsspeicher und 36 KB Primaercache als Vergleichsrechner fuer Konkurrenzmaschinen. SPEC verzichtet auf einen Level-2- Cachespeicher.
Die CINT95-Suite umfasst acht Einzel-Benchmarks, der CFP95-Satz deren zehn, aus denen jeweils das geometrische Mittel gezogen wird. Jeder der 18 Testlaeufe wird in Sekunden gemessen. Ein kompletter SPEC-Benchmarktest dauert 16,25 Stunden. Um ein repraesentatives Ergebnis fuer einen Rechnertyp zu gewinnen, das auch Schwankungen innerhalb der Testdurchlaeufe reflektiert, muessen diese dreimal durchgefuehrt werden. Die veroeffentlichten SPEC-Werte fussen somit auf einem Test, der einen Rechner 48,75 Stunden beschaeftigt.
Die zu veroeffentlichenden, offiziellen SPEC-Angaben werden wie bisher in zwei Kategorien eingeteilt: Sowohl fuer die Integer-
(CINT95) als auch fuer die Floating-Point-Angaben (CFP95) muessen die Hersteller in Zukunft sogenannte Basiswerte bekanntgeben, also SPECbase-int95 und SPECbase-fp95.
Compiler-Tricks werden in Zukunft ausgeschlossen
Hierbei duerfen sie an den Compilern nur sehr geringfuegig feilen. Ausserdem haben sich die Systemanbieter an die Festsetzungen des SPEC-Gremiums zu halten. So duerfen nur gleiche Compiler-Flags, die zudem in einer festgelegten Reihenfolge gesetzt sein muessen, verwendet werden. Die Systemanbieter koennen, muessen hingegen keine Spitzenwerte mehr veroeffentlichen.
Grundsaetzlich glaubt das SPEC-Konsortium, der Findigkeit gewitzter Compiler-Rastellis mit den neuen Test-Suiten engere Grenzen gesetzt zu haben. Zudem habe man einige Probleme der SPEC92- Benchmarks auszuraeumen versucht.
Da Prozessoren in den vergangenen Jahren extrem leistungsfaehig wurden, seien einige der SPEC92-Tests auf besonders hochgezuechteten Rechnern in weniger als einer Minute abgelaufen. Geringfuegige Messwertveraenderungen oder auch -fehler haetten deshalb zu prozentual vergleichsweise starken Ergebnisschwankungen gefuehrt. Die neuen Tests besitzen aus diesem Grund eine sehr viel laengere Laufzeit.
Viele Kritiker zielten auch auf die Tatsache, dass Alltagsapplikationen immer komplexer und umfangreicher geworden sind, die SPEC92-Suiten diesem Umstand aber nicht Rechnung tragen. Einige der 18 SPEC95-Testlaeufe fordern aus diesem Grund erheblich mehr Systemressourcen wie groessere Speicher.
Auch reflektierten einzelne SPEC95-Benchmarks jetzt besser als zuvor praxisnahe Anwendungen. Zu denken sei hier an Aufgabenstellungen aus dem Datenbank- und Imaging-Bereich.
Die acht in C programmierten CINT95-Tests simulieren unter anderem Aufgaben wie JPEG-Kompressionslaeufe und Arbeiten in objektorientierten Datenbanken sowie aus dem Spielebereich. Sie stellen zudem Anwendungen aus der kuenstliche Intelligenz nach. Die zehn CFP95-Benchmarks sind in Fortran geschrieben. Sie beinhalten beispielsweise Routinen, die das Systemverhalten bei dreidimensionalen Berechnungen darstellen. Das Konsortium verzichtete einerseits bewusst darauf, das Verhalten von I/O-, Netz- und Grafik-Subsystemen zu testen. Andererseits wollte das SPEC-Gremium nicht nur CPU und Compiler isoliert unter die Lupe zu nehmen. Vielmehr legte es Wert darauf, das Zusammenwirken der Systemkomponenten CPU, Arbeits- und Cache-Speicher sowie der Compiler als Einheit abzufragen. Bislang werden nur Unix-Systeme getestet. Eine Windows-NT-Version fuer SPEC95 ist aber in Vorbereitung.