Besonders zwei Vorwuerfe wurden in der Februarausgabe der Zeitung "ix" thematisiert:
-Die Test seien nicht auf konventionellen Workstations oder PCs durchfuehrbar, da sie wenigstens 64 MB Arbeitsspeicher voraussetzen.
-Die OSG habe die Referenzwerte falsch ermittelt. Tatsaechlich sei die Sun Sparcstation 10/40 um 31 beziehungsweise 68 Prozent langsamer.
Beide Vorwuerfe konnte jedoch Reinhold Weicker, SPEC-Vertreter der SNI und Vice-Chairman der OSG, widerlegen. Tatsaechlich seien die beiden Leistungstest Specint95 und Specfp95 nicht oder nicht sinnvoll auf Rechner mit weniger als 64 MB Arbeitsspeicher ausfuehrbar. Die Tests seien absichtlich so gross ausgelegt worden, um zu verhindern, dass sie in den wesentlich schnelleren Cache statt in den Zwischenspeicher geladen werden. Heute seien aber bereits Rechner mit bis zu 4 MB Cache erhaeltlich, und in den naechsten Jahren werde diese Kapazitaet sicher noch steigen.
Die Referenzwerte wurden tatsaechlich nicht exakt bestimmt, doch die absoluten Zahlen haben keinen Einfluss auf die Vergleichbarkeit der Spec95-Messungen, da sie bei der Mittelwertbildung gekuerzt werden. Tatsaechlich haette die OSG einen beliebigen Referenzwert bestimmen koennen, ohne die Aussagekraft der Benchmarks zu beeinflussen. Hinter den Kulissen war auch zu hoeren, dass Sun die Messungen wiederholt und jetzt andere Werte ermittelt hat, da die Compiler inzwischen verbessert wurden.
Ungeloest bleibe aber das Problem mit der Vergleichbarkeit der Compiler: Die Hersteller neigen nach wie vor dazu, solange an der Compilierung der Pruefprogramme zu tuefteln, bis das optimale Ergebnis erreicht sei. Dieses Verfahren ist aber nur bei den Spec95-Tests zulaessig. Der Testlauf fuer die Basis-Werte, Specint-base95 und Specfp-base95 wird hingegen mit vier festgelegten Compileroptionen gestartet, die Zahl der Manipulationsmoeglichkeiten ist also enorm eingeschraenkt. Deshalb empfiehlt die OSG auch zum Vergleich der verschiedenen Messergebnisse nur die Base-Werte zu beruecksichtigen.
Einen besonderen Blick verdienen auch die Ergebnisse, die Intel fuer die Pentium-Pro-Prozessoren ermittelt hat. Intel hat als einziger Hersteller die Erlaubnis der OSG nur die Hauptplatinen der Rechner zu testen und dafuer Compiler zu verwenden, die nur im eigenen Haus verwendet werden. Darueber hinaus hat der Cache des Pentium-Pro-Systems von Intel ("Alder") wie auch von Intergraph ("TDZ 300") eine besonders aufwendige und teure Schnittstelle (Four-way-interleaving), die wahrscheinlich bei den konventionellen Pentium-Pro-Rechnern nicht zum Einsatz kommt. Deren Spec95-Leistung duerfte deshalb etwas niedriger ausfallen als die Ergebnisse, die Intel und Intergraph fuer ihre Maschinen ermittelt haben.
Der Benchmark Spec '95
Beurteilt werden nur Prozessor und Arbeitsspeicher der Maschinen, die Leistung der Graphik- oder Netzkarte sowie der Schnittstellen wird nicht beruecksichtigt. Die 95er Version der Leistungstests besteht wie bisher aus zwei Teilen: Spec Cint95 und Spec Cfp95. Beide Testprogramme laufen unter dem Betriebssystem Unix; Cint95 ist ein Ansi-C-Programm, Cfp95 ist in Fortran-77 programmiert. Der Cint95 besteht aus acht Einzeltests, in denen nur mit ganzen Zahlen gerechnet wird (zum Beispiel die Komprimierung eines JPEG- Bildes). Im Cfp95 laufen zehn Testreihen mit Fliesskomma-Zahlen, darunter die Vorhersage von Temperatur und Luftverschmutzung aus Beobachtungsdaten. Die Laufzeit dieser Tests wird gemessen und mit dem Referenzwert der Spec verglichen. Das Ergebnis lautet dann beispielsweise: Bulls Estrella-Maschine ist 4,09mal schneller als das Referenzgeraet, wenn der Compiler das Testprogramm nur einfach optimiert (Specint-base95). Werden hingegen die Moeglichkeiten des Compilers ausgereizt, dann ist der Rechner 4,51mal schneller als das Referenzgeraet.