Konkurrenz-Rechner mit hausinternen Verfahren getestet:

IBM zaubert bei den Benchmarks

08.09.1989

FRAMINGHAM (IDG) - Von Big Blue in den USA verbreitete Benchmark-Ergebnisse, die IBMs Rechner Spitze aussehen lassen, stoßen auf Kritik: Die Testverfahren seien nicht allgemein anerkannt, die Produkte nicht vergleichbar.

Bei den getesteten Rechnern handelt es sich um IBM-Rechner vom Typ ES/9370, die Modelle 21 und 22 der 4381-Reihe sowie um die AS/ 400-Systeme der Ausbaustufen B21 und B60. Außer der AS/400 sind das Architekturen mit Leistungsmerkmalen, die knapp über dem von Midrange-Rechnern liegen. Eher den unteren Bereich markieren in dieser Klasse die Microvaxen unter FMS/ RMS beziehungsweise ACMS/RMS, die neben dem VAX-Rechner 6220 als Vergleichsmaschinen von Digital getestet wurden.

Außerdem wurde die Performance der Hewlett-Packard-Systeme 3000 der 950er Serie ermittelt. "Wie bei diesem Verfahren kaum anders zu erwarten", kommentiert die IDG-Schwesterpublikation "Computerworld" die Test-Ergebnisse, "haben die IBM-Rechner ihre Konkurrenten abgehängt".

Auch die Auswahl der verglichenen Systemsoftware ist nicht unumstritten. So beanstandet John Logan, Vice-President des Bostoner Marktforschungs-Unternehmens Aberdeen Group, daß es fairer gewesen wäre, die Rechner von Digital unter dem Teleprozessing-Monitor DEC-INtact laufen zu lassen, der am ehesten mit IBMs Transaktionsmonitor CICS zu vergleichen wäre.

Auch Kovak Mitra, Produklinien-Manager bei Hewlett-Packard, wirft Big Blue Textmanipulationen vor. So habe der Einsatz von VSAM den IBM-Systemen einen ungerechtfertigten Leistungsvorsprung von rund 30 Prozent gegenüber den HP-Rechnern verschafft.

Vor allem aber wird der Einsatz des Ramp-C-Benchmarks kritisiert. Zwar hat das Unternehmen kürzlich Details zu proprietären Verfahren bekanntgegeben, der Code ist jedoch nach wie vor unveröffentlicht. Dadurch, so Mitra, wird verhindert, daß Mitbewerber den Benchmark nachvonziehen können. Außerdem kennt niemand den tatsächlichen Wert der Testergebnisse.

Neben dem Ramp-C-Verfahren hat IBM den an Bankanwendungen orientierten Debit-Credit-Benchmark verwendet, der vor allem die reine Transaktionsleistung mißt. Vor einem Jahr hat Digital Equipment mit Hilfe dieses Verfahrens, für seine Produkte gegenüber den IBM-Rechnern ein besseres Preis-Leistungsverhältnis ermittelt.

Seit November ist auch die IBM Mitglied des Transaction Prozessing Performance Councils (TPC), das sich um eine Standardisierung von Benchmarks auf der Basis des Debit-Credit-Verfahrens bemüht.