Neue High-end-Server von Hewlett-Packard und Sequent blieben in kürzlich veröffentlichten OLTP-Benchmark-Ergebnissen des Transaction Performance Council (TPC) weit hinter den Erwartungen zurück. HPs "V2500"-Server hatte in einer Ausbaustufe mit 32 Prozessoren (ê 440 Megahertz) nur 92933 Transaktionen pro Minute (TPM) erreicht, obwohl man mit 150 000 TPM gerechnet hatte. Das Vorläufermodell "V2250" mit halb soviel Prozessoren (ê 240 Megahertz) und Hauptspeicher brachte es bereits auf 52118 TPM. Auch Sequents "Numa Center 2000" bliebt entgegen den Erwartungen unter 100 000 TPM.

"Man darf diese Ergebnisse nicht überbewerten", fordert Andreas Zilch von der Meta Group. "TPMs sind nicht aussagekräftig. Die Anforderungen an die Maschinen sind je nach Anwendung sehr unterschiedlich." Zilch empfiehlt, statt dessen auf Meßwerte aus dem SD-Benchmark von SAP zurückzugreifen.

Auch der englische Nachrichtendienst "Computergram" bezweifelt in einer Testauswertung die Aktualität des TPC-C-Verfahrens. Der Test würde ein Umfeld mit rund 100000 OLTP-Benutzern an einem Server simulieren. Solche Umgebungen seien in der Praxis kaum anzutreffen. Die Systeme müßten heute in der Lage sein, Tausende ERP-Anwender zu verwalten. "Richtiges Benchmarking ist extrem schwierig", bestätigt Zilch. "Am besten wären Tests in realen Umgebungen mit den Anwenderprogrammen, die dort ihren Dienst verrichten müssen.