MUENCHEN (CW) - R/3-Benchmarks, so behaupten Kritiker, sagen weder etwas ueber das Verhalten von getesteten Rechnerkonfigurationen bei Alltagsanforderungen aus, noch gibt es verbindliche Spezifikationen und Testparameter, die veroeffentlicht und nachvollziehbar sind. Die SAP AG, Walldorf, sei zudem nicht daran interessiert, ein unabhaengiges Testgremium zu installieren, das ein ueberpruefbares Prozedere entwickelt.

Ins Gerede gekommen sind die R/3-Benchmarks durch einen Report, den die Beratungsfirma Illuminata Inc. aus Nashua, New Hampshire, veroeffentlicht hat. In der Studie ueben die Analysten harsche Kritik an SAP-Benchmarks: Im Gegensatz zu Test-Suites von Nonprofit-Organisationen, die dem Anwender zumindest in etwa ueber das Verhalten von Gesamtsystemen Aufschluss gaeben, fuehrten die SAP- Benchmarks lediglich in die Irre.

Kritikpunkte der Analysten: Die Anbieter der bisher fuer die R/3- Plattform zertifizierten Hardware stellten fuer ihre Testlaeufe extrem anspruchsvolle, zum Teil unuebliche Konfigurationen zusammen. Deren Ergebnisse seien nicht geeignet, Rueckschluesse auf das Systemverhalten weniger aufwendiger DV-Installationen zu ziehen.

Weiter kritisieren die Analysten, die SAP-Benchmarks seien nicht repraesentativ fuer im Einsatz befindliche R/3-Installationen. Die Testlaeufe griffen sich selektiv einzelne R/3-Module wie Finance (FI), insbesondere aber Sales and Distribution (SD) heraus. So koennten sie das komplexe Zusammenwirken der gesamten SAP- Applikations-Suite nicht widerspiegeln.

Darueber hinaus muessten Anwender in real existierenden DV-Umgebungen sehr haeufig "Brueckensoftware" zu bereits vorhandenen Anwendungen schreiben. Das Zusammenwirken der R/3-Software mit diesen Anwendungen aber forme erst die Gesamtleistung eines DV-Systems.

Auch lassen sich laut der Studie die R/3-Ergebnisse keinesfalls auf Applikationen anderer Anbieter uebertragen. Extrapolationen des Systemverhaltens mit anderen Anwendungen seien deshalb "gefaehrlich". Die Hauptkritik des Reports zielt aber darauf ab, dass die SAP sich im Gegensatz zu Industriekonsortien wie dem TPC oder Spec nicht fuer ein unabhaengiges Testgremium einsetze.

Vertreter von Sun, HP und SAP erklaerten gegenueber der CW, die Tests seien sehr wohl in gewissem Masse normiert. So wuerden die jeweils unterschiedlichen Transaktions-Scripts etwa fuer SD- oder FI-Benchmarks vom Walldorfer Softwarehaus genau vorgeschrieben.

Allerdings raeumte ein SAP-Mitarbeiter ein, dass es fuer die Hardwarehersteller natuerlich eine Menge Optionen gebe, ihre Systeme auf die Benchmarks zu tunen. Ein Sun-Mitarbeiter sagte dazu, man veroeffentliche immer ganz genau alle wesentlichen Testparameter.