DBMS-Anbieter schwindeln bei Tests

17.06.1988

FRAMINGHAM (IDG) - Offensichtlich hängen die Ergebnisse bei Benchmark-Tests für relationale Datenbank-Management-Systeme nicht immer von der Qualität der getesteten Software ab. Auch die Testumgebung spielt eine entscheidende Rolle - und hier haben die DBMS-Anbieter ihre Hände mit im Spiel. So kamen kürzlich bei mehreren Benchmark-Tests zum gleichen Thema völlig unterschiedliche Ergebnisse heraus.

Die getürkten Testverfahren könnten zum Beispiel erklären, warum die Sybase Inc. von 29,3 Transaktionen pro Sekunde (TPS) berichtet, während die Relational Technology Inc. behauptet, die 100-Tps-Grenze gesprengt zu haben. Die Cullinet Software Inc., sonst nicht bekannt dafür, sich zurückzuhalten, will dagegen gerade schlappe 13,4 Transaktionen pro Sekunde gemessen haben.

Mit der Ankündigung, daß die Version 2 von DB2 zwischen 300 und 438 Transaktionen pro Sekunde durchführen kann, stiftete Big Blue weitere Verwirrung. Während die Transaktionen selber einander ähneln, machen es die stark voneinander abweichenden Testumgebungen dem Benutzer schwer, aus den Benchmark-Tests konkrete Schlüsse zu ziehen.