MÜNCHEN (CW) - Unlängst reklamierte Oracle mit 256 Transaktionen pro Sekunde für sich den "Weltrekord" auf diesem Gebiet. Dabei berief sich das Unternehmen auf einen anerkannten Benchmark-Test.
Doch wie es so ist mit Benchmarks: Kaum veröffentlicht, regt sich Widerspruch. Über die Schwierigkeiten von Benchmarks bei Datenbanksystemen berichtete die COMPUTERWOCHE in Nr. 25 und 29, jeweils Seite 10, sowie Nr. 27 und 28, jeweils Seite 8 (Meinungen). Zu dem Oracle-Rekord äußert sich COMPUTERWORLD-Mitarbeiter Charles Babcock: Er rät, sich nicht auf die "Standard"-Benchmarks zu verlassen.
Der Anspruch auf einen neuen Rekord bei der Transaktionsverarbeitung, den die Oracle Corp. jetzt geltend machte, enthält einen merkwürdigen Widerspruch: Unmittelbar nach dem von Oracle gemeldeten "Leistungs-Weltrekord" von 265 Transaktionen pro Sekunde ließ die Firma verlauten die Resultate seien von der "hochangesehenen und erfahrenen" Codd and Date Consulting Group überprüft und untersucht worden.
Wenn man allerdings den Bericht des Prüfers liest, so sucht man vergeblich nach einem solchen Resultat. Tatsache ist, daß der vollständige Bericht zum jetzigen Zeitpunkt noch nicht verfügbar ist, obwohl die von Codd-and-Date-Mitarbeiter Tom Sawyer signierte kurze zweiseitige Zusammenfassung von Oracle als "Prüfbericht" bezeichnet wurde. Sawyer beendete seine Zusammenfassung mit den Benchmarktests von DEC und Sequent; vielleicht bleiben die Resultate deshalb im Nebel.
Es gibt noch einen weiteren Widerspruch. Oracle meldet, daß diese Ergebnisse mit dem "Industriestandard-Benchmarktest TP1" erzielt wurden. Wie jedoch Omri Serlin, Rich Finkelstein, Frederic Withington und andere unabhängige Experten sagen, ist der TP1 keinesfalls ein Standard, sondern bis heute eher unzureichend definiert. Serlin bemühte sich, mit Hilfe von Herstellern und Kunden, einen solchen Standard aufzustellen, Oracle jedoch weigerte sich, daran teilzunehmen.
Als wäre aber die Verwirrung noch nicht komplett, redete Oracles Präsident Lawrence J. Ellison vom TP1-Benchmark als einem "Debitoren/ Kreditoren-Benchmarktest, der dem von Tandem genau entspreche." Bisher waren wir nun aber der Überzeugung, daß dieser Test - im April 1985 in einem "Datamation"-Artikel definiert und im März 1987 von Tandem anerkannt - der einzige klare Benchmark in der Transaktionsverarbeitung ist. Im Oracle-Leistungsbericht findet sich jedoch kein Hinweis auf die Tatsache, daß im Zuge des Tests Bildschirmmeldungen ausgegeben oder Journaleinträge durchgeführt wurden, wie es in einem Debitoren/ Kreditoren-Test erforderlich wäre. Ist Lawrence J. Ellison etwa zerstreut?
Doch Oracles TP1 enthält noch einen größeren Widerspruch. Alle bisherigen Hersteller, die TP1 benutzten, kamen überein, daß eine Transaktion mit einem simulierten Terminalnetzwerk beginnt, das Transaktionen erzeugt. In Cullinets IDMS/SQL-Test wurden die Transaktionen auf demselben Rechner erzeugt, auf dem auch der Benchmarktest ablief. Sybase vermied diesen Aufwand, indem es die die Transaktion erzeugende Anwendung auf einer getrennten VAX laufen ließ.
Die simulierten Transaktionen wurden dann in den Rechner eingespeist, auf dem der Benchmarktest laufen sollte. Damals kritisierte Oracle Sybase wegen dieses Verfahrens. In seinen Mainframe-Tests jedoch überschritt Oracle die Grenze alles Logischen: Die Transaktionen wurden direkt vom Arbeitsspeicher aus gestartet, ohne überhaupt erst den Versuch zu machen, ein Netzwerk zu simulieren.
"Oracle ist damit bis zum äußersten gegangen. Der Test hat überhaupt nichts mit Online-Bedingungen zu tun," kritisiert Serlin. Der Test, mit dem Oracle Bank-Transaktionen simulierte, bedeutet nämlich, daß alle Bankkunden, alle Schalter und Selbstbedienungsautomaten sowie alle Zweigstellen im Zentralrechner der Bank gespeichert sind.
Es überrascht nicht, daß die Wall-Street-Analytiker mit diesem Test zufrieden waren. "Ich war beeindruckt von der Qualität des Benchmarktests," sagte Scott Smith von DLJ Securities gegenüber der COMPUTERWORLD vor dem Concorde-Flug, der eigens für diese Bekanntmachung organisiert wurde. "Die Benchmarktests waren zahlreich, gründlich und gut dokumentiert," sagte Roxanne Googin, eine Analytikerin bei Needham & Co. in New York.
Sicher, es war ein dickes Dokument, aber wir sollten es nicht nur wiegen, sondern auch lesen.
Und wir sollten vor allem den vollständigen Prüfbericht lesen, falls dieser je erscheinen sollte. Solange der Bericht jedoch noch nicht vorliegt, kann man Oracle-Kunden nur empfehlen, die angeblichen TP1-Benchmarktests zu ignorieren und Oracle mit ihren eigenen Anwendungen zu testen. Jedes reale Ergebnis ist besser, als einer Illusion zu erliegen.