Benchmarks entschieden Duell IBM gegen Tandem:

Datenbank für 30 Millionen Kraftfahrzeuge

22.09.1989

Das Department of Motor Vehicles (DMV) des US-Bundesstaates Kalifornien begann 1986 ein mehrjähriges Projekt zur Übernahme der Verkehrsdaten von einer überalteten Sperry-Univac-Applikation auf ein neues, noch unbestimmtes System, basierend auf einer relationalen Datenbank. Bis dahin wurden die Datenbestände durch ein externes Rechenzentrum gewartet und betreut. Jedes Jahr erneuert das DMV mehr als 12 Millionen Führerscheine und wartet die Daten von 30 Millionen Fahrzeugen. Auf der Suche nach einem neuen Datenbanksystem evaluierte das DMV neben ADABAS (Software AG), DB2 (IBM), DBC/1012 (Teradata) auch NonStop SQL von Tandem.

Kojak und Company werden in Zukunft keinen Telefonapparat eines Büropolizisten brauchen, um nach stundenlanger Wartezeit endlich den Halter eines in Kalifornien zugelassenen Automobils zu ermitteln: Das Straßenverkehrsamt des Sun- und Fun-Staates Kalifornien ist in Kürze online erreichbar, direkt über die Tastatur eines zugriffsberechtigten Terminals. Der Hintergrund der Datenbank-Evaluation ist im schnellen kalifornischen Wachstum weltweit steht Kaliforniens Wirtschaftsboom an siebter Stelle - und im unerschütterlichen Glauben an das Auto als Zeichen persönlicher Freiheit zu sehen.

Das DMV, hierzulande dem berühmt-berüchtigten Flensburger Register gleichzusetzen, unterstützt mit seinen Daten nicht nur polizeiliche Institutionen, sondern auch Gerichte, Autofahrerverbände, Versicherungen und andere interessierte Stellen öffentlicher und privater Hand.

Die Hauptanforderungen des DMV an eine neue Datenbanklösung waren schnell formuliert: Das neue System sollte vollständig auf Online Transaction Processing (OLTP) fußen und einen steten Zugriff gewährleisten. Die nötigen Vorarbeiten wurden bereits vor der letzten Evaluation vorgenommen: Sämtliche Daten konnten Eins zu Eins vom Sperry-Univac-Rechner auf IBM-Assembler-Programme und VSAM-Master-Files übertragen werden. Ein weiterer Schritt wird die Konvertierung dieser Datenbestände in Datenbanktabellen sein.

Das DMV hat diese Übertragungsarbeiten in eigener Regie ausgeführt und treibt nun die Ablösung des alten Systems zügig voran. Dieser Bericht versucht einen Blick hinter die Kulisse eines Evaluationsverfahrens zu werfen, wobei es immerhin um die größte, je realisierte Verkehrsteilnehmer-Datenbank geht.

Die konsequent harten Vorbedingungen des DMV bedeuteten für die Systemhäuser, die im Rahmen der Evaluation eingeladen waren, daß verschiedene Faktoren erst garantiert werden mußten, bevor ein Angebot ausgearbeitet werden konnte. So verlangte das DMV den Nachweis einer Durchführbarkeit, also einen Testlauf mit gegebenen Daten, eine Verfügbarkeit des Systems rund um die Uhr, auch an Feiertagen sowie eine leichtverständliche Bedienbarkeit des Systems auch für außenstehende Stationen, etwa einen Streifenpolizisten auf einem Highway.

Und auch die weiteren Anforderungen waren nicht von schlechten Eltern: Das System sollte offen nach allen Seiten sein, "Connectivity" verlangte das DMV schon in einem ersten Pflichtenheft, die Performance mußte gewährleistet werden, darüber wurden später Testläufe abverlangt. Natürlich wurde eine Kosten-Leistungs-Rechnung erwartet, der Ausbau des Systems für die Zukunft sollte sichergestellt sein und schließlich galt es, dem Straßenverkehrsamt einen geordneten Lebenslauf der offerierenden Firma vorzulegen, eine Art Leumundsbericht mit Referenzen. Schon die Vorevaluation trennte Spreu vom Weizen, obwohl das DMV erst schriftliche Antworten und Lösungsperspektiven aufgezeigt

haben wollte.

Als alle Unterlagen eingegangen waren, verlautete aus dem DMV: "Nachdem wir alle Antworten der Hersteller sorgfältig geprüft haben, entschieden wir uns für die beiden Produkte, die den besten Eindruck und die beste Reputation mit ins Rennen brachten. Es sind dies DB2 von IBM Corporation und NonStop SQL von Tandem Computers. Diese beiden Systemlösungen werden nun einer operationellen Bewertung unterzogen."

Das Department of Motor Vehicles setzte dann auch gleich die Meßlatte für die beiden im Rennen verbliebenen Produkte. "Die Phase der operationellen Bewertung wird nach umfassenden Richtlinien an den Produkten selbst durchgeführt, wobei jedes System mit echten DMV-Daten getestet und in echter Parallelverarbeitung durchgecheckt wird." Das

kostete natürlich viel Geld. Die auf sechs Monate ausgelegte Testphase für die beiden "Finalisten" im Rennen um den DMV-Auftrag verschlang über eine Million Dollar.

Das kalifornische Straßenverkehrsamt rechnete intern mit einem Testaufwand von neun Personenjahren, TDC (Teale Data Center) als Anlysespezialisten mit einem weiteren Personenjahr. Auswärtige Berater der Codd und Date Consulting Group sowie von Andersen Consulting wurden mit 400 000 Dollar budgetiert und selbst die Reisekosten waren mit

26 000 Dollar im Konzept vorgesehen worden. Und so werden die Aufgaben verteilt:

- Das DMV trifft sämtliche Entscheidungen im Hinblick auf die Anforderungen und die Kriterien der in Frage kommenden Lieferanten und Produkte.

- TDC-Mitarbeiter, als externe Spezialisten, unterstützen das freigestellte DMV-Team bei der Beurteilung der Verfügbarkeit, Betriebsbereitschaft und Erfüllung der Testziele durch die evaluierten Systeme.

- Die Codd-and-Date-Leute garantieren, daß die angewendeten Spezifikationen nicht herstellerspezifisch, sondern allgemein gültig sind. Sie prüfen die Testresultate und garantieren gleiche Bedingungen für beide Hersteller.

- Schließlich sollen die Andersen-Mitarbeiter das Projektmanagement von der Datenübernahme bis zum fertiggestellten DBMS leiten und für eine detaillierte Dokumentation verantwortlich sein.

Als all diese Vorbereitungen, Vorentscheidungen und Auswahlkriterien festgelegt waren, gingen die DMV-Mitarbeiter an den Katalog der Auswahlkriterien und deren Gewichtung innerhalb des ganzen Auswahlverfahrens. So wurde festgehalten, daß den technischen Aspekten, wie Performance, "Rund-um-die-Uhr-Verfügbarkeit", Benutzerfreundlichkeit, Personalschulung, Ausbaufähigkeit des Systems, Entwicklungsfähigkeit der Applikation, der Infrastruktur der Software und der Offenheit gegenüber anderen Systemen eine prozentuale Gewichtung von 55 von 100 Punkten zukommen solle. Weitere zehn Punkte sollten für die geschäftlichen Aspekte vergeben werden, also für den guten Ruf des Herstellers, sein Krisenmanagement und für mögliche anbietbare Hardware-Alternativen. Der Kostenfaktor, sowohl hardware- als auch softwareseitig, wurde mit 35 Prozent in die Evaluation eingerechnet.

Allein schon die Datenmengen des DMV sind beeindruckend: Auf 12 Tabellen verteilt müssen Datenströme mit 80 Millionen Einträgen und mehr bearbeitet werden können. Das DMV stellte die Bedingung, die später in den technischen Tests immer wieder zum Tragen kam, daß (DMV-spezifische Transaktionen pro Sekunde durchgeführt werden können, wobei 95 Prozent davon in 1,5 Sekunden oder weniger abgeschlossen werden. Das System sollte sieben Tage in der Woche und 24 Stunden pro Tag verfügbar sein - Zugriffsmöglichkeiten also rund um die Uhr. Der Punkteschlüssel des DMV war darauf ausgelegt, schon in den Testläufen der beiden verbliebenen Konkurrenten die Ausbaufähigkeit und die permanente Belastung der Systeme zu prüfen.

Generalstabsmäßig ließen nun die beiden im Rennen verbliebenen Herstellerfirmen ihre besten Geschütze auffahren, die Wahl der Waffen konnte ja bereits den Sieg in der Schlacht um einen der größten, je realisierten Datenbankaufträge bedeuten. IBM setzte das System 3090-400S als Hardware ein, brachte dazu das Betriebssystem MVS/ESA, als TP-Monitor das bewährte CICS und schließlich DB2 als ausfahrende Software ins Release V2.R 1.

Dem setzte Tandem auf der Hardwareflanke das VLX-NonStop-System entgegen, ließ Guardian 90XL auf der Betriebssystemebene antreten und wählte Pathway als TP-Monitor. Gegen IBMs DB2 wurde das Datenbanksystem NonStop SQL, Release 1, ins Feld geführt. Damit waren die Fronten abgesteckt, die beiden Hersteller wußten natürlich über Stärken und Schwächen des anderen Mitbewerbers bestens Bescheid. Ein unabhängiger Marktbeobachter meinte zur Ausgangslage: "Aufgrund der installierten Systeme hat IBM mit DB2 einen kleinen Vorsprung, den Tandem aber mit dem fehlertoleranten VLX ausgleichen kann. Auf dem Papier scheint der Kampf unentschieden."

Benchmarks entscheiden Zweikampf

Nach obenstehender Gewichtung, die den technischen Vergleichen zwischen beiden Herstellerangeboten den absoluten Vorrang gewährte, würde eine rein technische Überlegenheit eines Angebots bereits zu einer Kaufentscheidung durch das DMV führen. Spezialisten des TDC erarbeiteten dann auch harte Testbedingungen und allerlei praxisnahe Exerzitien für die Hard- und Software beider Anbieter. Die Benchmarks für die Performance des Systems verlangten unter anderem 30 komplex strukturierte Transaktionen pro Sekunde, mit einer Laufzeit von maximal 1,5 Sekunden für mindestens 95 Prozent aller Transaktionen. In einer anderen Aufgabe mußten die Systeme ebenfalls die genannte Voraussetzung erfüllen, gleichzeitig aber in einem schwierig aufgebauten Abfrageprozeß 2000 von 50 Millionen Fahrzeugen aussortieren, die ein bestimmtes Merkmal aufwiesen. Diese Auswertung hatte innerhalb einer Stunde vorzuliegen, verlangten die Tester unerbittlich.

Insgesamt wurden für die Performance sieben derartige Vergleichstests gefahren. Ein DMV-Sprecher nannte die Zwischenresultate: "Von sieben überwachten und tatsächlichen Fallstudien entsprechenden Performancetests, die durch unsere Behörde mit 'bestanden' oder mit 'nicht bestanden' bewertet worden sind, bestand Tandem sechs Tests, während IBM nur zwei bestand." Und er ergänzte in einer Zusammenfassung: "Abschließend muß gesagt werden, daß IBM unfähig war, die Performance zu demonstrieren, die wir im DMV als nötig erachten. Zusammenfassend zeigte das Tandem-System bessere Performance-Charakteristiken für die von uns gewünschten Datenbank-Kriterien, Batch-Programme und Online-Transaktionen als das von IBM installierte System." Doch damit war erst eine Schlacht gewonnen, die Tests des Straßenverkehrsamtes samt seiner externen Helfer hatte ja erst begonnen.

Eine zweite Vergleichstest-Phase widmete sich ganz der Verfügbarkeit der Systeme. Dabei ging es um die Reorganisationszeiten des Systems, um die Struktur der Datenbank, die Belegung der Speicherkapazitäten, den Compileraufwand für die SQL-Datenbank und schließlich um einen simplen Vergleich zwischen Hardware und Software.

Eine ganze Datenstruktur mußte neu erstellt werden

Fies, wie Tester nun mal von Berufs wegen sind, mußten die beiden Kontrahenten zuerst einmal verlorengegangene Indizierungen aufspüren, wieder richtig zuordnen und so eine ganze Datenstruktur neu erstellen. Diese Wiedergewinnung dauerte mit dem IBM-System 16 Stunden und 17 Minuten, Tandem schaffte die gleiche Aufgabe in 51 Minuten und 22 Sekunden. Das unerwartete Resultat veranlaßte das DMV zu folgender Aussage: "Weil DB2 keine Index-Updates registriert, wird eine komplette Datei aller Fahrzeuge vorausgesetzt, die sequentiell gelesen werden kann." Der gleiche Test, als Basis für die Bedienerfreundlichkeit herangezogen, ergab den DMV-Kommentar: "Einer der wichtigsten Vorteile von NonStop SQL gegenüber DB2 ist die Möglichkeit, einen Index zu rekonstruieren, als wäre er eine ganz normale Tabelle einer Datenbank."

Weitere Pluspunkte für Tandem resultierten aus Zeitgewinnen gegenüber IBM bei einem Recovery der Datenbank: Hier benötigte Tandem 5 Stunden und 17 Minuten gegenüber 13 Stunden 45 Minuten beim IBM-System. Die Testresultate zur Reorganisation einer Tabelle aber verschlugen wohl selbst eingefleischten IBM-Fans die Sprache: Während IBM 59 Stunden und ein paar Minuten für eine vollständige Reorganisation benötigte, schaffte Tandem diese Arbeit in 15 Stunden und 48 Minuten, also fast viermal so schnell.

Externe Spezialisten garantieren Neutralität

Hardware und Software wurden ebenfalls auf Verfügbarkeit getestet, und auch hier waren die Aufgabenstellung und die Überwachung der Ausführung streng neutral durch externe Spezialisten erfolgt. Sechs verschiedene Testläufe waren angesetzt, aus allen ging die Tandem-Variante als Sieger hervor. Der DMV-Kommentar zu den Resultaten über die Verfügbarkeit der Systeme: "Wir waren intern sehr überrascht über die große Stabilität von NonStop SQL gegenüber DB2. Die Testresultate zeigen klar auf, daß DB2 unsere Ansprüche in bezug auf Verfügbarkeit noch nicht befriedigen kann." Im Hinblick auf die benötigte Bedienerfreundlichkeit meint das DMV im gleichen Schriftstück: "Mit unserer großen Datenbank war NonStop SQL leichter zu handhaben und zu bedienen als DB2." Was, um nochmals auf Kojak und Co. zu kommen, auch den Serienpolizisten bald zugute kommen wird. Vorausgesetzt natürlich, daß die Autoren dieser Serien sich auch vor Ort informieren.

Die Kostenfrage spielt eine wichtige Rolle

Die externen Berater der Straßenverkehrsbehörde prüften natürlich auch die Verträglichkeit der beiden Konkurrenten zu anderen Produkten. Im DMV-Bericht steht: "Bezüglich der Applikationsentwicklung geht IBM als Sieger hervor. IBM hat eine große Anzahl von Drittlieferant-Werkzeugen zur Verfügung, die das Spektrum von DB2 wesentlich erweitern." Im gleichen Abschnitt wird Tandem aber attestiert, daß bereits mehrere gute CASE-Tools zur Verfügung stünden und weitere in der Entwicklung steckten.

Die Softwarestrukturtests brachten Tandem wieder Vorteile. Hier schreibt das Straßenverkehrsamt: "Tandem schnitt in dieser Testkategorie besser ab, weil das Betriebssystem Guardian 90 einen unterbrechungsfreien Betrieb auch während Pflege oder Reparaturen der Datenbank garantiert." In bezug auf die Benutzerschulung erhielt wiederum IBM DMV-Lob, vor allem, da "die DMV-Mitarbeiter bereits an IBM-Terminals eingeschult worden sind" und sich in der vertrauten IBM-Welt auskennen. Beiden Herstellern attestiert der DMV-Bericht aber auch ein richtiges Vorgehen während der Ausbildung der Mitarbeiter und eine nutzbringende Gestaltung der Schulung. Sie sei bei beiden Offertstellern

"so, wie sie das DMV braucht."

Der Aspekt eines weiteren Ausbaus des Datenbanksystems wurde ebenfalls untersucht, hier schreibt, das DMV kurz und bündig: "Tandem wurde in allen Beziehungen ein besserer Support für zukünftige Aufgabenstellungen zugetraut." Insgesamt gesehen schnitt Tandem bei den technischen Tests deutlich besser als IBM ab, allerdings konnte Tandem nicht alle der 55 zu vergehenden Prozentpunkte erzielen, so daß im Kampf um das größte Verkehrsdatenbank-Projekt der Welt, auch noch die Bewertungen des Herstellerprofils, seines Krisenmanagements und die möglichen Hardware-Alternativen ausschlaggebend sein konnten. Und schließlich war da noch die Kostenfrage, vom DMV mit 35 Punkten von 100 berücksichtigt.

Beide Firmen haben einen guten Ruf

Dieses Vergleichskriterium kommentiert das DMV mit wenigen zitierbaren Sätzen, Sowohl Tandem als auch IBM wird bescheinigt, daß die Firmen gut beleumundet sind und ihr Profil als Hersteller fest verankert, sei. Die IBM-Umgebung sei für das DMV reizvoller wegen der erhältlichen Fremdsoftware und einer breiteren Basis installierter Systeme. Dafür biete Tandem aber mehr Anwender, die mit ähnlich gelagerten Datenbankproblemen wie das DMV zu hantieren hätten. Und schließlich als Fazit: "Tandem zeigt einen einfacheren, besseren Weg der Migration ohne komplizierte Softwareanpassungen über verschiedene Prozessorfamilien hinweg."

Leicht höher wurde Tandem auch beim Krisenmanagement bewertet. Hier gab die geografische Unabhängigkeit der fehlertoleranten Systeme (Hardware und Software) den Ausschlag. Abgeschlossen wurde dieser Zehn-Punkte-Turnus mit der Feststellung, daß es zu IBM mehr Alternativen gebe, als zu Tandem: Die steckerkompatiblen Konkurrenten wurden ungewollt zu Punktesammlern für IBM.

Keine Zahlen waren zu den Preisen zu erfahren, die von beiden Konkurrenten in den Angeboten genannt werden mußten, hier wird lediglich von einem Unterschied im Preis-/ Leistungsverhältnis gesprochen.

Tandem als Testgewinner

In einem Schluß-Statement hält das DMV fest, daß IBM in 27 direkten Vergleichen zu Tandem viermal gesiegt habe, während Tandem 23 Mal Testgewinner wurde. "IBM war nicht in der Lage, zu unserer Befriedigung aufzuzeigen, daß ihr DB2-Produkt die Performance und Verfügbarkeit erbringt, die wir uns wünschen. Tandem zeigte einen höheren Grad an Performance, Verfügbarkeit und Bedienerfreundlichkeit." Und wie das DMV schließlich schreibt, hat Tandem wesentliche Punkte auch im Kosten-Leistungsbereich gebucht: "Tandem zeigte erfolgreich, daß ihre Hardware und ihre Datenbank-Architektur die Aufgabenstellung des DMV in technischer und administrativer Art zu niedrigeren Kosten meistert."