Im Bereich der Server-Benchmarks stößt man immer wieder auf die vom Transaction Processing Performance Council (TPC) veröffentlichten Meßwerte. Diese unabhängige Institution wurde mit dem Ziel gegründet, Leistungstests für die Transaktionsverarbeitung und Datenbanken zu definieren und der Industrie objektive, überprüfbare Resultate zur Verfügung zu stellen. Das TPC hat derzeit mehr als 40 Mitglieder aus der Industrie. Von Amdahl bis Unisys ist alles dabei, was Rang und Namen hat. Deutsche Vertreter sind dabei die Siemens-Nixdorf Informationssysteme AG (SNI) und die Software AG.
Der Begriff Transaktion wird häufig für eine ganze Reihe von Funktionen im Geschäfts- und DV-Sektor verwendet. Im Umfeld der vom TPC entwickelten Benchmark-Tests wird allerdings die klassische betriebswirtschaftliche Definition angewendet. Somit ist unter einer Transaktion ein geschäftsmäßiger Austausch von Gütern, Diensten oder Geldern zu verstehen. Eine typische Transaktion, wie sie vom TPC definiert ist, beinhaltet die laufende Aktualisierung einer Datenbank durch Vorgänge wie Bestandskontrolle (bei Waren), Platzreservierungen (bei Diensten) oder Buchungen einer Bank (bei Geldern).
Der bekannteste und am häufigsten genutzte Test des TPC ist der "Benchmark C", der sogenannte Order-Entry Benchmark, kurz TPC-C. Das wichtigste Merkmal dieses Tests ist die Unabhängigkeit von der verwendeten Hardware und vom benutzten Betriebssystem. Damit soll sichergestellt werden, daß der Benchmark auf jedem erdenklichen System läuft und damit objektive Vergleichswerte zu jeder anderen Lösung liefert.
Der TPC-C hat schon vor längerer Zeit den ersten OLTP-Benchmark des TPC, den TPC-A, abgelöst, der den Hard- und Softwareherstellern zu viele Möglichkeiten geboten hatte, die Meßergebnisse durch ein entsprechendes Tuning der Hard- und Software zu manipulieren. Ein weiterer aktueller Test des TPC ist der Benchmark D, der speziell auf die Systemanforderungen für Data-Warehousing, Data-Mining und Decision-Support zugeschnitten ist.
Der TPC-C ist ein dedizierter OLTP-Benchmark und besteht im wesentlichen aus den grundlegenden Aktionen eines Auftragswesens. Dazu gehören die Eingabe und Auslieferung von Bestellungen, das Erfassen von Zahlungseingängen, die Statusüberprüfung von Aufträgen sowie die Kontrolle des Warenbestands im Lager.
Im Geschäftsmodell des TPC-C arbeitet ein abstraktes Versandunternehmen mit mehreren Filialen, die wiederum in Abteilungen untergliedert sind. Dabei erlaubt der Test - wie auch bei einer realen Firma oft erforderlich - eine Skalierung, das heißt die Erweiterung des Unternehmens um neue Filialen.
Dafür gelten im Modell bestimmte Grundvoraussetzungen: Jede Filiale muß zehn Abteilungen aufweisen, von denen jede 3000 Kunden versorgt. Ein Mitarbeiter der Abteilung kann zu jedem Zeitpunkt eine der fünf Transaktionen durchführen, die das Auftragswesen anbietet. Die Häufigkeit der individuellen Transaktionen basiert dabei, wie auch die Transaktionen selbst, auf realistischen Szenarien.
Die am häufigsten durchgeführte Transaktion ist das Bearbeiten einer Bestellung, die im Durchschnitt aus zehn verschiedenen Artikeln besteht. Jede Firmenfiliale verfügt über eine eigene Lagerhaltung und versucht, die 100000 lieferbaren Artikel vorzuhalten und die eingehenden Bestellungen aus ihrem eigenen Bestand zu bedienen. Das Modell des TPC-C geht davon aus, daß rund zehn Prozent der bestellten Waren von einer externen Filiale geliefert werden müssen.
Der erreichte Durchsatz wird von den Terminalaktivitäten gesteuert. Jede Filiale des Modells arbeitet mit zehn Terminals, an denen sich alle fünf Transaktionen eingeben lassen. Im 180 Tage dauernden Testlauf erzeugt ein Remote Terminal Emulator (RTE), einen realistischen Transaktionsmix. Er besteht aus einer identischen Anzahl von Bestellungen und Zahlungen. Die drei weniger häufigen Transaktionen Auslieferung, Bestellstatus-Check und Lagerbestandskontrolle werden je einmal pro zehn Bestellungen ausgeführt.
Wichtigstes Resultat des TPC-C ist der erreichte Durchsatz, der in Transactions per minute (tpm-C) angegeben wird. Zu welchem Preis die entsprechende Leistung erkauft wird, verraten das Preis- Leistungs-Verhältnis, gemessen in Dollar pro tpm-C, und der Gesamtpreis des Systems.
Gerade durch gute Testergebnisse bei den letztgenannten Werten haben seit kurzem Wintel-Server auf sich aufmerksam gemacht (Wintel bezeichnet Produktkombinationen aus Windows-Software und Intel-Hardware). Compaq konnte mit dem Proliant-5000-Server, der mit vier Pentium-Pro-CPUs mit einer Taktrate von 166 Megahertz arbeitet, einen tpm-C-Wert von 5676 bei einem Preis von 136 Dollar pro tpm-C erzielen.
Damit erreicht der Wintel-Rechner erstaunlich gute Resultate. Eine Nachfrage der COMPUTERWOCHE bei der Konkurrenz, die andere Prozessoren und meist Unix-basierende Betriebssysteme einsetzt, ergab einen eindeutigen Trend: Zwar werden die Leistungen des Pentium-Pro-Rechners durchweg als gut beurteilt, allerdings sehen alle Befragten die obere Grenze für den Einsatz von Intel-Servern unter NT im Midrange-Bereich - denn High-end-Anwendungen erforderten eine Skalierbarkeit, wie sie sich von Wintel-Rechnern mit ihrer derzeitigen Beschränkung auf vier CPUs nicht erreichen ließe.
Ulrich Richartz, AIX-Produkt-Manager bei Bull, sieht die Power-PC- basierenden Escala-Server momentan nicht in Gefahr: "Bei uns ist die Entscheidung für den Power-PC gesetzt. Wie werden noch im Laufe dieses Jahres höher getaktete Chips einsetzen und damit deutlich bessere TPC-C-Werte erzielen.
Da Wintel-Maschinen aber auch für uns ein Thema sind, werden wir künftig zweigleisig fahren. Den Kunden, die Rechner unter NT einsetzen wollen, können wir über unsere Tochter Zenith entsprechende Hardware anbieten."
Sun bleibt traditionell den eigenen Supersparc-CPUs und dem Unix- Derivat Solaris verpflichtet. Michael Schroeder, Produkt-Manager für die Ultra-Enterprise-Server, sieht diese in einem ganz anderen Marktsegment als den Compaq-Rechner: "Der Proliant ist mit seinen vier CPUs am Anschlag. Solche Maschinen haben sicher im Low-end- Bereich ihre Berechtigung und werden dort auch weiterhin eingesetzt werden. Sun hingegen fängt bei vier bis sechs CPUs an und geht hoch bis zu 30 CPUs. Das ist ein Bereich, den die Wintel- Allianz zumindest in den nächsten zwei bis drei Jahren nicht erreichen wird."
Außerdem ist der TPC-C-Benchmark für Schroeder schon fast wieder überholt, weil er "zu klein ist und echte Anwendungen eigentlich nicht mehr repräsentiert". Schroeder weist auf die guten Resultate der Sun-Server beim TPC-D sowie auf die Tatsache hin, daß sich bis heute noch kein Intel-basierter Rechner dem aufwendigeren Data- Warehousing-Test unterzogen hat.
Bei Digital Equipment schätzt man die Lage ähnlich ein. DEC hält momentan mit einem Cluster aus vier Alpha-Servern den absoluten Rekord beim tpm-C. Klaus Kometer, Produkt-Marketing-Manager für die Alpha-Server, bestätigt zwar, daß besonders das Preis- Leistungs-Verhältnis des Compaq-Rechners sehr gut sei. Allerdings kritisiert er die von Compaq gewählte Testkonfiguration: "Offenbar konfiguriert man im RISC-Umfeld etwas anwendungsnäher."
Für die Zukunft erwartet Kometer, daß die Firma DEC ihren Vorsprung mit den Alpha-Rechnern deutlich vergrößern kann. Er begründet dies vor allem damit, daß beim Pentium Pro bis Ende 1997 kaum eine Leistungssteigerung zu erwarten sei, es stehe nur die 200-Megahertz-Variante aus. Anders bei DEC: "Wir erwarten noch in diesem Jahr den Alpha-Chip, der mit 525 Megahertz getaktet ist, und wir bringen im kommenden Jahr eine neue Alpha-Generation, die EV 6, heraus. Damit werden wir bei heutigen Taktfrequenzen, so um die 400 herum, mehr als doppelt so schnell sein als die heutigen schnellsten Alphas."
Nachfolger TPC-E kommt bald
Den TPC-C hält Kometer im Gegensatz zu Schroeder für "den sicher besten Benchmark im OLTP-Bereich, den es gibt". Allerdings weist er ausdrücklich darauf hin, daß Benchmarks bei der Entscheidung für ein System immer nur einen groben Anhaltspunkt bieten können.
Bereits kurz vor der Verabschiedung steht der nächste Test des TPC: Mit dem TPC-E soll es noch besser möglich sein, Systeme auf die Anforderungen einer komplexen Unternehmens-DV hin zu prüfen. Er wird Elemente aus den beiden aktuellen Suites C und D kombinieren und weitere hinzufügen. Damit soll sich messen lassen, ob ein System
-bei genau spezifizierten Response-Zeiten eine große Zahl von Online-Benutzern verkraften kann
-neben dem normalen Betrieb umfangreiche Batch-Läufe erlaubt, ohne die Online-Arbeiten erheblich einzuschränken
-eine große und gleichzeitig komplexe Datenbank unterstützt, auf die sowohl hochfrequent als auch mit hohem Durchsatz zugegriffen wird und
-einen Absturz ohne signifikante Datenverluste übersteht und schnell wieder verfügbar ist.
Weitere Bestandteile des neuen Benchmarks werden die Einbindung von Sortierfunktionen, Datenbank-Updates größeren Ausmaßes, die Kontrolle von Zugriffsrechten sowie die Fähigkeit gleichzeitiger Datensicherung sein. Dazu kommen eine Reihe sekundärer Leistungsdaten - CPU-Auslastung, E/A-Raten etc. - sowie der Versuch einer Ermittlung der Kosten für Hard- und Software über eine Dauer von fünf Jahren.
Angeklickt
Für im OLTP-Bereich eingesetzte Server ist die Benchmark-Suite "TPC-C" des unabhängigen Transaction Processing Performance Council (TPC) ein guter Anhaltspunkt zur Bewertung eines Systems. Die Experten sind sich einig darüber, daß in der näheren Zukunft Server mit Intel-CPUs unter Windows NT nicht in den High-end- Bereich vorstoßen können. Grund dafür ist vor allem die mangelnde Skalierbarkeit des Microsoft-Betriebssystems und der Intel- Architektur.