computerwoche.de

Web

Web-Benchmarking nach TPC-W lässt manches unklar

01.03.2001
Die Leistungsstärke von Konfigurationen für E-Business-Sites soll der junge Benchmark-Test TPC-W ermitteln. Bisherige Tests kamen zu überraschenden Ergebnissen und lassen Fragen offen.

MÜNCHEN (COMPUTERWOCHE) - Seit Sommer letzten Jahres gibt es den Benchmark-Test TPC-W für dedizierte E-Business-Umgebungen. Der vom Transaction Processing Performance Council (TPC) im Juli 2000 herausgegebene Test misst die Zahl der Transaktionen eines Online-Systems, das für Aktienhandel, Verkauf von Flugtickets oder als virtueller Gemischtwarenladen ausgelegt sein könnte. Dazu simuliert es Zugriffe von Surfern, die sich einer Suchmaschine bedienen, ihre Einkäufe in Einkaufswagen deponieren oder Auskünfte über den Lieferstatus ihrer Order haben wollen.

In manchen Details nutzt der TPC-W-Test Prozederes aus anderen Benchmarking-Verfahren, beispielsweise die Acid-Prüfung für die Integrität der Transaktionen aus dem TPC-C-Benchmark für Online-Transaction-Processing (OLTP). Ebenso gibt es Anleihen aus dem Data-Warehouse-Benchmark TPC-D: Der TPC-W testet auf Grundlage eines Online-Katalogs von 1000 bis zehn Millionen Angeboten einer Site.

Der TPC-W-Test gibt letztlich mehrere Auskünfte. Da ist zunächst einmal eine Leistungsangabe in Web-Interaktionen pro Sekunde (WIPS). Ferner lässt sich nicht nur der Preis der jeweiligen Systemkonfiguration erkennen, sondern auch ein Preis pro WIPS. Während WIPS die Leistung für Shopping-Systeme nennt, gibt es darüber hinaus Spezialkennwerte für Browsing (WIPSb) und Web-basiertes Bestellen (WIPSo).

WIPS könnten ein bedeutendes Marketing-Argument werden. Doch es ist Vorsicht angebracht, denn schon die Konfigurationen sind in ihrem Umfang kaum vergleichbar. So ist die Frage, ob die laufenden Kosten für Softwarelizenzen und -wartungsarbeiten mitgezählt wurden. Der britische Nachrichtendienst "Computergram" berichtet über die Ergebnisse von bisher drei getesteten Umgebungen, die teilweise verwundern müssen und ohne genauere Details bis auf weiteres als rätselhaft gelten müssen.

So hat kürzlich IBM ein großes Cluster unter einer Last von 100.000 Online-Angeboten für 50.000 gleichzeitige Browser getestet. Es bestand aus 18 "Netfinity"-Servern "4500R" mit jeweils zwei Pentium-III/933-CPUs und zwei ebenfalls dual ausgelegten Rechnern der Baureihe "Netfinity 6000R" (Pentium III/700 Xeon). Auf diesen Applikations- und -Web-Servern lief Windows 2000 Server sowie - ebenfalls in den folgenden Testsystemen - der "Internet Information Server 5.0" von Microsoft. Angeschlossen war eine zentrale IBM-Datenbank DB2, Version 7.1, auf einem Zwölf-Wege-System "Numa-Q E410" (Pentium III/700 Xeon) mit 15 GB RAM und dem Betriebssystem "Dynix/ptx", Version 4.5.1.

Was kostet eine WIPS?

Dieses Cluster kam auf eine Leistung von 6272 WIPS. Die Konfiguration kostet 1,2 Millionen Dollar, wobei hier allerdings der Preis für die (eigentlich nicht mitzurechnende) Unterhaltung von Hard- und Software über drei Jahre eingeschlossen war. Das ergibt nach TPC-Rechnungsart einen Durchschnittspreis von fast 196 Dollar pro WIPS.

Auffällig dabei ist, dass den dicksten Einzelposten auf der Kostenseite immer der Datenbank-Server darstellt. In der großen IBM-Konfiguration fraß er allein rund ein Drittel der Kosten. Und so viel sei schon vorgegriffen: Bei den im Folgenden aufgeführten Tests einer kleineren IBM-Konfiguration und einer etwa vergleichbaren Unisys-Zusammenstellung waren es gar 55 beziehungsweise 45 Prozent der Gesamtkosten.

Die kleinere IBM-Komposition, getestet im letzten Sommer, verband sechs "Netfinity 5600", davon fünf mit zwei Pentium-III/800-CPUs als Applikations- und Web-Server auf Microsoft-Basis plus einem zusätzlichen Rechner gleichen Typs mit Red Hat Linux als exklusiver Web-Caching-Server mit entsprechender Open-Source-Software. Die Datenbank - Microsofts "SQL Server" - lief auf einem Netfinity 6000R (wie oben, aber mit 4 GB RAM).

Dieses Cluster, ausgelegt auf 10.000 Angebote im Online-Katalog und 9600 gleichzeitige Browser, kam auf eine Leistung von 1262 WIPS. Weil es kleiner ausgelegt war und auch aus preisgünstigeren Hard- und Softwarekomponenten bestand, fiel der Gesamtpreis mit knapp 350.000 Dollar im Vergleich zum größeren IBM-System deutlich niedriger aus. Die Überraschung: Das Preis-Leistungs-Verhältnis ist mit 277 Dollar pro WIPS erheblich schlechter als beim Großsystem.

Unisys stellte schließlich acht "ES2024"-Zwei-Wege-Systeme (Pentium III/866) der Reihe "E-@ction" als Web-, Domain-, Commerce- und Index-Server zusammen. Wie bei IBM kam ein Cache-Server mit Red Hat Linux hinzu sowie eine "ES5085R"-Maschine mit vier Pentium-III/700-Xeon-CPUs und 2 GB RAM für Microsofts Datenbank "SQL Server 2000" samt Betriebssystem "Advanced Server".

Erstaunlicherweise würden Unisys-Kunden mit dieser dem kleinen IBM-Cluster ziemlich ähnlichen Konfiguration deutlich günstiger fahren. Wie wäre es mit 246.000 Dollar Gesamtkosten für 3008 WIPS? Immerhin bräuchte man nur 82 Dollar pro WIPS zu bezahlen. Dafür könnte man 10.000 Artikel in den Katalog stellen und zugleich deutlich mehr aktive Browser als beim kleinen Cluster von IBM gleichzeitig verkraften, nämlich 21.700.

Äpfel und Birnen, aber gemessen

Doch solche Vergleiche sind nur begrenzt aussagekräftig. Es fällt sofort auf, dass Unisys zwei Server mehr verwendete als IBM im kleinen Cluster. Konnte man im Gegenzug beim Hauptspeicher für den Datenbank-Server sparen, weil Unisys genauer die Beanspruchung dieses Rechners durch die Benchmark-Software angeschaut hatte?

Legen die Testverfahren womöglich überstarkes Gewicht auf die Zugriffe aus dem Web? Sollte man deshalb für gute WIPS-Ergebnisse besser mehr Rechner mit Highspeed-Netzen an den Eingängen postieren? Auch das TPC-W-Benchmarking scheint Spielraum genug für dezente Tricks zu lassen. Anwender sind gut beraten, Zahlenspielen aus den Marketing-Abteilungen nicht allzu viel Aussagekraft für den DV-Alltag beizumessen.