Was Benchmarktests leisten, war Thema des Gastkommentars von Professor Dr. Joachim Niedereichholz in der COMPUTERWOCHE vom 6. 7. 1979. Der vorliegende Beitrag, in dem Niedereichholz einige Beispiele durchgeführter Tests behandelt schließt unmittelbar an den Gastkommentar an. Wichtigste Aussage: Den Anfänger in Benchmarksachen interessiert eine zusammengefaßte Ergebnisliste am meisten. Beide Artikel sind Vorabdrucke aus dem Niedereichholz-Buch "Datenbanksysteme - Aufbau und Einsatz", das demnächst im Physica-Verlag erscheint.

Beispiel 1

In den ACM-Publikationen Performance Evaluation Review und Simuletter der Special Interest Groups Sigmetrics und Sigsim sind des öfteren Ergebnisse von Benchmarktests veröffentlicht. Die folgenden Ergebnisse eines Fortran-Benchmarktests sind bei [Est] aufgeführt.

Es handelt sich um einen die Arithmetik betonenden Fortran-Test, dessen Aufbau in [Est] geschildert ist. Für die unten aufgeführten Anlagen wurden die Übersetzungsarbeit (Compile), die Ausführungszeit (Execute) sowie die Gesamtbearbeitungszeit (Total) gemessen. Obwohl es sich um etwas ältere Anlagen handelt, gibt der Test - auch wenn die Anlagenkonfiguration nicht genau angegeben ist - dem Fachmann einige Auskunft oder bestätigt ein vorhandenes Bild.

Beispiel 2

Bei dem zweiten Benchmarkbeispiel handelt es sich ebenfalls um einen Fortran-Test, der in [Bei] genau beschrieben ist. Es muß darauf hingewiesen werden, daß Benchmarkergebnisse an und für sich nur mit der genauen Dokumentation der Programme und der Anlagenkonfiguration aussagekräftig sind. Aus Platzgründen können diese Details hier nicht wiedergegeben werden, sie sind bei [Bei] nachzulesen. Dennoch interessiert den Anfänger in Benchmarksachen eine zusammengefaßte Ergebnisliste am meisten.

Die Abbildung Test 3 zeigt einen Ausschnitt der Ergebnisliste von [Bei, S. 18].

Vorgehensweise bei einem DB-Benchmarktest

Es werden - u. U. mittels eines Testdatengenerators - Massendaten erstellt. Die Datenbankstruktur wird erstellt. Anschließend werden die Daten in die Datenbank übernommen.

1. Zeitmessung für sogenannte Null-Update. Die Zeitmessung kann für vorgegebene Stufen von Datenvolumen vorgenommen werden.

2. Vorbereitete Anfrageprogramme (Suchen, Update, Löschen, Feldstruktur ändern, Inversionslauf etc.) werden gestartet und gemessen.

3. Spezielle Utilities werden eingesetzt (zum Beispiel DB-Dump, DB-Sichern, DB-Restart, DB-Copy etc.) - und vermessen.

4. Der für 1. bis 3. notwendige Arbeitsspeicher- und Peripheriebedarf wird erfaßt.

All diese Messungen werden bei variierten Hardware- und Systembelastungen mehrmals durchgeführt, damit man pro Punkt nicht nur auf eine Stichprobe angewiesen ist.

Im folgenden wird kurz ein Benchmarktest mit dem DB-System S2000 beschrieben (vergleiche [GMD 1]).

Die Testdatenbank ist eine Produktdatei, in der Daten über elektronische Bauteile erfaßt sind. Die Produkt-Datenbank gliedert sich in sechs Wiederholgruppen über drei Hierarchiestufen.

Die folgenden Versuchsergebnisse geben natürlich kein umfassendes Bild. Sie sollen veranschaulichend wirken, wobei S2O0O-Kenntnisse zum vollen Verständnis notwendig sind (vergleiche Kapitel IF). Die Tests wurden auf einer Cyber 175 unter dem Betriebssystem Scope 3.4 mit der Version 2.4 von S2000 bei einem Datenbestand von 2,9 Millionen Zeichen gefahren. Die Abbildung Test 7 zeigt das Ergebnis diverser Befehle, die nicht im Detail besprochen werden sollen.

Vergleichbare Benchmarkergebnisse, die mit denselben Daten ermittelt wurden, können für Adabas und IMS in den GMD-Berichten [GM2] und [GMD3] nachgelesen werden.

Literatur

[Bei] K. P. Beier: Ergebnisse eines Fortran-Benchmarktestes, Hahn-Meitner-Institut, Berlin, Januar 1973.

[COD] Codasyl Systems Committee: Feature Analysis of Generalized Data Base Management Systems, Mai 1971

[Est] R. G. Estell: How fast is "Real Time"?, Performance Evaluation Review, Vol. 5, 4, 1976, S. 18-20

[GMD1] GMD (Gesellschaft für Mathematik und Datenverarbeitung). Datenbanksysteme, - Erfahrungsberichte -, Heft 4, S2000, Birlinghofen, erscheint 1979

[GMD2] GMD (Gesellschaft für Mathematik und Datenverarbeitung): Datenbanksysteme, - Erfahrungsberichte -, Heft 2, Adabas, Birlinghofen, April 1975

[GMD3] GMD (Gesellschaft für Mathematik und Datenverarbeitung): Datenbanksysteme, - Erfahrungsberichte -, Heft 3, IMS, Birlinghofen, Sommer 1976

[Pal] I. Palmer.- Database Management, Scicon (Sanderson House, Berners Street, London W1P 4AQ), September 1973

[QED] QED: Database Management Systems, Kap. II "Evaluating and selection a Database Package", Wellesley, Mass. 021819, 1976

[USN] US Nomenclature System, AN-Equipment, DMS Inc., 1971

Es muß abschließend erwähnt werden, daß neue Releases von DB-Systemen alte Benchmarkergebnisse meist hinfällig werden lassen, so daß die Aussagen eventuell nur noch tendenziell stimmen.