Durchführung von Benchmark-Tests

13.08.1976

In den beiden letzten Scholz-Reports wurden die Gründe für Benchmarktests und die Vorbereitungsprobleme dargestellt. Das Thema soll mit der Durchführung derartiger Testläufe abgeschlossen werden.

Laufzeitenbestimmung

Im Rahmen der Durchführung wird das Problem der Laufzeitenbestimmung aktuell. Je nach Zweck des Benchmarktests benötigt man die folgenden Informationen:

1. Laufzeiten der einzelnen Jobs im Sinne der Verweilzeit oder Gesamt-Laufzeit

2. CPU-Zeit

3. CPU-Intensität pro Job oder Job-Step

4. Anzahl der Zugriffe bei Magnetplatten pro Job oder Job-Step

5. Anzahl der Zugriffe bei Bändern, Druckern, Lesern, Stanzern etc.

6. Anzahl der Transaktionen, wenn TP-Systeme mit einbezogen werden.

Man muß beachten, daß die Meßmethode für alternative Situationen möglichst gleich sein muß. Hierzu benutzt man am besten sein eigenes Accounting-System. Dies gilt dann, wenn man Situationen testet, wo das Accounting-System jeweils aussgefähige Zahlen liefern kann. Dies ist beispielsweise bei Tests unter alternativen Betriebssystemen nicht gegeben. Hier kann lediglich die Methodik helfen, wie sie im Scholz-Report 29/76 (Multiprogramming-Faktor) dargestellt wurde.

Job-Mix-Planung

Die Job-Mix-Planung für die Durchführung eines umfangreichen Benchmark-Tests kann mitunter sehr aufwendig sein. Hier sind etwa folgende Einflußgrößen zu beachten:

1. Die Anzahl der operierten Partitions muß bestimmt werden; dies hängt vom. Zweck der Untersuchung ab. Wenn etwa ein Vergleich DOS/VS gegen OS/VS durchgeführt werden soll, ist die Anzahl der Arbeitspartitions ein wesentliches Merkmal, da man im OS/VS wesentlich mehr Partitions fahren kann und damit in der Lage ist, eine CPU besser auszulasten.

2. Die Partitionsgröße muß festgelegt werden. Auch bei VS-Systemen muß man möglichst genau auf die Partitionsgrößen achten, obwohl einem die Hersteller mitunter den Eindruck erwecken wollen, als könne man beliebige Partitionsgrößen fahren.

3. Die Priorität der einzelnen Partitions ist zu bestimmen. Der Einfluß eines eventuell gegebenen Time-Slicing-Verfahrens bei Gleichschalten der Partitionsprioritäten ist zu untersuchen.

4. Die Peripherienutzung ist genau festzulegen. Es würde verfälschte Ergebnisse bringen, wenn man etwa alle Bänder und Platten im DOS/VS-Betrieb vollkommen ausnutzen würde und dem OS/VS-System für etwa die doppelte Anzahl der Partitions keine genügende Peripherie geben würde, es sei denn, daß man testen möchte, wie der Durchsatz unter der Bedingung gleichbleibender Peripherie wäre.

Mitunter wird es notwendig sein, den Benchmark-Lauf unter den jeweiligen Testbedingungen vorab zu testen, um festzustellen, ob die Vorbereitung ausreichend war. Die s gilt ganz besonders dann, wenn etwa in dem neuen Betriebssystem noch keine genügenden Erfahrungen vorliegen.

Bei umfangreichen Benchmark-Läufen kommen auch auf das Operating große Anforderungen zu. Es ist daher sinnvoll, das Operating in die Vorbereitung mit einzubeziehen.

Durchführung des Benchmark-Tests

Die Durchführung der Benchmark-Testläufe ist dann kein nennenswertes: Problem, wenn die Vorbereitung ausreichend war. Sie entspricht der normalen Verarbeitung und bildet prinzipiell kein Problem.

Wenn man die Benchmark-Testläufe auf der eigenen Anlage durchführen kann, hat man wesentliche Vorbereitungsarbeiten gespart, als wenn man die Anlage des Herstellers oder eines befreundeten EDV-Leiters benutzen muß. Zweckmäßigerweise legt man die Durchführung der Benchmark-Tests auf ein Wochenende oder auf generelle Leerzeiten des Computers, um alle 'Einflüsse auszuschalten.

Auswertung der Ergebnisse

Die Auswertung der einzelnen Ergebnisse hängt im wesentlichen von der geleisteten Vorbereitungsarbeit ab. Je besser und gründlicher ein Benchmark-Test vorbereitet wurde, um so weniger wird die Auswertung der Ergebnisse zum Problem. Leider sehen dies nur wenige vorher ein. Sie führen planlos Benchmark-Tests durch und wundern sich dann, daß die Auswertung der Vergleichsläufe keine aussagefähigen Ergebnisse bringt.

Die Vorbereitung eines Benchmark-Testlaufes sollte so gut sein, daß man unmittelbar nach Abschluß des Testlaufes das Ergebnis vorliegen hat.