Die Durchführung von Benchmarkläufen beschäftigt jeden EDV-Leiter in mehr oder weniger großem Maße. Ehe man das generelle Kommando für die Vorbereitung und Durchführung derartiger Benchmarkläufe gibt, sollte man genau überlegen, welche Effekte man damit erreichen will. Dies bedeutet, daß man den Grund der Durchführung von Benchmarkläufen feststellen sollte.

Definition

Ganz grob kann man einen Benchmarktest so umschreiben, daß man entsprechend dem Untersuchungszweck eine repräsentative Auswahl von Jobs oder Programmen trifft, die man unter alternativen Bedingungen einem Laufzeittest nach einem vorher festgelegten Meßverfahren unterzieht. Im weitesten Sinne kann man auch sogenannte Vollastversuche einer EDV-Anlage zum Begriff des Benchmarks rechnen. Dies kann dann sinnvoll sein, wenn man die Grenzen eines Systems bestimmen will, um daraus Schlüsse für die langfristige Hardwareplanung zu ziehen.

Systemwechsel/Herstellerwechsel

Ein klassischer Anwendungsfall für die Durchführung von Benchmarktests ist dann gegeben, wenn man auf ein anderes EDV-System überwechseln mochte. Mit dem Systemwechsel ist in vielen Fällen auch eine andere Form der Job-Abwicklung (z. B. verbessertes Multiprogramming oder auch der völlige Umbau des Rechenzentrums-Terminplans) verbunden, so daß es sinnvoll ist, den voraussichtlichen Durchsatz des künftigen Systems möglichst genau im voraus zu bestimmen. Dies gilt ganz besonders für den Fall eines Herstellerwechsels, allerdings ergeben sich gerade hier besondere Probleme.

Hardwareerweiterung

Die Begründung für Hardwareerweiterungen läßt sich mit Hilfe eines durchgeführten Benchmarktestes recht gut untermauern, so daß sich der investierte Aufwand durchaus bezahlt machen kann, weil man andere interne Reibungsverluste ausschalten kann, zumindest sind die meisten Geschäftsleitungsmitglieder objektiven Meßergebnissen gegenüber aufgeschlossener als reinen emotionalen Behauptungen.

Behauptungen der EDV-Hersteller

Werbesprüche der EDV-Hersteller können mit Hilfe von Benchmarktests auf ihren Wahrheitsgehalt überprüft werden. Es ist erstaunlich, daß manche Vertriebsbeauftragte des EDV-Herstellers noch nicht einmal rot werden, wenn sie die Ammenmärchen von der Leistungsfähigkeit ihrer Hardware oder Software erzählen.

Neues Betriebssystem

Es kann sich durchaus lohnen, Vergleichsläufe unter mehreren Betriebssystemen durchzufahren, wenn man vor dem Problem des Wechsels des Betriebssystems steht. Allerdings stößt die Vorbereitung auf arge Probleme hinsichtlich der Gleichheit der Job-Struktur.

Neue Features des Betriebssystems

Sehr viel öfter ist der Fall gegeben, daß man neue Features des Betriebssystems nutzen möchte. Hier kann man sich mit Hilfe von Benchmarktests auf seinem eigenen System vor Einsatz (in der echten Produktion) von der Leistungsfähigkeit dieser Features überzeugen. Leider läßt einem der Anwender nicht immer die nötige Zeit, um diese Probleme in Ruhe austesten zu können.

Neue Speichertechniken

Es lohnt sich, die generelle (und auch spezielle) Verwendung neuer Speichertechniken (z. B. VSAM) vor dem Einsatz in größeren Anwendungen zu überprüfen, ehe man böse Überraschungen beim echten Einsatz erlebt und sich möglicherweise über vergrößerte Laufzeiten oder erhöhten Speicherbedarf wundert.

Anmietung/Kauf von Softwarepaketen

Die Anmietung bzw. den Ankauf von Softwarepaketen (etwa, ein schnelleres Sortierprogramm) kann man mit Hilfe von Benchmarktests hinsichtlich ihrer Effizienz wesentlich besser begründen, als man dies ohne Vergleichsläufe tun könnte.

Überprüfung von Ausnahmesituationen des Systems

Bei VS-Systemen ergeben sich immer wieder Probleme dadurch, daß Jobs in ihrer Laufzeit stark schwanken. In vielen Fällen hängt dies mit der Pagingrate zusammen. Wenn man über einen klar definierten Jobstream verfügt (incl. der entsprechenden Dateien), kann man rasch herausfinden, ob abnorme Situationen vorliegen oder nicht. Man hat darin gegenüber dem EDV-Hersteller ein Meßergebnis in der Hand, so daß man nicht ganz ohne Fakten dasteht.