Die Versuche, die Leistung eines DV-Systems zu bewerten, sind so alt wie die Datenverarbeitung selbst. Doch schon sehr früh erkannte man, daß Mix-Kennzahlen und KOPS- und MIPS-Werte keine Gewähr dafür bieten, daß ein System des leistet, was man vom ihm erwartet. Denn Leistung wird durch mehr Faktoren beeinflußt als durch CPU-Befehlsausführungszeiten oder Zugriffszeiten: Befehlsrepertoire, Arbeitsspeichergröße, Plattenmodularität, Befehlspfadlängen, Betriebsarten, Multiprogramming- und Multiprocessing-Eigenschaften sind nur eine Auswahl einer großen Anzahl weiterer leistungsbestimmender Parameter.
Die ursprüngliche Idee, wegen der Komplexität dieser Zusammenhänge die reale Arbeitslast als Prüfstein bei der Auswahl eines neuen DV-Systems zu verwenden, das heißt "einen Benchmark zu fahren" war also durchaus naheliegend und führte zu den stichhaltigsten Ergebnissen.
Quasi als Nebenprodukt eines solchen Benchmarks ergab sich zu den ermittelten Leistungskenndaten auch der Nachweis der Funktionsfähigkeit des übergebenen Lastprofils auf dem zur Diskussion stehenden System.
Somit waren die Ergebnisse eines Benchmarks durchaus ein wesentliches Entscheidungskriterium bei der Auswahl eines DV-Systems.
Doch sowohl in der Entwicklung der Datenverarbeitung als auch in der Leistungsbewertung blieb die Zeit nicht stehen, wiewohl sich gewisse "Weisheiten" aus den Pioniertagen als heute unrichtige Vorurteile immer noch halten. Und eine solche Weisheit sagt aus, daß der einzig zur Wahrheit führende Weg bei der Beurteilung des Leistungsverhaltens eines DV-Systems ein Benchmark ist!
Wie aber sieht die Wirklichkeit aus?
Ähnlich wie heute noch vielfach rein emotionale Gründe zur Ablehnung des Einsatzes von Standard-Software-Komponenten führen, weil man seine eigene Anwendung gerne als grundverschieden von allen anderen vergleichbaren Anwendungen einordnet, ähnlich glaubt man, daß ein Lastprofil eines Anwenders nun ganz anders aufgebaut ist als das aller anderen; der dann häufig folgende Schritt besteht in der Formulierung eines individuellen Benchmarks.
Doch schon beim Aufbau des Benchmarks ergeben sich erste große Schwierigkeiten. Das Lastprofil eines Anwenders besteht eben nicht mehr wie vor 20 Jahren aus einer überschaubaren Anzahl von Batch-Programmen. Timesharing-Anwendungen und Transaktions-Verarbeitung laufen im Mischbetrieb mit Batch-Jobs.
Welcher Lastausschnitt kann als typisch bezeichnet werden? Die Beantwortung dieser Frage setzt gute Detailkenntnisse der Arbeitsabläufe auf diesem System voraus. Doch selbst dann ist damit noch kein Lastprofil zusammengestellt. Das Herausgreifen einzelner Online-Programme und ihr Ablauf auf dem zu testenden System läßt keine Leistungsrückschlüsse zu, solange dort die Programme nicht in ihrer tatsächlichen Häufigkeit angesprochen werden und mit Nachrichten beschickt werden, die der Wirklichkeit entsprechen.
Was ist also zu tun?
Da an das zu testende System mit Sicherheit nicht das originale Terminalnetz mit seinen Bedienern angeschlossen wird - auch Netzwerke sind komplexer geworden -, sind also Programme einzusetzen, die die Wirklichkeit nachbilden (Treiber = Driver), wobei die Aufbereitungskosten meistens groß und Näherungen fast immer zwingend sind.
Man erkennt also, daß der Versuch, einen, die reale Lastsituation eines DV-Systems widerspiegelnden Benchmark aufzubauen, mit großem Aufwand verbunden ist.
Ist dieser Aufwand gerechtfertigt? Ist der Anwender ohne diese Investition gezwungen, bis zum Tage der Installation seines Systems dem ausgewählten Hersteller blind zu vertrauen?
Oder gibt es weitaus weniger aufwendige Alternativen zur Bestimmung des Leistungsvermögens als ein Benchmark?
Es gibt Alternativen! Ebenso wie es beim Autokauf Alternativen dazu gibt, das Verhalten eines bestimmten Modells nur durch einen mehrtägigen Hockenheim-Test in Erfahrung zu bringen.
Eine Alternative ist gegeben durch die analytische Ermittlung des Leistungsverhaltens auf Basis eines Simulationsmodells. Hier ist der Stand der Technik heute so, daß jeder namhafte Hersteller das Leistungsvermögen seiner Produkte mit solchen Modellen schon wahrend ihrer Entwicklung dimensioniert, so daß auch Aussagen über des Verhalten unter einer spezifischen Last relativ einfach zu ermitteln sind.
Relativ einfach, doch mit solcher Sicherheit, daß der Hersteller solche Zusagen garantieren kann.
Modelle sind heute mit die wichtigsten Instrumente zur Bestimmung des Leistungsvermögens von DV-Systemen. Sie werden eingesetzt sowohl zur Ermittlung des Verhaltens von neu konzipierten Systemen als auch zur Bestimmung der Auswirkungen von Last- oder Konfigurationsänderungen an laufenden Systemen.
Gerade im Bereich der analytischen Modelle, die auf der Warteschlangentheorie basieren, wurden in den vergangenen Jahren bemerkenswerte Fortschritte erzielt.
Solche Modelle existieren nicht nur zur Nachbildung von Zentralseiten mit ihren Hard- und Software-Komponenten, sondern auch zur Beschreibung von "Verteilten Systemen" und Netzwerken. Sie liefern bessere Ergebnisse schneller als Benchmarks, bei denen aufgrund der Komplexität zwangsweise Näherungen vorgenommen werden mußten.
Sind dann überhaupt noch Benchmarks zur Leistungsmessung erforderlich?
Sie sind es höchstens dann, wenn die auf ein System zu übernehmende Anwendung von wirklich gravierender Abweichung von allen bisherigen Realisierungen auf diesem Typ von DV-System ist. Eine Betrachtung der vom Hersteller aufgeführten Referenz-Installationen kann diese Frage aber leicht beantworten!!