Für den Leistungsvergleich verschiedener Rechenanlagen existieren derzeit nur sehr grobe Werkzeuge. Die viel propagierte Größe Mips wird von Fachleuten als "Meaningless Indicator of Processor Speed" bespöttelt. Mit Benchmarks läßt sich alles und damit nichts beweisen. Diesem Zustand will das Deutsche Institut für Formung (DIN) mit der Bereitstellung echter Testkriterien abhelfen.
Das deutsche Institut für Normung (DIN) hat bereits Ende der 70er Jahre mit Arbeiten zur Standardisierung bei Leistungsfragen im DV-Bereich begonnen. Diese befaßten sich zunächst mit Grundsatzfragen und der Erstellung von Zielvorstellungen. Es zeigte sich alsbald, daß die Definition von DV-Leistung und von Meßverfahren sowie die Festlegung von Normlasten für vereinheitlichte Messung und Bewertung die wesentlichen Arbeitsschwerpunkte sein werden. Der wachsenden Bedeutung des zu bearbeitenden Gebietes entsprechend war eine rege Beteiligung von seiten der DV-Hersteller wie auch der DV-Anwender zu verzeichnen. DIN hat dieser Beteiligung dadurch Rechnung getragen, daß das ursprünglich als Arbeitskreis AK 5.3.3 innerhalb des Unterausschusses 5.3 ("Betriebssysteme") eingerichtete Gremium seit 1985 auf die Ebene eines eigenen Unterausschusses ("UA 7.3, Messung und Bewertung von DV-Leistung", im Fachbereichsbeirat Informationsverarbeitung) des Normenausschusses Informationssysteme angehoben wurde.
Erster Normentwurf Anfang 1988 zu erwarten
Die Arbeit an diesem Thema erfreut sich im DIN seit langem einer regen und kontinuierlichen Beteiligung aus vielen Bereichen. Es sind im UA 7.3 derzeit 13 Institutionen mit der günstigen Mischung aus etwa gleich vielen DV-Herstellern (IBM, Siemens, DEC, Prime, Unisys, Comparex, Nixdorf), und DV-Anwendern (Lufthansa, Posttechnisches Zentralamt, Fernmeldetechnisches Zentralamt, Schenk und zwei Hochschulrechenzentren - Tübingen und Kassel) vertreten. Dem UA 7.3 ist es trotz dieser Größe gelungen, die Normungsarbeit zügig voranzubringen, und er beabsichtigt in Kürze, also noch Anfang 1988, einen ersten Normentwurf vorzulegen. Die Norm, für die DIN bereits die Nummer 66273 festgelegt hat, wird aus mehreren Teilen bestehen. Teil 1 umfaßt eine Definition des Leistungsbegriffes, der Meßgrößen und des Meßverfahrens. Die Teile 2 und folgende werden Normlasten für solche Bereiche festlegen, in denen es möglich und sinnvoll ist, repräsentative Lasten zu benennen. Geplant sind zunächst die Bereiche Textverarbeitung, Timesharing-Verkehr auf Kommandosprachen-Ebene und gewisse Teilhaberanwendungen; weitere sollen folgen. Jeder Teil der Norm wird aus einem eigentlichen Normteil (straffe und knappe Formulierung des Normteil-lnhaltes) sowie einem Beiblatt (ergänzende Erklärungen, Hinweise etc. für den Anwender der Norm) bestehen.
Bezüglich des Leistungsbegriffes hat der UA 7.3 sich zunächst auf den ihm am wichtigsten erscheinenden Aspekt der Schnelligkeit der Durchführung von DV-Tätigkeiten beschränkt. Er hat weitere Aspekte wie "Correctness", "Reliability" oder auch Mischaspekte wie "Performability" bewußt auf eine spätere Bearbeitung verschoben, da ein zu umfassendes Gesamtziel noch zu sehr auch solche Teilaspekte berücksichtigen müßte, bei denen wesentliche theoretische Grundlagen noch zu stark im Fluß sind. Betreffs der Methodik und der Begriffsbildung zu dem (primär auf die Schnelligkeit bezogenen) Leistungsbegriff hat der UA 7.3 sich unter anderem am sogenannten Kasseler Modell orientiert und Erfahrungen von Größtanwendern (zum Beispiel Lufthansa) verwertet.
Das Gremium praktiziert eine strikt anwenderorientierte Betrachtung. Das DV-System wird als reine Black-Box betrachtet, das allein durch diejenigen Größen und Aspekte beschrieben wird, die für den Anwender und seine zeitlichen Vorstellungen zur Auftragsabwicklung relevant sind. Der System-Overhead wird als interne Angelegenheit des Systems betrachtet. Es werden, nach Auftragsarten differenziert, konsequent Abfertigungsraten und Abfertigungszeiten gleichzeitig beobachtet, gemessen und bewertet, womit vektorielle Beschreibungsgrößen entstehen. Betrachtet wird das Vektorpaar Durchsatz/Bedienzeit sowohl für den am DV-System ankommenden Auftragsstrom ("Belastung") wie auch für den vom DV-System zur Benutzergesamtheit zurückfließenden Strom der Auftragsergebnisse ("erbrachte Leistung").
Zeitvorstellung des Users im Modell integriert
Zur Bewertung wird ein Verfahren verwendet, das die vom Benutzer statuierten Zeitforderungen zur Auftragserledigung als wesentliches Element miteinbezieht. Die Beschreibung von Normlasten erfolgt nicht durch Angabe der statisch-statistischen Werte der Belastung (also nur eines einzelnen Punktes in einem vieldimensionalen Zustandsraum), sondern durch den Parametersatz eines Modells zur Nachbildung eines komplexeren und differenzierten Benutzerverhaltens. Damit wird es unter anderem möglich, den sehr wesentlichen Effekt der "Rückwirkung" (Einfluß der Anlagenschnelligkeit auf den am System ankommenden Laststrom, das heißt, auf die Werte der "Belastung") darzustellen.
Die Methodik - zwar zunächst angewendet auf benutzernahe Schnittstellen - ist so gestaltet, daß sie im Prinzip auf jede Schicht eines hierarchischen Systems ansetzbar ist, also weiter innen zum Beispiel auch zur Messung von Software- und/ oder Hardwarekomponenten eines Systems oder, weiter außen, beispielsweise auf eine komplette Teilhaberanwendung oder gar einen RZ-Produktionsbetrieb als Ganzes.
DlN-Aktivitäten von hohem internationalen Stellenwert
Die bei DIN durch den UA 7.3 betriebene Normungsarbeit hat nicht nur national, sondern auch international einen bedeutenden Stellenwert. Dies ergibt sich daraus, daß bei DIN zum Leistungsproblem bereits eine erhebliche Vorarbeit geleistet ist und Entwürfe zu Teilen zur Norm kurzfristig in Aussicht stehen, während unseres Wissens - trotz durchaus bestehender Interessen und Versuche - bei keinem internationalen (ANSI, ISO, ECMA und vielen anderen mehr) oder sonstigem nationalen Normungsgremium die Konstituierung eines Ausschusses zum Thema DV-Leistung vollzogen ist. Daß die Aktivitäten in Deutschland offensichtlich allgemein sehr frühzeitig begonnen haben, zeigt auch die Deutsche Elektrotechnische Kommission (DEK) im DIN, die zu dem speziellen Thema "Leistungstest von Prozeßrechensystemen" bereits unter der Nummer 19242 einen Normentwurf fertiggestellt hat. Dieser - methodisch in die schon länger bekannten Kernel-Verfahren einzuordnen - legt Meßprogramme für den speziellen Bereich der Prozeßrechner fest, während der UA 7.3 eine allgemeinere Aufgabenstellung für einen breiteren DV-Bereich in Angriff genommen hat.
*Professor Dr. Werner Dirlewanger ist Leiter des Rechenzentrums und Professor für Mathematik an der Universität Kassel.