Viele Tests werden in der Praxis an CAD-Systemen durchgeführt, obwohl es hier nur wenig Klarheit darüber gibt, wie ein Benchmark auszusehen hat. Rainer Glatz vom VDMA, Karlsruhe/Frankfurt, beschreibt einige zum Teil neue Verfahren zur Testkonzeption.

Die gesamte Testproblematik bei der dynamischen Beurteilung von CAD-Systemen läßt sich logisch in fünf zeitlich aufeinanderfolgende Testphasen aufteilen, die bei einer umfassenden und systematischen Testentwicklung immer zu durchlaufen sind. Entscheidend für die erzielbaren Testergebnisse ist die Bereitstellung geeigneter Testbeispiele (Benchmarks). Um zu Benchmarks zu gelangen, gibt es folgende Möglichkeiten:

- die Auswahl existierender Anwendungsobjekte (echte Benchmarks),

- die Veränderung existierender Anwendungsobjekte (modifizierte Benchmarks),

- die Entwicklung spezieller Testobjekte (synthetische Benchmarks).

Echte Benchmarks haben den Vorteil, daß sie direkt verfügbar sind und ohne Zusatzaufwand verwendet werden können. Nachteilig ist, daß mit ihnen viele Testfälle nur zufällig, unvollständig oder redundant berücksichtigt werden. Eine teilweise Verbesserung kann durch die testorientierte Modifikation ausgewählter Benchmarks erreicht werden, zum Beispiel durch Eliminieren redundanter Testfälle beziehungsweise Hinzufügen fehlender Testfälle.

Die Synthetisierung von Benchmarks ist zwar die aufwendigste, aber zumeist auch effektivste Methode zur Bereitstellung geeigneter Testbeispiele. So kann die Synthetisierung auf Basis einer Anwendungsanalyse gezielt auf die Vollständigkeit der interessierenden Testfälle oder andere spezielle Testbelange wie effektive Testdurchführung oder vergleichbare Zeitmessungen ausgerichtet werden.

Benchmarks werden üblicherweise in Form grafischer Produktbeschreibungen wie Skizzen oder Zeichnungen vorgegeben. Bei deren Erstellung am Testsystem können zwei Aspekte berücksichtigt werden:

- die erzielten Arbeitsergebnisse (ergebnisorientiert),

- die angewandten Arbeitstechniken (aufgabenorientiert).

Beim rein deskriptiven Benchmarkverfahren, bei dem nur das gewünschte Endergebnis vorgegeben ist, bestimmt der Systembediener den Weg zum Erreichen des Arbeitsergebnisses. Beim prozeduralen Benchmarkverfahren werden zusätzlich mehr oder weniger detaillierte Arbeitsschritte vorgegeben, was eine Reduzierung des Bedienereinflusses und besser vergleichbare Testdurchführungen mit sich bringt. Ein weiterer Vorteil liegt darin, daß konstruktive und änderungsbezogene Aufgaben, die in einer Zeichnung nicht direkt dargestellt sind, explizit vorgegeben werden können. Die Untersuchung der Änderungsmöglichkeiten mit CAD-Systemen werden bei vielen Tests sträflich vernachlässigt, obwohl sich gerade darin enorme Unterschiede bei den einzelnen Systemen zeigen.

Die Ausrichtung von Benchmarktests kann grundsätzlich zwischen zwei extremen Zielsetzungen erfolgen:

- vertikale Testabdeckung, das heißt, vollständiges Testen aller möglichen Funktionen eines Anwendungsbereiches (beziehungsweise Freiformflächenmodellierung),

- horizontale Testabdeckung, das heißt, stichprobenhaftes Testen von Funktionen verschiedenster Anwendungsbereiche.

Die zu erzielende beziehungsweise erforderliche Testabdeckung bestimmt sich aus dem Anforderungsprofil sowie dem für die Tests zur Verfügung stehenden Zeitrahmen.

Unabhängig davon, welche Module eines CAD-Systems wie detailliert untersucht werden sollen, lassen sich einige globale Untersuchungsziele wie Funktionalität, Handhabung durch den Anwender oder Integrationsmöglichkeiten unterscheiden.

Relevante Kriterien für die einzelnen Untersuchungsziele (siehe Kasten) sollen als Hilfestellung dienen und müssen für spezifische Tests auf Basis des gegebenen Anforderungsprofils weiter detailliert werden (2D-Elemente, Definitionsmöglichkeiten für Schraffuren, Änderung von Volumenprimitiva etc.).

Eine wesentliche Voraussetzung für die Durchführung und Auswertung von Tests ist, daß die Systeme in vergleichbarer Weise getestet werden. Um dies zu gewährleisten, bewährt sich in der Praxis die Ausarbeitung detaillierter Testunterlagen, in denen die durchzuführenden Aufgaben und die zu erfassenden Kriterien/Daten dokumentiert werden. Ein Testhandbuch dient quasi als Fahrplan sowie für eine einheitliche Testdurchführung als auch für die Testdatenerfassung.

Die Auswertung der Tests kann wiederum auf Basis einer Nutzwertanalyse erfolgen. Dazu sind die im Kriterienkatalog statisch erfaßten Systemmerkmale auf Übereinstimmung mit den Testergebnissen zu überprüfen sowie die beim Test ermittelten Kriterien in den Katalog mit aufzunehmen.

Für die Durchführung von Benchmarktests bei den Systemanbietern steht zumeist nur ein eingeschränkter Zeitraum (ein bis zwei Tage) zur Verfügung. Da es in vielen Fällen notwendig ist, CAD-Systeme umfassend zu testen, müssen die Tests optimiert werden durch

- Verwendung einfacher und synthetischer Teile,

- Mehrfachverwendung von Teilen,

- gezieltes und stichprobenhaftes Prüfen.

Bei der Konzeption des folgenden Benchmarktests wurde das Prinzip der horizontalen Testabdeckung zugrunde gelegt (siehe Kasten).

Im Hinblick auf die Untersuchung der Funktionalität einzelner CAD-Module verfolgte das Testkonzept das Prinzip, die Systemfunktionen nicht nur zur Erstellung der vorgebenen Benchmarks, sondern auch zu deren Änderung zu analysieren. Die Anwendung von Änderungsfunktionen ist nicht nur im Hinblick auf die Anpassungskonstruktion wichtig, sondern läßt auch Rückschlüsse über interne Modellstrukturen (Assoziativitäten, getrennte Datenbestände) zu.

Die einzelnen CAD-Anwendungen beziehungsweise Module dürfen nicht als unabhängige Inseln, sondern müssen unter dem Aspekt der Integration betrachtet werden. So wurde besonderer Wert auf die Untersuchung der Weiterverwendbarkeit bereits erzeugter Modelle (Daten) gelegt, wie die Verwendung von

- 2D-Konturen zur Volumenmodellierung,

- 3D-Schnitten zur Zeichnungserstellung,

- Einzelteilen zur Erstellung von Baugruppen.

Aus einer zur Verfügung gestellten Zeichnungsmenge wurde eine einfache Baugruppe als Testteil ausgewählt. Es handelte sich dabei um einen Messerhalter. Die darin enthaltenen Teile sind auf der einen Seite nicht zu komplex, so daß sie in relativ kurzer Zeit auf einem CAD-System erzeugt werden können. Auf der anderen Seite sind sie als Basis ausreichend, um damit sämtliche relevanten Testaspekte entsprechend dem Testkonzept zu untersuchen.

Ausgehend von einer detaillierten Konstruktionsvorlage werden ein 2D-, 3D-Kanten- und 3D-Volumen-Modell erzeugt. Auf Basis eines abgeleiteten 3D-Schnittes erfolgt die Überprüfung der Zeichnungserstellung, wozu die ursprüngliche Bemaßung stark modifiziert wurde. Aufbauend auf den erstellten Modellen werden in weiteren Tests die Ableitung von Einzelteilen, die Erstellung von Baugruppen und Stücklisten-Informationen sowie die Möglichkeiten der NC-Programmierung untersucht. In den einzelnen Testabschnitten wird in getrennten Blöcken einerseits die Erstellung, andererseits auch die Änderung der erzeugten Modelle, beispielsweise durch Ändern des Wellendurchmessers und damit der Bohrung, der Dicke des Teils etc., analysiert.

Umfangreiche Datenmenge synthetisch erzeugt

Die Aspekte des Systemverhaltens werden in getrennten Testabschnitten spezifisch überprüft. So wird untersucht, inwieweit sich Genauigkeitsverluste bei der Datenübergabe, durch Approximationen und/oder durch Fehlerfortpflanzung ergeben. Dazu werden vorgegebene Werte ständig neu gemessen und mit vorberechneten Werten verglichen.

Im Hinblick auf den Speicherplatzbedarf und die Verarbeitbarkeit großer Datenmengen wird zusätzlich synthetisch eine umfangreiche Datenmenge erzeugt. Dies geschieht über mehrfaches Duplizieren und Verschieben oder mehrfaches Einkopieren des Ausgangsteils (hier 2D-Zeichnung).

Die erzeugte Datenmenge ist auch die Basis, um das Antwortzeitverhalten der CAD-Systeme unter Datenbelastung zu untersuchen. Dazu wird eine Sequenz ausgewählter CAD-Operationen vorgegeben, für die die Antwortzeiten ermittelt werden. Die Antwortzeit ist dabei definiert als die Zeit zwischen dem Abschicken des Kommandos und der Bereitschaft des Systems, ein neues Kommando zu bearbeiten.

Grundlage für die Auswertung der Tests war ein erweitertes Zielsystem, in das auch dynamische Aspekte wie Testverhalten, Arbeitstechniken, Benutzeroberfläche, Systemverhalten etc. aufgenommen wurden. Die Erfüllung dieser vielfach nur rein subjektiv bewertbaren Kriterien wurde in gemeinsamer Übereinstimmung mit den Testbeteiligten ermittelt. Über die zusätzliche Betrachtung wirtschaftlicher Kenngrößen wie Investitions- oder Wartungskosten wurde eine globale Kosten/Nutzen-Analyse durchgeführt, die letztendlich die Grundlage für die Systementscheidung darstellte.

Insgesamt gesehen hat sich gezeigt, daß sich die Systeme nur auf Basis durchgeführter Tests wirklich beurteilen lassen. So wurden viele Stärken und Schwächen der Systeme erst über die gezielte Durchführung anwendungsorientierter Aufgaben ersichtlich. Voraussetzung hierfür ist allerdings eine gezielte Konzeption der durchzuführenden Tests.