In der Untersuchung wurde jede Entwicklungsumgebung ueber drei Tage auf Herz und Nieren geprueft. Ein Herstellerteam hatte in diesem Zeitraum eine Loesung fuer ein Projekt zu erarbeiten. Aufgabe war es, unter normalen Arbeitsbedingungen ein vollstaendiges Informationssystem mittlerer Komplexitaet zu erstellen. Im Gegensatz zu den ueblichen Untersuchungen, die sich auf Umfragen von Benutzern, Beratern oder DV-Leitern stuetzen, beruht diese Analyse auf Tatsachen und nicht auf Meinungen.

Als Testaufgabe wurde eine Projektkosten-Berechnung fuer DV- Dienstleistungen gewaehlt - eine Anwendung, die einen sehr allgemeinen Charakter hat. Die Problemstellung enthaelt ein breites Spektrum von typischen Funktionen.

Diese reichen von der Wartung mehrer Dateien, komplexen Transaktionen und Schnittstellen zu externen Dateien bis zu Ad- hoc-Benutzerabfragen oder Stapelverarbeitung.

Die reinen CASE-Tools konnten nicht ueberzeugen

Mit einem Umfang von 120 Funktionspunkten liegt das System im Bereich kleiner bis mittlerer Anwendungen. Eine Gesamtloesung wuerde in konventionellen Grossumgebungen bis zu einem Arbeitsjahr erfordern.

Der aussagestaerkste Teil der Untersuchung bezieht sich auf die Wartung. Einzelheiten einer Aenderungsanforderung werden dem Entwicklungsteam erst nach Fertigstellung der Anfangsaufgabe gegeben. Der Umfang der Aenderungen betraegt 60 Funktionspunkte, ist also erheblich, und beinhaltet Modifizierung des Datenmodells, der Benutzer-Schnittstelle und der Geschaeftsregeln.

Insgesamt wurden 17 fuehrende Unternehmen mit ihren Entwicklungsumgebungen im Grossrechnerbereich eingeladen. Drei von ihnen lehnten ab. Die Entwicklungsumgebungen Focus von Informations Builders und Excelerator von der damaligen Indes Technology nahmen anfaenglich teil, wurden aber nach Einsicht in die Aufgabenstellung kurz vor dem Test zurueckgezogen.

IEW von Knowledgeware versuchte waehrend der zweiwoechigen Vorbereitungszeit einen Loesungsansatz, dann wurde das Produkt im letzten Augenblick zurueckgezogen.

Es ist allen Benchmark-Teilnehmern hoch anzurechnen, dass sie den Mut hatten, offen und ohne Absicherung in einen direkten Vergleich zu treten.

Der Benchmark umfasste den gesamten Entwicklungszyklus von der Analyse bis zur Wartung. Ueber 100 Einzelbeobachtungen fuehrten zu den sechs Bewertungskriterien Vollstaendigkeit, Aufwand, Wartungsaufwand, Dokumentation, Integration der Werkzeuge und Benutzersprache.

Die Ergebnisse der Tests und die Abstufungen der einzelnen Hersteller hingen von verschiedenen Faktoren ab: der Entwicklungsumgebung, den einzelnen Werkzeugen und auch dem Entwicklungsteam. Weiterhin wurden die Resultate von den typischen unvorhersehbaren Vorzeigeeffekten beeinflusst, darunter zum Beispiel eine Unterbrechung der Stromversorgung, die Ueberlastung des Rechners durch andere Anwendungen, falsche Werkzeugimplementierung und sogar Loeschung der Entwicklungsumgebung. Was letztlich zaehlte, war der Erfolg, mit dem trotz aller dieser Einfluesse Resultate erbracht wurden.

Beginnen wir mit dem Kriterium "Vollstaendigkeit". Es betrifft die Loesung, die in dem dreitaegigen Zeitraum erstellt werden konnte. Erwartet wurde ein Informationssystem, mit dem der Benutzer arbeiten kann. Hier zeigten sich bereits moegliche Grenzen der Anwendungsbereiche einiger Entwicklungsumgebungen.

Innerhalb des dreitaetigen Untersuchungszeitraums gelang nur den drei Produkten Oracle, Linc von Unisys und Nomad von Must Software Systems International eine vollstaendige, arbeitsfaehige Loesung. Am abgerundetsten war das Ergebnis des gutorganisierten Oracle-Teams. Die Resultate der Umgebungen Natural von der Software AG, Mantis von Cincom Systems und Ideal von Computer Associates wiesen nur geringfuegige Maengel auf. Sapiens hingegen umging eine schwierige Aufgabe ganz. Die restlichen Umgebungen IEF von Texas Instruments, Pacbase von CGI, Pro IV von McDonnell Douglas und Telon von Computer Associates waren durch den Umfang der Aufgabe eindeutig ueberbelastet und mussten sich auf Teilloesungen beschraenken.

Als zweites Kriterium wurde der "Aufwand" anhand von zwei Messwerten festgehalten: die Zeit, in der die Loesung erstellt wurde, und der Gesamtarbeitsaufwand, der fuer die Loesung benoetigt wurde. Dabei haben wir alle Aktivitaeten erfasst, die mit der Entwicklung der Loesung zu tun hatten, nicht aber Arbeiten zur Bereitstellung der Entwicklungsumgebung.

Nachtraeglich mussten wir die Einzelergebnisse der ersten beiden Untersuchungen aus

Fairnessgruenden berichtigen. Naturals Ergebnis wurde um eine Note verbessert, da wir hier zunaechst zusaetzliche Arbeit erfasst hatten, die andere Teilnehmer nicht zu leisten hatten. Nomads Resultate hoben wir ebenfalls im nachhinein um eine Note an, da anfaenglich die Dauer ueberbewertet wurde.

Insgesamt gab es fuenf hervorragende Ergebnisse, die auf verschiedene Art zustande kamen. Oracle lieferte eine vollstaendige Loesung in der kuerzesten Zeit und zu den geringsten Kosten. Wenn man sich mit einer Teilloesung zufrieden gibt, hat dagegen Sapiens die Nase deutlich vorn. Unisys haette mit Linc ein noch besseres Ergebnis erzielen koennen, waere nicht bei einer Aufgabe eine Panne unterlaufen.

Fuer die Bewaeltigung der relativ kleinen Aufgabe benoetigte Nomad den geringsten Aufwand; als Einzelplatzumgebung bedurfte die Software jedoch eines laengeren Arbeitszeitraums. Natural lag nur knapp hinter Oracle und Linc zurueck. Die Ergebnisse der anderen Umgebungen blieben klar hinter denen der genannten zurueck.

Bei der Messung des "Wartungsaufwands" wurden wie bei der Neuentwicklung die Dauer und die Gesamtzeit festgehalten. Den Aenderungsauftrag uebergaben wir den Teilnehmern erst nach der Fertigstellung des ersten Teils. Daher konnte in diesem Teil der Aufgabe keinerlei Vorarbeit geleistet werden.

Sapiens stark beim Wartungsaufwand

Wieder wurden die besten drei Ergebnisse auf verschiedene Weise erzielt. Die regelbasierte KI-Technik von Sapiens lieferte eindeutig das beste Resultat. IEF benoetigte etwas mehr Zeit, realisierte die Aenderungen aber in der Entwurfsebene. Hart erkaempft war das Ergebnis von Ideal: Hier wurde der Gesamtaufwand verdoppelt, damit gleich zu Beginn alle moeglichen Aenderungswuensche eingebaut werden konnten. Es war erfreulich festzustellen, dass in dieser Kategorie alle beteiligten Hersteller eine sehr starke Leistung zeigten.

Das Kriterium "Dokumentation" umfasst alle Systemunterlagen von der Detailbeschreibung fuer den Wartungsprogrammierer bis hin zur Entwurfsuebersicht fuer den Wirtschaftspruefer und Manager. In dem kurzen Pruefungszeitraum beschraenkte sich die Untersuchung auf Beispiele und forderte keine komplette Dokumentation.

IEF dominierte bei den Planungs-Tools

Abgesehen von Ideal, Telon und Nomad benutzten alle Teilnehmer Planungs-CASE-Werkzeuge, die eine angemessene Dokumentation ermoeglichten. Es war nicht verwunderlich, dass die besten Ergebnisse von IEF kamen. Ohne Entwurfsunterlagen war die Dokumentation entweder verwirrend umfangreich wie bei Ideal und Telon oder unverstaendlich wie bei Nomad.

Gegenstand des Aspektes "Integration der Werkzeuge" war die zentrale und zusammenhaengende Definition aller Entwicklungsentscheidungen sowie der Grad, in dem diese waehrend aller Entwicklungsphasen eingehalten wurden. Ebenfalls bewertet wurde die Konsistenz der Kommandosprache und die Uebereinstimmung von Look and feel der Benutzer-Schnittstellen von CASE-, 4GL- und DBMS-Werkzeugen.

IEF und Linc benutzten sowohl die Daten- als auch die Programmstruktur des Entwurfs automatisch in der Programmierphase. Linc erforderte

aber eine erneute Datendefinition fuer seine Benutzersprache. Abgesehen von Pacbase und Sapiens benoetigten alle uebrigen Umgebungen bei der Programmierung ein zusaetzliches Datenlexikon. Allerdings erfolgte bei Oracle der Uebergang zu dem zweiten Datenlexikon automatisch und fuer den Entwickler transparent.

Pro IV stuetzte sich auf eine manuelle Verknuepfung der Entwurfsumgebung und der Programmloesung. Mantis benutzte das Planungswerkzeug eines anderen Herstellers (IEW von Knowledgeware) und wies zu diesem nur eine fehlerhafte Verbindung auf. Da Nomad, Ideal, und Telon kein Planungswerkzeug benutzten, konnten sie in dieser Kategorie nicht bewertet werden.

In der letzten Kategorie Benutzersprache wurden die Funktionen beurteilt, die dem End-User zur Verfuegung gestellt werden, damit er eigene Abfragen oder Berichte von den Daten der erstellten Loesung selbst definieren kann. Hierbei sind Benutzerfreundlichkeit, Umfang der Funktionen sowie die Integration mit den Programmierwerkzeugen die Hauptgesichtspunkte.

Ideal und Natural hatten eindeutig die besten Werkzeuge und konnten alle Aufgabenteile in kuerzester Zeit erledigen. Sapiens, Nomad, Mantis, Oracle und Telon lieferten ebenfalls schnelle Ergebnisse, benoetigten aber Programmierkenntnisse fuer ihre Loesungen. Linc und IEF hatten keine eigene Benutzersprache zu bieten. Linc setzte Mapper ein, tat dies aber nur halbherzig. IEF benutzte eine

Cobol-aehnliche Programmiersprache, die selbst fuer Programmierer muehselig zu handlen war. Pacbase und Pro IV hatten nichts vorzuweisen.

Abschliessend laesst sich feststellen: Die herausragenden Leistungen kamen von Oracle, Unisys, Sapiens und der Software AG. Oracle erzielte die insgesamt ausgewogensten Resultate, dicht gefolgt von Unisys mit ihrer Linc-Mapper-Umgebung. Sapiens hatte bestechende Ergebnisse vorzuweisen, was den Zeitaufwand betrifft. Die KI- Architektur von Sapiens eroeffnet sicher neue Moeglichkeiten der Software-Entwicklung - das Produkt ist aber noch nicht zuverlaessig. Die Software AG, mit der die Testserie eroeffnet wurde, legte einen hohen Standard vor, der von den uebrigen Teilnehmern nur selten uebertroffen werden konnte.

Texas Instruments setzte mit IEF das einzige reine CASE-Werkzeug ein, das den vollen Test durchstand, und zeigte, dass diese Werkzeuge mit etablierten Entwicklungsumgebungen Schritt halten koennen. Must Software Systems International demonstrierte mit Nomad die Staerken von Umgebungen, die sich auf Sprachen der vierten Generation stuetzen.

Die unterschiedlichen Entwicklungsumgebungen und Hersteller zeigten verschiedene Vorgehensweisen und Werkzeugkombinationen. Jeder Teilnehmer konnte wertvolle Beitraege bieten. Dabei waren Staerken und Schwaechen der Umgebungen verschiedenartig verteilt. Oft aehnelten sich die Verkaufsbroschueren der Hersteller, waehrend die Produkte ihre besonderen Eigenarten hatten.

Enttaeuschend waren die Ergebnisse der reinen CASE-Werkzeuge. Zwei der fuehrenden Hersteller zogen ihre Teilnahme im letzten Augenblick zurueck, und das verbleibende Produkt hatte Muehe, den vollen Test durchzustehen. Eindeutig haben solche Werkzeuge erhebliche Schwierigkeiten, einen logischen Entwurf in ein lauffaehiges Anwendungssystem umzuwandeln.

Etwas zufriedenstellender war das Abschneiden der benutzerorientierten Sprachen der vierten Generation. Zumindest eines dieser Produkte (Nomadbestand den Test recht gut. Allerdings wurden hier nicht alle Zweifel an der These ausgeraeumt, dass umfangreichere Entwicklungsaufgaben keineswegs ebenso einfach geloest werden koennen.

Die besten Ergebnisse erzielten Umgebungen, die etablierte Datenbanken mit CASE-Werkzeugen verbanden. Hier sind besonders Oracle, Linc, und Natural zu erwaehnen. Eine erfreuliche Eigenschaft aber hatten alle untersuchten Produkte: Sie zeigten sehr gute Leistungen bei der Softwarewartung.

*Der Autor Professor Dr. Eberhard Rudolph ist an der Fachhochschule Bremerhaven Professor fuer Informationssysteme David Whiteside ist leitet die Beratungsgesellschaft Computing Futures in London. Kopien der einzelnen Testergebnisse koennen von Computing Futures, Chiltington House, East Chiltington, Lewes, East Sussex, BN7 3QU, England bezogen werden. Eine detailliertere Uebersicht ist bei Professor Dr. Eberhard Rudolph, Mozartstrasse 37, 2850 Bremerhaven, erhaeltlich.