Integrierte Testwerkzeuge und Automatisierung helfen entscheidend bei der Qualitätskontrolle in Softwareprojekten. Dies ist die Erfahrung von Richard Wisbrun, Leiter des Client-Server-Bereiches im BMW-Testcenter, und seines seit 1998 bestehenden Teams. So hat dieser Ansatz bei Funktionstests ("Black Box") unter anderem den Vorteil, dass sich die Anforderungen der Fachtester (Alphatester) vor den Testphasen einer neuen Anwendung in Testscripten beschreiben und diese sich unabhängig von den Benutzern jederzeit starten lassen. "Durch die Automatisierung können wir eine ganze Reihe von Standardtests vorab spezifizieren und am Tag der Lieferung der Software sofort beginnen. Damit lassen sich Teile der Qualität überprüfen, noch bevor der Fachtester sich damit in komplexerer Weise auseinander setzt." Diese Entkopplung der Prozesse helfe zugleich, die Projekttermine in Einklang zu bringen.
Allein durch die Vorbereitung von automatischen Tests werden die Fachtester motiviert, ihre Anforderungen für die Scripts detailliert zu benennen. So wird als Nebeneffekt Know-how gebündelt und vorab stärker zwischen den betroffenen Abteilungen ausgetauscht. Aber auch der Entwicklungsprozess (Software-Lifecycle) lässt sich insgesamt verbessern, weil der Einsatz des Test-Centers auf eindeutigen Arbeitsabläufen basiert. So gehören die Testumgebung, das Konfigurations-Management und frühe Phasen (Anforderungsanalyse) immer zusammen. Der Aufnahme der Testfälle geht zudem ein längerer Prozess des Testfalldesigns durch die fachlichen Instanzen voraus. Mit dem Abschluss der Testfallgenerierung lassen sich die Tests dann aber mit Hilfe der Werkzeuge schneller und effizienter umsetzen.
Ein Wermutstropfen ist für den Testleiter der zunächst hohe Anschaffungspreis der Test-Tools, die im Fall BMWs die Produkte "Winrunner", "Testdirector", "Xrunner" sowie "Loadrunner" der Firma Mercuy Interactive sind. Allerdings sind die Investitionen laut Wisbrunn schnell wieder hereingeholt. Zudem gibt es etwa zu Lasttests keine echte Alternative zur Automatisierung, es sei denn, man hält die sogenannten "Turnhallentests" für eine Lösung. Bei vielen Anwendungen bringen Lasttests schon innerhalb von vier Tagen aussagekräftige Ergebnisse. Ein Beispiel war BMWs weltweites Groupware-Directory, das vor der Live-Schaltung innerhalb von drei Monaten ausreichend getestet werden konnte.
Die Aufnahme der Scripts selbst war dabei innerhalb von wenigen Stunden erreicht, da der Ablauf immer gleich war. Die Last- und Funktionstests liefen während der Nacht und wurden etliche Male wiederholt. Zu beachten ist dabei, dass Lasttests schnell Resultate liefern müssen, da sie lediglich eine Momentaufnahme für ausgewählte Bestandteile einer Anwendung machen können. Letztere ist wiederum oft Teil ganzer Systemlandschaften, deren Anwendungen und Laufzeitumgebungen sich typischerweise in den Testphasen laufend ändern. Daher ist es laut Erfahrung des BMW-Experten entscheidend für die Aussagekraft und damit den Erfolg der Prüfung, dass sie sich innerhalb von wenigen Tagen abwickeln lässt.
Einen wichtigen Vorteile der Automatisierung sieht Testleiter Wisbrun vor allem in der Zeitersparnis. Zwar nehmen einzelne manuelle Tests weniger Zeit in Anspruch als ihre automatisierten Gegenstücke. Aber wenn das erste Testscript einmal aufgenommen ist, ergeben sich oft durch Wiederverwendung und Äquivalenzklassen Arbeitserleichterungen für den Tester und erhebliche Einsparungen. Zugleich warnt der Testleiter jedoch davor, den Aufwand für die Generierung und Pflege von Testscripts zu unterschätzen, insbesondere dann, wenn es sich um Tests für vielschichtige Architekturen handelt. Voraussetzung für den Erfolg des Test-Centers und der Automatisierung sind zudem technisch versierte Mitarbeiter, die nicht nur die Systeme gut kennen, sondern auch "negativ denken können, sprich: destruktiv nach Fehlern und Grenzen einer Anwendung suchen wollen". Allerdings sind auch die BMW-Testexperten bei komplexen und aufwendig zu testenden Architekturen wie Corba auf das Know-how der Spezialisten angewiesen.
Die Firma
BMW produziert selbst keine Software, sondern entwickelt sie gemeinsam mit externen Partnern. Dabei bleiben Planung, Spezifikation, Betrieb und Qualitätssicherung der Software als strategische Kernaufgaben bei der IT im Konzern. Um das Know-how und die Ressourcen für diese Aufgaben besser zu nutzen, gründete das Unternehmen vor vier Jahren im Mainframe-Umfeld das Test-Center. Dieses zählt heute 30 Mitarbeiter und fungiert als interner Dienstleister für die Projektleitung. Seit November 1998 betreut die Abteilung unter der Leitung von Richard Wisbrun auch Projekte im Client-Server-Umfeld.