Was taugen kostenlose SAP-Testwerkzeuge?

Anwender wollen ihre betriebswirtschaftliche Software eingehend testen. Viele Fachabteilungen begutachten neue SAP-Programme im Rahmen von Fach-, Integrations- oder Abnahmetests. Anwender erarbeiten in der Regel Testfälle, um die Funktionsfähigkeit und Qualität der Software zu prüfen. Inhalt solcher Testfälle sind zumeist fachliche Geschäftsprozesse, die in der Anwendung abgebildet werden. Auf Basis der Ergebnisse dieser Tests prüft die Fachabteilung, ob die Anforderungen an die Software erfüllt sind.

Tester erzeugen und dokumentieren Testfälle gern mit Office-Programmen. Eine Excel-Tabelle dient oft dazu, Tests zu koordinieren, zu überwachen und darüber Bericht zu erstatten. Das funktioniert auch (fast) immer - irgendwie. Doch diese auf den ersten Blick preiswerte Variante hat einige Nachteile. Auf Dauer lassen sich Tabellenfunktionen und Office-Makros nur aufwändig pflegen. Zudem fehlt in der Regel eine Integration beispielsweise in ein Fehler-Management-Tool. Insbesondere bei groß angelegten Tests verlieren Anwender den Überblick wegen der Fülle an Dokumenten und Dateiverzeichnissen.

Test-Management-Werkzeuge

Es gibt viele integrierte Test-Management-Werkzeuge auf dem Markt. SAP selbst bietet eine Reihe kostenfreier Tools an. Dazu zählen "SAP Testworkbench", "SAP Service Desk" und "eCATT" (Extended Computer Aided Test Tool). Alle Programme ruft der Anwender über das SAP-System-Management-System "Solution Manager" auf. Welche Vor- und Nachteile diese Produkte aufweisen, haben die Autoren im Rahmen ihrer mehrjährigen Tätigkeit in SAP-Projekten im Bankenumfeld in Erfahrung gebracht.

SAP Testworkbench

Mit der SAP Testworkbench kann der Anwender Testfälle anlegen sowie Testpläne und Testpakete erzeugen. Ein Testplan setzt sich aus mehreren Testpaketen zusammen. Ein Paket umfasst die Testfälle, die ein Tester abarbeiten soll. Reporting-Features unterstützen das Controlling und Monitoring von Testvorhaben. Der Tester hat die Möglichkeit, die für seinen Test benötigten Transaktionen oder eCATTs direkt aus dem Testfall zu starten. Der Vorteil: Er muss nicht an unterschiedlichen Applikationen angemeldet sein.

Die Testworkbench ist in Sachen Testplanung - und vorbereitung etwas umständlich und unübersichtlich. Nicht dargestellt werden können in der aktuellen Version beispielsweise Abhängigkeiten zwischen Testschritten innerhalb eines Testfalls, wie es zum Beispiel für Ende-zu-Ende-Tests zur ganzheitlichen Überprüfung von Geschäftsprozessen üblich ist. Ebenfalls ist es derzeit nicht ohne weiteres möglich, den Testverlauf über mehrere Tester durch Workflows zu koordinieren.

Auch das Monitoring der planmäßigen Testfallabarbeitung wird im Standard nur rudimentär unterstützt. Die erwartete Bearbeitungszeit für einzelne Testfälle kann nicht hinterlegt werden, so dass Aufwandsschätzungen zum Beispiel für Fachabteilungsmitarbeiter schwierig zu ermitteln sind. Eine Vorausschau auf Termine und Budgets oder Neuplanungsfunktionen werden nicht angeboten.

Sofern sich der Tester mit SAP-Oberflächen auskennt, findet er sich in dem Werkzeug schnell zurecht. Der Schulungsaufwand ist somit gering.

Service Desk

Der Service Desk dient dazu, Fehlermeldungen anzulegen, weiterzuleiten, zu überwachen und darüber Berichte zu erzeugen. Die Einsatzvorbereitung ist einfach: Für alle Benutzer des Tools sind SAP-Geschäftspartner im Solution Manager anzulegen. Auch die Bedienung dieser Oberflächen fällt mit SAP-Systemen vertrauten Nutzern leicht. Im Test erkannte produktive Fehler können direkt als OSS-Meldung (Online-Support-System) an die SAP weitergeleitet werden. Wie die SAP Testworkbench kostet das Tool keine Lizenzgebühren.

eCATT

Mit dem Extended Computer Aided Test Tool können Firmen SAP-Tests automatisieren. Testlogik und Test- sowie Systemdaten sind voneinander getrennt, so dass sich Komponenten leicht wiederverwenden lassen. Testergebnisse protokolliert die Software. eCATT kann von in der Testworkbench angelegten Testfällen aufgerufen werden.

Um eCATT-Scripts zu schreiben, muss der Nutzer kein Programmierer sein, sollte aber über IT-Kenntnisse verfügen. Der Aufbau der eCATT-Scripts beschränkt sich im Wesentlichen auf die Aneinanderreihung unterschiedlicher Transaktionen. Die benötigten Parameter werden aus verschiedenen Testdaten-Containern versorgt. Die Scripts können von IT-affinen Fachabteilungsmitarbeitern erstellt werden. Zunehmend bauen alllerdings doch IT-Mitarbeiter die eCATTs auf.

Insbesondere für sich wiederholende Regressionstests - zum Beispiel während eines SAP-Release-Wechsels - lassen sich Testfälle leicht automatisieren.

Weiterhin bietet SAP die Möglichkeit, auch den Test von Nicht-SAP-Anwendungen in eCATTs zu integrieren, und unterstützt damit systemübergreifende Tests von Geschäftsprozessen. Sofern externe Werkzeuge benutzt werden, ist die Schnittstelle von der SAP zu zertifzieren und das Werkzeug im eCATT-System zu registrieren.

Was Testwerkzeuge taugen, hängt nicht zuletzt davon ab, ob sie gut in die SAP-Umgebung eingebunden sind. Bei den genannten Tools trifft das zu: Alle Teilprozesse im Test-Management - von der Testplanung und -vorbereitung über die Testabwicklung, das Berichtswesen (Reporting) und die Überwachung (Monitoring), das Fehler-Management und die Fehlerkorrektur bis zum Transportwesen - werden durchgängig in einer für SAP-Anwender vertrauten Systemumgebung unterstützt (siehe Abbildung oben).

Fazit

Hauptvorteile der Test-Tools sind die vollständige Integration in die SAP-Umgebung sowie die Möglichkeit, alle Prozesse im Test-Management integriert in einem Werkzeug abzubilden. Die Tools tun das, was sie tun sollen, ließen sich aber in der Handhabung und auch in Teilfunktionen durchaus noch verbessern. Das betrifft beispielsweise die Visualisierung von Abhängigkeiten zwischen Testfällen oder Testschritten sowie die Dokumentation einzelner Testschritte, weshalb die Protokollierung der Tests oft weiterhin in Office-Tools erfolgt.

Nach Angaben der SAP werden die Werkzeuge permanent weiterentwickelt. So sind seit kurzem Features der "Solution Manager Enterprise Edition" wie die Abbildung von Testsequenzen oder Workflow-Funktionen verfügbar. Der Solution Manager bildet auch die Grundlage für SAPs umstrittenen Enterprise Support.

SAP nimmt für die Tools - bis jetzt - keine Lizenzgebühren. Trotzdem entstehen für Firmen Kosten, da sie die Programme ja aufsetzen und in Betrieb nehmen müssen. Ob sich ein Einsatz lohnt, hängt von verschiedenen Fragen ab:

• Wie oft werden Testfälle erstellt und geändert?

• Wie viele Testfälle sind zu verwalten?

• Wie oft und in welchem Umfang werden wie viele Tester aus Fachabteilungen eingesetzt?

• Ist es einfacher und effektiver für Tester und Test-Manager, SAP-Oberflächen statt Third-Party-Tools und Tabellenkalkulationswerkzeugen einzusetzen?

• Lohnt sich die Testfallautomatisierung mit eCATT, weil beispielsweise Release-Wechsel-Projekte regelmäßige Regressionstests erfordern?

In diversen Firmen werden die Tools mehr oder weniger erfolgreich eingesetzt. SAP investiert nach eigenen Angaben weiter in die Werkzeuge. Ab einem bestimmten Testvolumen lohnt es sich, über den Einsatz der Tools nachzudenken. Die Wiederverwendbarkeit und Automatisierung (eCATT) zum Beispiel in sich wiederholenden Release-Wechsel-Projekten ist ein gewichtiges Argument für die Tools. (fn)