Die Volksweisheit "Alle Theorie ist grau", gilt auch für die Installation und Anwendung von Büroinformationssystemen. Ralf Bauermann untersucht Kriterien, die bei der Realisierung eines benutzerfreundlichen, in den unternehmerischen Gesamtablauf integrierten Systems erfüllt sein müssen.

Ist der Zielkatalog erarbeitet, so sind im nächsten Schritt die "Kriterienwerte" zu ermitteln. Das heißt, es ist festzustellen, wie nun bestimmte Büroinformationssysteme die Ziele zu erreichen vermögen. Der einfachste Weg besteht darin, den jeweiligen Anbietern den Anforderungskatalog zur Verfügung zu stellen und um Beantwortung zu bitten. Dies stößt allerdings auf drei Schwierigkeiten:

Zum Teil kann es dem Anbieter gar nicht möglich sein, bestimmte Fragen zu beantworten, da sich erst in Abhängigkeit von der Anwendungsumgebung bestimmte Eigenschaften als vorteil- oder nachteilhaft herausstellen.

Zum zweiten geht jeder Zielkatalog mehr oder weniger von der bestimmten "Ideallösung" aus. Dies läßt sich etwa anhand bestimmter Anforderungen oder des Sprachgebrauchs feststellen. Die Gefahr besteht darin, daß andere - aber durchaus nicht minder schlechte Lösungen - durch das Raster des Zielsystems fallen. Es werden Dinge gefordert, die veraltet oder zweitrangig sind, dagegen wird vergessen, nach anderen wichtigen Eigenschaften zu fragen. Besonders gut wird dabei das System abschneiden, das der Bewerter bei der Aufstellung des Kriterienkatalogs bereits "im Hinterkopf" hatte. Allerdings ist die Gefahr um so geringer, je weniger "technisch" das Zielsystem ist.

Das dritte Problem liegt darin, daß "Ja, aber"-Antworten unvermeidbar sind. Wird etwa ein Kriterium über - erfüllt oder nur mit Einschränkungen erfüllt, so fehlt im allgemeinen die Möglichkeit, dies auch entsprechend darzustellen.

Aufgrund der aufgezeigten Schwierigkeiten läßt sich festhalten, daß der per Post an den Anbieter verschickte Kriterienkatalog lediglich dazu dienen kann, eine grobe Vorauswahl vorzunehmen. Das heißt aber auch, daß dieser Kriterienkatalog relativ kurz sein kann und sich auf die wesentlichen Ziele - insbesondere Muß-Ziele - beschränken kann. Detailfragen sind hier fehl am Platze.

Ein weiterer Schritt, die Kriterien zu ermitteln, besteht darin, eine oder mehrere Testinstallationen im eigenen Hause durchzufahren.

Bevor im folgenden aber näher auf Arten und Durchführung von Testinstallationen eines Büroinformationssystems eingegangen wird, sollen zunächst die möglichen "Fehlerquellen" bei Testinstallationen beleuchtet werden. Sieben Grundprobleme gilt es insbesondere zu beachten:

- Referenzproblematik

- Erfassungsproblematik

- Testmüdigkeit der Anwender

- Nutzenverlagerung

- Situationsproblematik

- Verbundproblematik

- Problem der Wertsynthese

Die Referenzproblematik wird meist erst nach Abschluß einer Testinstallation deutlich. Im Verlauf und nach Abschluß einer Pilotinstallation wird sorgsam befragt und vermessen. So weiß man etwa, wie zufrieden oder unzufrieden die Anwender sind, wieviel schneller oder besser Vorgänge bearbeitet werden etc. Leider sind diese Ergebnisse völlig wertlos, wenn sie nicht mit einer "Referenz" verglichen werden können. Die Referenz könnte beispielsweise der Ist-Zustand vor der Einführung des Bürosystems sein. Nur so läßt sich feststellen, was das Bürosystem zwischenzeitlich verändert hat. Und genau das soll ja ermittelt werden.

Erfassungsproblematik heißt, daß es vielfach schwierig ist, Wirkungen eines Büroinformationssystems überhaupt wahrzunehmen. So sind beispielsweise einige Effekte noch nicht einmal quantitativ meßbar: Eine gestiegene Qualität von Produkten beziehungsweise Dienstleistungen oder etwa ein besserer Informationsstand sind schwer nachweisbar.

Nachdrücklich sei auch vor der "Testmüdigkeit" gewarnt. Endbenutzer in kurzen Testinstallationen haben - verständlicherweise - kein großes Interesse daran, sich tiefer in ein neues Büroinformationssystem einzuarbeiten. Das Einarbeiten in das neue System hält den Anwender nur auf und der Know-how-Erwerb bringt ihm keinerlei Vorteile, da ihm das System ja nach einer bestimmten Frist wieder weggenommen wird. Noch stärker tritt dieser Effekt in Erscheinung, wenn der Anwender verschiedene Systeme nacheinander testen soll.

Nutzenverlagerung: Es macht keinen Sinn, ein Büroinformationssystem, aus organisatorischer und monetärer Sicht beurteilen zu wollen, ohne die Einbettung der Arbeitsplätze in den Gesamtprozeß zu kennen. Es können sich mehrere Effekt ergeben:

- Der Nutzen des Büroinformationssystems fällt dort an, wo auch der Technikeinsatz erfolgt. Dies ist aus der Sicht des Bewerters der Idealfall.

- Der Nutzen fällt ganz oder teilweise bei vor-/nachgelagerten Stellen an. Im Extremfall entstehen der betrachteten Stelle sogar "Nachteile", die aber durch die hieraus entstehenden Vorteile bei vor-/nachgelagerten Stellen mehr als aufgewogen werden.

- Der Nutzen ist nicht direkt sichtbar, sondern kommt etwa den Führungskräften (bessere und schnellere Reports) oder Kunden zugute (schnellere Reaktionszeiten, kein "Verschlampen" von Anfragen/Aufträgen).

- Time-Lag: Der Nutzen ergibt sich in einer der vorgenannten Arten, tritt allerdings erst zeitlich verzögert (oft Monate) auf: Dies trifft etwa zu, wenn Planungsprozesse verbessert werden. Ein Großteil der Wirkungen zeigt sich erst bei der Durchführung der Pläne.

Situationsproblematik: Bei jeder Testinstallation wird es Einflußfaktoren geben, die eher zufällig sind, aber die Testsituation nachhaltig beeinflussen. Dies kann etwa mit der Geschäftssituation zusammenhängen (zum Beispiel überdurchschnittlich viele Geschäftsvorfälle), mit personalen Faktoren (zum Beispiel neue Mitarbeiter im Testfeld) oder ähnliches. Wichtig sind in diesem Zusammenhang auch Anfangsschwierigkeiten. Diese bestehen weniger in technischen Schwierigkeiten,- als vielmehr darin, daß sowohl für die Systembetreuer als auch die Anwender das Büroinformationssystem neu ist und daher erst aus Erfahrungen gelernt werden muß. So sind zu Beginn einer Testinstallation Schwierigkeiten zu beobachten, die mittelfristig behoben werden und bei der produktiven Anwendung keine Rolle mehr spielen.

Verbundproblematik: Wirkungen gehen nie isoliert von einem Büroinformationssystem als technischem Gebilde aus, sondern genauso von den begleitenden organisatorischen Maßnahmen (zum Beispiel geänderte Aufgabenverteilung), personalen Maßnahmen (zum Beispiel Schulung) und informationskonzeptionellen Maßnahmen (zum Beispiel neuer Informationsfluß, geändertes Ablagesystem). Ein Büroinformationssystem in einer unzureichenden Aufbau-, Ablauforganisation, unpassenden Führungssystemen und Führungsstilen (zum Beispiel "alles läuft über meinen Tisch") und schlecht qualifiziertem beziehungsweise motiviertem Personal muß zwangsläufig bei jeder Bewertung durchfallen. Erschwerend kommt hinzu, daß kaum zu trennen ist, welche Wirkungen nun auf das Büroinformationssystem selbst oder die damit verbundenen Reorganisationsmaßnahmen zurückzuführen sind.

Probleme der Wertsynthese mindern oft ganz erheblich die Aussagekraft von Büropilotprojekten. Wertsynthese heißt, die vielen ermittelten Einzelwerte gemäß Kriterienkatalog zu möglichst nur einem Endwert zusammenzufassen. Hierzu bieten sich verschiedene Techniken an. So können etwa mit Hilfe der Nutzwertanalyse alle Werte zu genau einem Punktwert vereinigt werden. Ähnlich ist das Vorgehen bei der Kostenwirksamkeitsanalyse. Jedoch erhält man hier sowohl einen monetären Endwert (alles was sich sinnvoll in DM bewerten läßt), als auch einen Punktwert (nicht monetär erfaßbarer Nutzen).

Bei Pilotinstallationen ist stets Vorsicht geboten

Diese werden dann zueinander ins Verhältnis gesetzt und es ergibt sich der Kosten-/Wirksamkeitsquotient. Leider akzeptieren Entscheider oftmals Bewertungsergebnisse ausschließlich in "harten DM". Da solche Aussagen bei Büroinformationssystemen nur in Teilbereichen möglich sind, ist der Bewerter gezwungen wenn es der Entscheider nicht anders will -, willkürlich nicht-monetäre Effekte in "harte DM" umzurechnen. Es wird dann eine Aussage vorgespiegelt, die jeglicher Realität entbehrt. In diesem Fall hätte man auch gleich nach Gefühl oder Münzwurf entscheiden können.

Der, vorgenannten Probleme muß man sich bewußt sein, wenn man eine Pilotinstallation durchfuhren will. Letztere lassen sich insbesondere anhand dreier Kriterien charakterisieren:

- Dauer der Testinstallation: Hier ist insbesondere zwischen

- kurzfristigem Test (4 bis 8 Wochen)

- mittelfristigem Test (6 Monate) und

- langfristigem Test (länger 1 Jahr) zu unterscheiden.

Größe des Testfeldes- Beispielhaft sind zu nennen:

- "Benutzerlose" Tests: Der Test wird von Systemspezialisten durchgeführt, ohne daß Endbenutzer beteiligt sind. Die Spezialisten testen die einzelnen Systemfeatures, ohne das System tatsächlich anzuwenden.

- Kleingruppenpiloten: Einer kleinen (kleinsten) Gruppe von Benutzern wird das Bürosystem zur Verfügung gestellt. Hier sind Benutzergruppen zwischen zwei und 15 zu

nennen.

- Piloten mit "kritischen Massen": Der Benutzerkreis wird so gewählt, daß eine hohe prozessuale Verkettung zwischen ihnen vorliegt. Dies können komplette Bearbeitungsvorgänge sein oder Teilnehmer, die aus anderen Gründen einen regen Informationsaustausch untereinander pflegen. Testfelder, in denen zum Beispiel ausschließlich Sekretärinnen zu finden sind, können also bei noch so großer Teilnehmerzahl, niemals eine kritische Masse erreichen.

Sicht auf den Test:

- Labortest: Die einzelnen Komponenten des Systems werden jeweils von Spezialisten getestet.

- Eingeschränkter Endbenutzertest: Das Büroinformationssystem wird Endbenutzern zur Verfügung gestellt. Eine Reorganisation der Bereiche wird nicht vorgenommen, lediglich eine Schulung und Motivation.

- Endbenutzertest: Im Gegensatz zum eingeschränkten Benutzertest werden hier organisatorische -Abläufe, Datenträger, Formulare, Berichtsinhalte etc. modifiziert. Es steht vor allem genau fest, welche Prozeßketten (Anwendungen) auf das Bürosystem übertragen werden.

Folgende Kombinationen der vorgenannten Merkmale gelten als sinnvoll:

- Kurzfristiger, benutzerloser Labortest. Ein Spezialistenteam prüft aus technischer Sicht in zirka vier bis acht Wochen ein Büroinformationssystem.

- Mittelfristiger, kleingruppenorientierter, eingeschränkter Benutzertest. Diese Art ist nur in genau einer Situation sinnvoll, nämlich wenn die Pilotanwender die Personen sind, die später die Einführung des Bürosystems vornehmen sollen. Es handelt sich also im Grunde um eine Erweiterung des Labortests, bei der die Spezialisten selbst das System anwenden, um möglichst viele Erfahrungen vor einer nachfolgenden Einführung zu sammeln.

- Langfristiger Benutzertest mit kritischen Massen. Hier wird in einem abgegrenzten, aber sowohl zeitlich als auch personell hinreichend großen Testfeld versucht, den "Ernstfall" eines unternehmungsweiten Büroinformationssystems vorab zu simulieren.

Die Pilotinstallation vom Typ "kurzfristiger Laborversuch" vermag lediglich über rein technische Aspekte eines Bürosystems Auskunft zu geben. So testet etwa ein Spezialist die Textverarbeitung, der nächste den Terminkalender etc.

Diese Laborergebnisse besitzen nur bedingt Aussagekraft. So kommt es zum einen häufig vor, daß der spätere Endanwender mit den Urteilen der Spezialisten nicht übereinstimmt, da aus der konkreten Anwendungssituation heraus andere Dinge wichtig sind oder unwichtig werden. Ebenso wird die Aussagekraft dadurch geschwächt, daß viele Anforderungen an ein Bürosystem erst deutlich werden, wenn es unter realen Bedingungen eingesetzt wird. Hierzu ein Beispiel: Ein Mailsystem, das bei wenigen Teilnehmern noch .zufriedenstellend funktioniert (Labor), kann sich bei unternehmensweiter Anwendung als völlig unzureichend erweisen (wie wird an einen Empfänger adressiert - wie an die "diversen Müllers", wie erfolgt der Teilnehmer-Update bei mehreren hundert Teilnehmern, was passiert beim Ausfall eines Mailingknotens, ist das Mailsystem absolut sicher).

Ansprüche vor Beginn der Testphase festlegen

,Aus diesen Gründen eignet sich der Pilottest in der Regel nur dazu, -die Nicht-Eignung eines Systems festzustellen: Was schon "im Labor" versagt, wird kaum in der Gesamtunternehmung funktionieren. Hingegen ist eine - selbst rein technische - Aussage über eine Eignung kaum möglich. Das heißt, daß Laborversuche insbesondere für eine Vorauswahl von Systemen sinnvoll sind.

Der mittelfristige, kleingruppenorientierte Benutzertest ohne Reorganisationsmaßnahmen bringt bezüglich der Bewertung eines Büroinformationssystems kaum Vorteile. Der Zusatznutzen liegt eher darin, daß die Testspezialisten, aufgrund der größeren Erfahrung mit Bürosystemen, wesentlich besser auf eine nachfolgende breite Einführung beim Endanwender vorbereitet sind.

Erst der langfristige Anwendungspilot mit kritischen Massen vermag neben einer fundierteren technischen Sicht auch die anwendungsorientierte, ökonomische und personale Sicht auf ein Bürosystem zu eröffnen. Die Benutzer haben nach der Schulung hinreichend Zeit, sich an das neue System zu gewöhnen. Es ist sichergestellt, daß der Großteil der relevanten Kommunikationspartner eines Pilotteilnehmers sind (.kritische Masse'). Formulare, Aufgaben, Abläufe, Führungsstile etc. sind an die neuen Erfordernisse beziehungsweise Freiräume des Bürosystems angepaßt.

Dieser Pilot setzt aber verschiedene Dinge voraus:

- "Rückbesinnung" auf die Abteilungs- und Unternehmensziele, die letztendlich besser erreicht werden sollen.

- Abteilung eines umfassenden Kriterienkataloges (= Zielsystems) mit technischen, organisatorischen, personalen und ökonomischen Kriterien. Hinzu kommen noch die anbieterbezogenen Anforderungen.

- Definition einer Referenz. Zum Beispiel vorhergehende Bewertung des Ist-Zustandes anhand des Kriterienkataloges und/oder Durchführung eines Parallelpiloten.

- Gegebenenfalls Vorauswahl von Bürosystemen durch kurze, prägnante Anforderungskataloge.

- Falls eine Testinstallation notwendig erscheint, Wahl der richtigen Pilotart.

- Sorgsame Abgrenzung des Testfeldes (zum Beispiel Dauer, kritische Masse, personale Eigenschaften)

- Wertsynthese: Da sowohl monetäre als auch nicht-monetäre Größen anfallen, bietet sich oft eine Kosten-Wirksamkeits-Analyse an.

- Zurechnung der Bewertungsergebnisse auf ihre Verursacher (organisatorische und personale Maßnahmen, logisches Bürokonzept und technisches Bürosystem).

- Vergleich des Piloten mit der Referenz/ den Parallelpiloten,

Abschließend sei noch einmal darauf hingewiesen, daß trotz der unbestrittenen Notwendigkeit der Bewertung von Büroinformationssystemen, der "optimale Einsatzzeitpunkt" nicht verpaßt werden darf. Tests sind, wenn sie sich über längere Zeiträume hinziehen und größere Teams beschäftigen, sehr kostenintensiv. Hinzu kommt, daß die Bewertungsergebnisse zum Beispiel durch Releasewechsel oder neue Produkte sehr schnell veraltern, so daß die Testteams fast zwangsläufig in eine Endlosschleife geraten müssen. Der schwerwiegendste Schaden entsteht aber dadurch, daß mit jedem Tag, mit dem das Büroinformationssystem später eingeführt wird, auch der entsprechende Nutzen des Systems verloren geht. Es muß also genau abgeschätzt werden, wann der zusätzliche Nutzen, der durch weiteres Testen und Bewerten entsteht, durch den Schaden, zu dem es aufgrund der verspäteten Einführung kommt, aufgehoben beziehungsweise sogar übertroffen wird. Spätestens an diesem Punkt ist dann die Bewertung einzustellen und ist eine Entscheidung nötig.