In der täglichen Praxis des Projektgeschäfts lassen sich anhand der Schätzgenauigkeit kaum Rückschlüsse darauf ziehen, wie tauglich eine verwendete Methode zur Aufwandsabschätzung ist. In der Softwareentwicklung spricht man von der Schätzgenauigkeit als Verhältnis von geschätztem (Plan) zu tatsächlichem (Ist) Projektaufwand. Werte über 100 Prozent stellen somit eine Überschätzung des Projektaufwands dar, Werte darunter eine Unterschätzung. Die Erfahrung zeigt, dass der Aufwand für Entwicklungsprojekte in der Regel unterschätzt wird. Daher bemühen sich Experten seit den Anfängen der Softwareentwicklung um eine Verbesserung der Schätzmethoden. Eine hohe Schätzgenauigkeit, das heißt ein Wert möglichst nahe an 100 Prozent, gilt dabei als das Qualitätskriterium schlechthin für eine Methode.

Prinzipiell leidet die Schätzgenauigkeit daran, dass der geschätzte und der Ist-Aufwand zu unterschiedlichen Zeitpunkten erhoben werden müssen: zu Beginn beziehungsweise am Ende des Projekts. In der Zwischenzeit treten jedoch fast immer, zumindest öfter als gewünscht, ungeplante Ereignisse auf.

Leichtfertiger Umgang mit einem Kompositum

Aufgrund der zeitlichen Diskrepanz steht die Schätzgenauigkeit im Spannungsfeld von fünf Einflussfaktoren. Dies sind die Schätzmethode, die vorhandenen Informationen, das Projekt-Management, die ungeplanten Ereignisse sowie die Erfassung des Ist-Aufwands.

1. Schätzmethode:

Der Sinn einer Schätzmethode ist, aus den zum Zeitpunkt der Schätzung verfügbaren Informationen eine möglichst realistische Prognose des Aufwands abzuleiten. Eine gute Schätzmethode - und sei es auch nur die "Erfahrung" - hilft dem Schätzer daher, alle vorhandenen und für die Schätzung wichtigen Informationen zu berücksichtigen und daraus plausible Schlüsse auf den Aufwand zu ziehen. In der Regel wird sich eine gute Schätzmethode positiv auf die Schätzgenauigkeit auswirken.

Negative Auswirkungen entstehen, wenn die Schätzmethode wichtige Informationen nicht berücksichtigt. So kann auch ein erfahrener Schätzer "nicht an alles denken". Hinzu kommt, dass auch die Schätzwerkzeuge nur mit einer beschränkten Anzahl von Parametern arbeiten. Darüber hinaus kann eine Schätzmethode zu falschen Schlüssen aus den verfügbaren Informationen führen, zum Beispiel durch falsche Modellannahmen. Beruht die Schätzmethode auf "Erfahrung", so führen die durch fehlende Systematik bedingten Wissenslücken zu falschen Prognosen. Die Unkenntnis bestimmter Techniken ist hier ein Beispiel unter vielen.

Es ist unbestritten: Die Methode beeinflusst die Genauigkeit der Schätzung. Allerdings nicht ausschließlich, denn die vier übrigen Komponenten tragen ebenfalls zur endgültigen Genauigkeit bei.

2. Vorhandene Informationen:

Die vor Beginn des Projekts vorliegenden Informationen über Anforderungen, Architektur, verfügbare Mitarbeiter, Kunden und ähnliche grundlegende Aspekte sind meist recht dürftig. Eine Schätzung ist daher teilweise spekulativ. Wird später der Ist-Aufwand ermittelt, liegen wesentlich mehr beziehungsweise vollständige Informationen über das Projekt vor. Hätte der Schätzer sie vorher gehabt, wäre sicher eine ganz andere Schätzung zustande gekommen. Ein Teil der Schätz(un)genauigkeit erklärt sich also durch diese Informationslücken.

3. Projekt-Management:

Auch das Projekt-Management beeinflusst die Schätzgenauigkeit, indem es den Ist-Aufwand steuert. Durch gutes Projekt-Management lässt sich Aufwand sparen, Probleme im Projekt-Management, zum Beispiel aufgrund einer mangelnden Koordination der einzelnen Tätigkeiten und Teams, führen hingegen schnell zu Mehraufwand.

Darüber hinaus gilt das "Parkinsonsche Gesetz": Werden im Laufe des Projekts die Mittel knapp, werden geplante Aktivitäten gestrichen, um das Budget auf Biegen und Brechen einzuhalten. War die Schätzung zu großzügig, kann die Arbeit ausgedehnt werden, um den vorgesehenen Aufwand "aufzufüllen".

4. Ungeplante Ereignisse

führen zu ungeplantem Aufwand. Typisch sind plötzliche Änderungen in den Anforderungen. Das Ergebnis: Der angenommene Inhalt des Projekts zum Zeitpunkt der Schätzung ist ein anderer als der tatsächliche zum Zeitpunkt der Ist-Erfassung. Schätzung und Ist-Aufwand sind dann, streng genommen, gar nicht mehr vergleichbar. So erklärt sich ein weiterer Teil der Schätz(un)genauigkeit.

5. Erfassung des Ist-Aufwands:

Der erfasste Ist-Aufwand ist nicht immer identisch mit dem tatsächlich angefallenen. Dafür gibt es drei Gründe. Ganz oben steht die Manipulation des Ist-Aufwands durch Mitarbeiter, die danach beurteilt werden, wie sie die Schätzung einhalten. Der zweite Grund sind Erfassungs-Verschiebungen. Sie kommen vor, wenn der angefallene Aufwand nicht in ein Erfassungsschema passt, das zum Beispiel nach Projektphasen gegliedert ist, und er an anderer Stelle verbucht wird. Der für eine spezielle Erfassungskategorie gebuchte Aufwand ist dann nicht notwendigerweise der dafür angefallene. Der dritte Grund besteht in der Nicht-Erfassung von Überstunden, wodurch der Ist-Aufwand zu niedrig angegeben wird.

Diese Punkte sind besonders relevant, wenn Daten aus vergangenen Projekten für zukünftige Planungen als Referenz genutzt werden. Der erfasste Ist-Aufwand und damit die ermittelte Schätzgenauigkeit können dann in die Irre führen.

Nachträglich schätzen?

Das Maß der Schätzgenauigkeit stellt also eine kombinierte Größe dar, in der die Effekte der genannten, sich gegenseitig beeinflussenden Komponenten gemeinsam gemessen werden. Das ist zunächst wenig konkret. Möchte man nur eine dieser Komponenten messen, nämlich den Effekt der Schätzmethode, müssen die Einflüsse der anderen Komponenten ausgeschlossen werden.

In der Forschung wird empfohlen, zur Überprüfung der Genauigkeit einer Schätzmethode Ex-post-Schätzungen vorzunehmen, also nach Abschluss des Projekts mit den dann vorliegenden Informationen erneut zu schätzen und die Ergebnisse mit dem Ist-Aufwand zu vergleichen. In der Praxis sind Ex-post-Schätzungen jedoch unpraktikabel, sie stellen einen zusätzlichen Aufwand dar. Besser ist daher der Ansatz, eine belastbare Aussage zur Genauigkeit der Schätzmethode durch einen weitgehenden Ausschluss der Fremdeinflüsse zu treffen. Dies lässt sich erreichen, indem man vier Regeln befolgt.

Vier Regeln für eine bessere Schätzgenauigkeit

Als erste Regel müssen die Grundlagen der Schätzung dokumentiert werden. In der Schätzung sollte offen gelegt sein, auf welchen Informationen und Annahmen sie basiert. Ergeben sich neue Informationen, die eine Konkretisierung oder Anpassung der Schätzung erlauben oder gar erfordern, so sollte diese Anpassung auch geschehen. Damit wird sichergestellt, dass bereits die Schätzung möglichst viele der Informationen berücksichtigt, die nach Abschluss des Projekts dem Ist-Aufwand zugrunde liegen. Die Informationslücke zwischen den beiden Maßen wird geschlossen, zumindest kleiner.

Die Schätzung kontinuierlich aktualisieren, lautet die zweite Regel. Die Schätzung sollte angepasst werden, wenn durch das Eintreten ungeplanter Ereignisse die geplanten Aufwände nicht mehr zu halten sind.

Drittens: Mit der Erfassung des Ist-Aufwands muss eine Qualitätssicherung einhergehen. Bei der Erfassung des Ist-Aufwands sollten die genannten Fehlerquellen ausgeschlossen werden, indem Mitarbeiter nicht nach der Schätzgenauigkeit beurteilt, die Schablonen zur Erfassung der Aufwände den Strukturen der aktuellen Schätzungen angepasst und Überstunden gegebenenfalls separat erfasst werden.

Als vierte Regel wird ein nicht angekündigter Audit empfohlen. Zu einem beliebigen Zeitpunkt im Laufe des Projekts nimmt ein am Projekt nicht beteiligter Mitarbeiter die aktuelle Schätzung und den aktuellen Ist-Aufwand unter die Lupe und diskutiert mit dem Team unter anderem den Projektfortschritt und mögliche Risiken. Diese Audits motivieren das Projekt-Management nicht nur zur Einhaltung der erstgenannten drei Regeln, deren Aufwand gern gescheut wird, sondern helfen auch, Betriebsblindheit zu vermeiden und eine objektive Sicht auf das Projekt herzustellen.

Werden diese Prinzipien berücksichtigt, so führt dies zwar noch immer nicht zu einer sauberen Schätzgenauigkeit, um die verwendete Schätzmethode beurteilen zu können. Es ergibt sich jedoch eine bestmögliche Annäherung. Insbesondere der Einfluss des Projekt-Managements auf die Schätzgenauigkeit ist beträchtlich und lässt sich nicht ausschließen. Diesen sowie die anderen Effekte sollte man daher bei der Interpretation der Schätzgenauigkeit auf jeden Fall im Hinterkopf behalten. (ue)