Immer häufiger greifen Anwender bei der Suche nach Problemlösungen auf das Angebot an Standardsoftware zu. Die Liste der verfügbaren Programme wächst rasch. Besonders für Personal Computer, die zur Zeit Einzug in die Unternehmen und Betriebe haben, ist das Angebot mittlerweile groß und undurchsichtig geworden.

Jeder Anwender sucht selbstverständlich das für seine Zwecke "beste" Programm. Aber jeder hat ebenso selbstverständlich eine ganz individuelle Aufgaben- und Problemstellung. Schon allein deshalb ist es schwierig, mit "Standard"-Software spezielle Lösungen zu realisieren. Daß dies dennoch in den meisten Fällen möglich ist, liegt daran, daß Standardprogramme mehr Funktionen und Eigenschaften haben, als der einzelne Anwender braucht.

Die Aufgabenstellung bei der Softwareauswahl muß also darin liegen, die benötigten Programmeigenschaften herauszufinden und sie aus der Sicht der jeweiligen Problemstellung zu bewerten. Dabei wird sichtbar, daß jedes Programm nicht nur unterschiedlich stark ausgeprägte Eigenschaften und Merkmale hat, sondern sich auch mehr oder weniger gut für die gesuchte Problemlösung eignet.

Ganz grob formuliert heißt das: "Es gibt keine guten oder schlechten Programme, sondern jedes Programm ist gut oder schlecht(er) für die geforderte Aufgabenstellung geeignet." Eine objektive Beurteilung der Programme durch den Anwender selbst ist deshalb nicht möglich. Vielmehr muß auf eine möglichst objektiv durchgeführte Programmbeurteilung in einem zweiten Schritt eine subjektive Bewertung durch den Anwender folgen. Erst dann ist der Prozeß der Softwareauswahl abgeschlossen und das am besten geeignete Produkt gefunden.

Drei Fragen zum Einstieg

Wollte ein Anwender alle für ihn in Frage kommenden Produkte nach allen Kriterien prüfen und beurteilen, hätte er, abgesehen von den größtenteils mangelnden Voraussetzungen, ziemlich lange damit zu tun. Um dennoch innerhalb vertretbarer Aufwendungen zum Ziel zu gelangen, muß sich jeder Anwender vor Beginn der Auswahl drei Fragen beantworten:

1. Soll die Software nur in einer (einzigen) Systemumgebung eingesetzt werden?

2. Will der Anwender, beziehungsweise dessen Unternehmen, auch die Softwarewartung, das heißt die Pflege und Änderungen (für die eigenen Belange) übernehmen?

3. Soll die Software oder Teile davon auch in anderen Systemumgebungen (andere Rechner, andere Anwendungen) übertragen werden?

Im Rahmen dieses Beitrags soll nur die Vorgehensweise für den ersten Fall gezeigt werden. Die anderen Fälle sind nicht schwieriger oder komplexer als der erste Fall; die Aufwendungen bei der Auswahl werden jedoch wesentlich größer.

KO-Kriterien als Grobraster

Nach Vorlage der Programmangebote muß jedes Programm vier sogenannte KO-Kriterien erfüllen, bevor es Oberhaupt in die Wertung kommt:

1. Ist das Produkt Oberhaupt ein Produkt oder ist es noch ein Projekt?

Die Anzahl der Installationen muß größer 1 sein.

2. Ist das Produkt für die vorgegebene Systemumgebung verfügbar?

Dazu gehört die Erfüllung der Bindungen:

- betriebskompatibel

- schnittstellenverträglich mit DB/DC-System

- sind die Hardwarevoraussetzungen (aus der Sicht des Programms) gegeben?

3. Sind die vertraglichen Konditionen, zu denen das Programm angeboten wird (mit Ausnahme des Preises) akzeptabel?

4. Bietet der Hersteller (Lieferant) ausreichende Gewähr für die erforderlichen Zusatzleistungen, wie Schulung, Installation, gegebenenfalls Wartung?

Diese Angaben sind Mindestvoraussetzungen in einer Produktinformation oder in einem Software-Katalog, ohne die eine Auswahl undenkbar ist. Produkte die nach der Vorauswahl anhand dieser KO-Kriterien (KO deshalb, weil die Verneinung auch nur einer einzigen Frage das Produkt aus der weiteren Untersuchung ausschließt) übrig bleiben werden einer objektiven Qualitätsprüfung unterzogen.

Objektive Qualitätsbeurteilung

Qualität ist die Menge aller Merkmale und Eigenschaften eines Produkts, die zur Erfüllung eines vorgegebenen Anwenderbedarfs geeignet sind. (nach DIN). Darin steckt das ganze Geheimnis einer optimalen Produktauswahl. Voraussetzung für

-----------------------------------------------------------------------------------

Produkte

----------------------------------------------------------------------------------------

Qualitätsmerkmal A B C

----------------------------------------------------------------------------------------

Anwendungsabdeckung 7 8 6

Effizienz 5 7 6

Benutzerfreundlichkeit 8 3 8

Zuverlässigkeit 4 4 5

Robustheit 6 7 6

--------------------------------------------------------------------------------------

Summe 30 29 31

---------------------------------------------------------------------------------------

Platzziffer 2 3 1

------------------------------------------------------------------------------------------

Tabelle 1: Ergebnis der Bewertung der Qualitätsmerkmale

eine Auswahl ist daß mehr als ein Produkt zur Beurteilung anstehen. Deshalb sind zur Auswahl des besten Produkts zwei getrennte Schritte erforderlich.

1. Die objektive Beurteilung der Eigenschaften und Merkmale selbst (siehe Tab. 1)

2. Die subjektive Bewertung der Eignung zur Erfüllung der Anwendererfordernisse auf der Basis der gemessenen/beurteilten Eigenschaften und Merkmale (siehe Tab. 2).

-----------------------------------------------------------------------------------------------------

Produkte

----------------------------------------------------------------------------------------------------------

Qualitäts- Gewichtung

Merkmal A B C

-----------------------------------------------------------------------------------------------------------

Anwendungsabdeckung

1,0 7 8 6

Effizienz 0,5 2,5 3,5 3,0

Benutzerfreundlichkeit

0,3 2, 4 0,9 2,4

Zuverlässigkeit 0,6 2,4 2,4 3,0

Robustheit 2,0 12 14 12

-------------------------------------------------------------------------------------------------------------------

Summe 26,3 28,8 26,4

---------------------------------------------------------------------------------------------------------------------

Platzziffer 3 1 2

-----------------------------------------------------------------------------------------------------------------------

Tabelle 2: Gewichtete Bewertung der Qualitätsmerkmale

Im dargestellten Fall, daß ein (1) Softwareprodukt zur Erfüllung eines einzigen aber klar abgegrenzten Bedarfs gesucht wird, kommt es also nur auf die "Brauchbarkeit " oder "Benutzungstauglichkeit" des Produkts an. Eigenschaften, die "Wartbarkeit" und die "Anpaßbarkeit" für andere Anwendungen beeinflussen, sollen hier nicht untersucht werden.

Die Qualitätsmerkmale hinsichtlich der "Brauchbarkeit" zur Abdeckung des Anwenderbedarfs sind:

1. Die Anwendungsabdeckung oder "Effektivität",

2. die Effizienz, das heißt der Betriebs- und Organisationsmittelbedarf,

3. die Benutzerfreundlichkeit mit den Merkmalen:

- Erlernbarkeit und

- Handhabbarkeit,

4. die Zuverlässigkeit,

5. die Robustheit.

Jedes Einzelkriterium der fünf Qualitätsmerkmale wird nun mit Hilfe eines Fragenkatalogs, einer Checkliste, beziehungsweise durch Einzelprüfungen gemessen. Je detaillierter die Prüfung ist, desto einfacher ist die Beantwortung. Natürlich lassen sich nicht alle Prüfkriterien mit einer einfachen "Ja/Nein"-Frage beantworten. In jedem Falle aber läßt sich eine zuverlässige Aussage treffen, ob ein Prüfkriterium erfüllt ist oder nicht.

Nach dieser Vorarbeit können die Ergebnisse der Einzelprüfungen "summiert" werden. Dazu erhält de Fragenkatalog oder die Checkliste eine Punktbewertung, deren Summe ein objektives Maß für die Erfüllung eines Qualitätskriteriums ist. Dies war aber erst der zweite (nach der Vorauswahl über die KO-Kriterien) Schritt zur optimalen Produktauswahl.

Auswahl durch subjektive Gewichtung

Bewertet man eine Reihe von Produkten mit gleichem Anwendungsspektrum nach diesen Prüfkriterien, erhält man eine Punktmatrix, in der horizontal die einzelnen Produkte aufgeführt sind, vertikal die Ergebnisse aus den fünf Einzelprüfungen bezüglich der Brauchbarkeit:

- Anwendungsabdeckung

- Effizienz

- Benutzerfreundlichkeit

- Zuverlässigkeit

- Robustheit

Ab diesem Punkt sieht das Verfahren zur Qualitätsprüfung wieder einfacher aus; ein Vergleich mehrerer Produkte ist möglich. Die Auswahl, welches das beste Programm für eine spezielle Anwendung ist, erfordert aber, daß der Anwender jedes dieser Qualitätskriterien mit einer subjektiven Gewichtung versieht. Jedes Programm erfüllt die Qualitätskriterien unterschiedlich gut, das heißt es enthält in der Bewertungsmatrix eine von den anderen Produkten unterschiedliche Punktzahl. Da aber nicht jeder Anwender den gleichen Wert auf die einzelnen Qualitätsmerkmale legt, kann nicht von vornherein gesagt werden, welches das beste Programm für eine (individuelle) Anwendung ist.

Im nächsten Schritt bildet der Anwender, der ein Produkt für seine Problemlösung sucht ein Beurteilungsprofil. Er legt fest, auf welche Produkteigenschaft (= Qualitätsmerkmal) er großen Wert und auf welche Eigenschaft er weniger Wert legt. Diese Festlegung soll nicht nur starr erfolgen, sondern einen gewissen Spielraum ein "Vertrauensintervall" lassen. Damit soll vermieden werden, daß der Anwender eine "leere Auswahl" trifft, das heißt, daß kein Produkt exakt seinen Anforderungen entspricht.

Festlegen einer Vertrauensschwelle

Dazu kurz ein Beispiel: Ein Programm für die computerunterstützte Konstruktion von Bauteilen (CAD) wird von ganz anders vorgebildeten Anwendern genutzt als ein Programm zur Textverarbeitung. Also wird der Anwender eines CAD-Programms auf das Qualitätsmerkmal "Benutzerfreundlichkeit" eine ganz andere Gewichtung legen als der Anwender eines Textprogramms, der vorwiegend DV-technisch ungeschultes Personal einsetzt.

Bei der Bildung des Benutzerprofils geht man im Prinzip genauso vor wie bei der Beurteilung der Qualitätskriterien: Aus einer Vielzahl von Einzelfragen zu jedem Produktmerkmal leitet man eine ganz individuelle Gewichtung ab, das heißt man beantwortet die Frage, "wie wichtig" ist für die spezielle Anwendung ein Qualitätsmerkmal. Bei einem Statistikprogramm ist die "Zuverlässigkeit" sicher

(ge-)wichtiger als die "Effizienz", bei einem Buchhaltungsprogramm ist die "Anwendungsabdeckung" höher einzustufen als die "Erlernbarkeit", da das Programm nach dem "Erlernen" durch die Anwender über Jahre hinweg angewendet wird und dieses Kriterium praktisch keine Bedeutung mehr hat.

Maximum ist nicht gleich Optimum

Dabei kommt man zu einem sehr subjektiven Benutzerprofil und die zuvor objektiv beurteilten Programme stehen in einem ganz anderen Licht da. Wenn ein Programm objektiv sehr effizient ist (also mit minimalen Rechnerressourcen auskommt), aber nur einmal in vier Wochen eingesetzt wird, dann ist das Qualitätskriterium "Effizienz" sicher ganz anders zu bewerten, als bei einem Programm, das ständig im Einsatz ist.

Die subjektive Bewertung der einzelnen Qualitätsmerkmale vor dem Hintergrund einer gegebenen Anwenderforderung ermöglicht erst eine Bestauswahl. Das beste Produkt ist nicht unbedingt das Paket das in allen Kriterien mit der höchsten Punktzahl abschneidet, sondern das, dessen subjektiv gewichtete Eigenschaften und Merkmale am besten zur Abdeckung der Anwenderforderungen beitragen. Dies findet seine Erklärung darin, daß die einzelnen Qualitätsmerkmale unterschiedliche Zielsetzungen haben und sich deshalb bezüglich der Gesamtqualität nicht unbedingt ergänzen, sondern gegebenenfalls zuwiderlaufen.

Ein "benutzerfreundliches" Programm das zudem sehr "robust" ist, wird nicht unbedingt auch "effizient" sein.

Das Ergebnis dieser Bewertung ist eine Tabelle, in der die objektiv gemessenen Qualitätsmerkmale mit der subjektiven, individuellen Gewichtung (in Form eines einfachen Faktors, beziehungsweise bei einer Intervallbildung mit einem Minimal- und einem Maximalfaktor) multipliziert wurden. Diese Tabelle unterscheidet sich praktisch in allen Fällen von der ersten Tabelle, in der nur die objektiv gemessenen Qualitätsmerkmale der einzelnen Produkte standen. Erst jetzt zeigt sich die Qualität eines Produktes in ihrer wahren Bedeutung: in der Eignung zur Erfüllung gegebener Anwenderforderungen.

Preis ist kein Qualitätskriterium

Eine Frage ist noch offen: Wie geht der Preis eines Programms in die Auswahl ein? In erster Näherung sollte der Preis bei der Softwareauswahl unberücksichtigt bleiben. Der Preis ist kein Qualitätskriterium des Produkts; er ist ein Marketinginstrument des Herstellers oder Lieferanten. Der subjektive Wert eines Programms hat keinen direkten Zusammenhang mit dem Preis, den man dafür zahlen muß. Trotzdem soll der Preis als Auswahlkriterium nicht unerwähnt bleiben.

Die Entscheidung für ein Programm am Ende des Auswahlprozesses liegt zwischen den beiden Extremwerten:

- gleiche Bewertungsziffer für zwei oder mehrere Programme, aber unterschiedliche Preise und

- gleiche (annähernd gleiche) Preise, aber unterschiedliche Bewertungsziffern.

Die Lösung dieses Entscheidungskonflikts kann nur, jedenfalls bei Software, darin gesehen werden, daß die Qualität den Preis dominiert.

Es ist eine sehr einfache Überlegung, daß sich "Qualitätsmängel" eines Produkts sehr stark auf die Kosten der Produktnutzung auswirken. Abgesehen vom Ärger über Programmfehler oder unzureichende Funktionen kosten Wiederholläufe oder Datenverlust in, beziehungsweise während der Verarbeitung manchmal sehr viel mehr als das Produkt selbst. Falsche Verarbeitungsergebnisse können Folgekosten nach sich ziehen, die ein Mehrfaches der reinen Programmkosten betragen.

Preisintervall legt den Rahmen fest

Nicht nur am Rande bemerkt sei, daß der Markt für Software ein starkes Preiskorrektiv darstellt. Programme der gleichen "Klasse" (zum Beispiel Finanzbuchhaltungssysteme für Großrechner und damit für Großunternehmen) haben Preise, die, bezogen auf den Durchschnittspreis aller Angebote, innerhalb eines Intervalls von (plus/minus) 100 Prozent liegen. Liegen Produktpreise außerhalb dieses Intervalls, ist zu überlegen, ob diese Produkte überhaupt zu der betrachteten Klasse gehören.

Durch diese normierende Kraft des Marktes spielt der Preis eines Produkts bezogen auf die Kosten der Anwendung praktisch keine Rolle. Dagegen kann sich die Mißachtung eines Qualitätskriteriums bei der Auswahl viel stärker auswirken als die Höhe des Anschaffungspreises.

*Werner Schmid ist Vorstand des Softwaretest e.V. (STEV), Ulm

Übersicht über das Verfahren zur Qualitätsbewertung nach STEV

1. Schritt: Die verfügbaren/angebotenen Produktinformationen werden durch KO-Auswahlkriterien gefiltert.

Ergebnis: Jedes verbleibende Produkt könnte im Prinzip eingesetzt werden.

2. Schritt: Bewertung der Qualitätskriterien der Produkte. Beispiel: Das Qualitätskriterium "Brauchbarkeit" besteht aus fünf Qualitätsmerkmalen:

- Anwendungsabdeckung

- Effizienz

- Benutzerfreundlichkeit

- Zuverlässigkeit

- Robustheit

Für jedes Qualitätsmerkmal gibt es 6 ... 1 0 Teilmerkmale; für das Merkmal: "Anwendungsabdeckung" sind das:

- Funktionsabdeckung

- Leistungsabdeckung

- Korrektheit

- Genauigkeit

- Einfachheit

- Konsistenz

Für jedes Teilmerkmal gibt es einen Fragenkatalog/Checkliste/Prüfanweisung mit einer Punktbewertung für die Ergebnisse.

Ergebnis: Vergleichstabelle bezüglich der objektiven Erfüllung der Qualitätsmerkmale durch die einzelnen Produkte.

3. Schritt: Bildung eines Benutzerprofils Gewichtung der Qualitätsmerkmale mit einem subjektiven Faktor, der sich aus der jeweiligen Anwendung ableitet. Multiplikation der Ergebnisse aus

Schritt 2 mit den Faktoren.

Ergebnis: Das "beste" Produkt im Sinne der Eignung zur Erfüllung der Anwenderanforderungen ist gefunden.