Studienergebnisse mit geringer Aussagekraft

Kontroverse Diskussion um Apaches Codequalität

11.07.2003
MÜNCHEN (CW) - Die Berliner SPM Technologies stellt den Sinn der jüngst von der US-Company Reasoning veröffentlichten Studienergebnisse über die Codequalität des Apache-Web-Servers in Frage.

Die im kalifornischen Mountain View ansässige Firma Reasoning hat sich seit 1984 darauf spezialisiert, im Rahmen seiner "Inspection Services" Tools anzubieten, mit denen sich die Codequalität von Software messen lässt. Jetzt haben sich die Analysten die Betaversion 2.1 von Apaches Web-Server vorgenommen und dabei festgestellt, dass dessen Quellcode qualitativ etwa dem kommerzieller Produkte entspricht. Laut Studie finden sich in der Open-Source-Software 0,53 Fehler auf 1000 Zeilen, während die proprietäre Konkurrenz in einem vergleichbaren Entwicklungsstadium durchschnittlich auf 0,51 Fehler pro 1000 Zeilen kommt.

Es sei typisch für quelloffene Software, dass neu erscheinende Programmversionen ungefähr auf dem Fehlerniveau ihrer kommerziellen Pendants lägen, kommentiert der für Produktentwicklung zuständige Reasoning-Manager Jeff Klagenberg. Die Open-Source-Gemeinde nehme jedoch ständig Verbesserungen vor, weshalb die Programme im Laufe der Zeit qualitativ erheblich zulegten. Klagenberg verweist auf eine Linux-Studie, in der dem Betriebssystem eine Quote von nur noch 0,1 Fehlern je 1000 Codezeilen bescheinigt wird.

SPM Technologies hält dagegen die Diskussion um die Qualitätspotenziale von Open-Source-Projekten für verfehlt. Die Berliner, selbst Anbieter des Vermessungs-Frameworks "CQM-Engine" zur statischen Codeanalyse, treffen in Projekten des kommerziellen Umfelds häufig auch auf den Einsatz von Open-Source-Software und beobachten dabei, dass es in beiden Bereichen Entwicklungen unterschiedlichster Codequalität gibt. Um diese sicherzustellen, sei ein umfassenderer Ansatz zu wählen als die auf fünf Fehlerklassen beschränkte Apache-Inspektion von Reasoning. Diese Meinung vertrete auch Horst Zuse, der an der Technischen Universität Berlin das Fach Praktische Informatik lehrt. SPM unterstreicht die geringe Aussagekraft der Reasoning-Studie mit eigenen Ergebnissen. Der Anbieter hat selbst seit Anfang 2003 die Entwicklung des J2EE-Applikations-Servers "Jboss" bis zum Release 3.2.1 verfolgt und Pakete des Server-Moduls mit der CQM-Engine vermessen. Dabei stellten die Berliner erhebliche Qualitätsabweichungen in beide Richtungen fest. So wies eine vergleichbare kommerziell genutzte Software gegenüber Jboss eine doppelt so hohe Häufigkeit schwerwiegender Fehlerpotenziale auf. Umgekehrt gab es J2EE-Projekte mit ähnlicher Komplexität, in denen die Fehlerhäufigkeit des kommerziellen Produkts um 66 Prozent niedriger lag als bei Jboss. (ue)