Hintergrund für die Formierung der AMTSO waren insbesondere Proteste der AV-Hersteller gegen nicht mehr zeitgemäße Testmethoden (pressetext berichtete). Nun wurden neben Richtlinien für die fundamentalen Prinzipien von Tests auch "Best Practices für Dynamic Testing" veröffentlicht. Damit werden insbesondere solche Testmethoden angesprochen, die auch den verhaltensbasierten Umgang mit webbasierter Malware sinnvoll bewerten können. Solche Tests sind sehr aufwändig, da moderne Schädlinge ohne Internet-Verbindung gar nicht ihre volle Wirkung entfalten. "Wir verwenden eine Truman-Box. Das ist ein virtuelles Internet, das alle Komponenten des realen Internets simuliert", erklärt Stelzhammer. Alternativ dazu sind auch Testmethoden möglich, bei denen mit einer echten Internetverbindung gearbeitet wird, was entsprechend hohe Sicherheitsvorkehrungen erfordert.
"Sehr wichtig ist die Nachvollziehbarkeit der Tests", sagt Stelzhammer. Mit dieser Überzeugung ist er nicht allein, denn die AMTSO-Richtlinien fordern eine ausreichende Transparenz der Testmethoden bei veröffentlichten Tests. Ferner müsse die Methodologie dem Testzweck entsprechen und beispielsweise die Art von Produkt testen, das für die Zielgruppe relevant ist, so die AMTSO. Auch diese Ansicht teilt der AV-Comparatives-Experte. "Ein Endanwender-Magazin sollte Tests von Home-User-Produkten und nicht von Unternehmenslösungen enthalten", meint Stelzhammer zu pressetext. Weitere Richtlinien der AMTSO umfassen eine ausreichend große Sample-Zahl für Tests, eine sorgfältige Prüfung, ob Testdateien korrekt als gefährlich oder harmlos eingestuft wurden, sowie ein Vermeiden zu breit gefasster Schlüsse, die nicht ausreichend von den Daten unterstützt werden.
Die Umsetzung der AMTSO-Richtlinien durch Tester und Publikationen erfolgt freiwillig. Langfristig will die Organisation öffentliches Feedback zum Grad der Einhaltung der Standards liefern und helfen, die Qualität veröffentlichter Produkttests einzuschätzen. Da an der AMTSO sowohl Testlabors wie AV-Comparatives, viele bekannte AV-Hersteller und auch nicht primär mit der AV-Industrie identifizierte IT-Unternehmen wie IBM und Microsoft vertreten sind, besteht für User die Hoffnung, dass die AMTSO-Standards in der Industrie breit unterstützt werden. Dadurch würden Tests letztendlich für Nutzer transparenter und aufschlussreicher und somit zu einer besseren Entscheidungshilfe beim Produktkauf. (pte)