FU Berlin verstärkt Anti-Spam-Bollwerk

06.04.2009
Von Torsten Prill
Für die Freie Universität (FU) Berlin war Spam zur größten Bedrohung für die E-Mail-Kommunikation geworden. Die Hochschule hat sich Verstärkung geholt – und damit das E-Müll-Problem deutlich entschärft.

Mit 5.000 Mitarbeitern und rund 35.000 Studierenden zählt die Freie Universität (FU) Berlin nicht nur zu den größten, sondern auch zu den besten deutschen Universitäten. 2007 wurde sie im Rahmen der Exzellenzinitiative von Bund und Ländern als eine von neun Einrichtungen ausgewählt. Zu den zentralen Aufgaben des Hochschulrechenzentrums Zedat (Zentraleinrichtung für Datenverarbeitung) gehört, sicherzustellen, dass die Mitarbeiter und Studierenden jederzeit ungehindert per E-Mail kommunizieren können.

Spam hat sich in den vergangenen Jahren zur größten Bedrohung für die E-Mail-Kommunikation entwickelt. Bereits seit 2003 verzeichnet die FU ein bis heute steigendes Aufkommen an unerwünschten Werbenachrichten. Mittlerweile sind etwa 90 Prozent der eingehenden Nachrichten Spam – bei durchschnittlich 3,5 Millionen E-Mails pro Woche ein ernst zu nehmendes Problem. Im Kampf gegen die Plage setzte die Zedat seit 2005 daher zwei Open-Source-Lösungen ein: das weit verbreitete Filterprogramm "SpamAssassin" sowie den statistikbasierenden "Bogofilter".

Die Ausgangslage

Bei SpamAssassin handelt es sich um ein regelbasierendes Verfahren, das sich individuellen Bedürfnissen anpassen lässt, dabei aber sehr langsam ist und einen extrem hohen Pflege- und Aktualisierungsaufwand verursacht. Da die Entwicklung eigener Regeln viel Zeit kostet, wird überwiegend auf die mitgelieferten Standardregeln von SpamAssassin zurückgegriffen, was aber sowohl die Spam-Erkennungsrate als auch die False-Positive-Quote negativ beeinflusst.

Der Bogofilter wiederum nutzt ein statistisches Verfahren (Bayes), nach dem die Wahrscheinlichkeit, mit der eine E-Mail Spam ist, errechnet wird. Der Filter ist deutlich schneller als SpamAssassin, muss jedoch aufwändig trainiert werden. Dies gilt insbesondere für fremdsprachlichen Spam. Als schwierig erweist es sich hierbei häufig, die notwendige Anzahl von Nicht-Spam-Mails in exotischen Sprachen zu erhalten, so dass die Erkennungsleistung für eine internationale Hochschule wie die FU zu niedrig ist. Darüber hinaus ist der Bogofilter prinzipbedingt nicht in der Lage, Image-Spam zu erkennen.

Die Problemzonen

Die bisherigen Anti-Spam-Lösungen stellten die FU daher vor zwei Probleme: Zum einen reichte die Spam-Erkennungsleistung mit durchschnittlich 90 Prozent angesichts des rasant steigenden Aufkommens an E-Müll nicht mehr aus. Zweitens verursachten die verwendeten Lösungen zunehmenden Aufwand: Zuletzt benötig-ten die FU-Administratoren im Schnitt etwa fünf Stunden pro Woche allein für die Wartung und Aktualisierung der Spam-Filter. Ende 2007 beschlossen die Verantwortlichen der Zedat, nach einer ergänzenden Lösung zu den bestehenden Spam-Filtern zu suchen.

Ziel des Projekts war es, die beiden Grundprobleme der bisherigen Filter zu lösen. Die neue Lösung sollte nicht nur den Administrationsaufwand erheblich reduzieren, sondern vor allem bei Spam in fremden Sprachen und Schriftzeichen eine deutlich bessere Erkennungs- und False-Positive-Rate liefern als die bisher eingesetzten Filter. Da an der FU Menschen vieler Nationen studieren und arbeiten und die Hochschule wissenschaftliche Beziehungen in alle Teile der Welt unterhält, ist es essenziell, dass solche Nachrichten nicht automatisch als Spam klassifiziert werden.

Die Lösung

Doch sollten die bisher eingesetzten Spam-Filter nicht komplett ersetzt, sondern ergänzt werden, um ihre Schwächen auszugleichen. Es galt also, eine Lösung zu finden, die genau in diesen Punkten ihre Stärken hat, sich aber auch bequem in die bestehenden Strukturen integrieren und mit den beiden Open-Source-Filtern kombinieren ließ.

Eine Herausforderung war der Umfang des Projekts: 15 Mail-Server und rund 20.000 Mail-Clients galt es zu schützen. Rund sechs Monate lang testete und evaluierte das Zedat-Team ab Sommer 2007 zehn Anti-Spam-Lösungen nahezu aller wichtigen Anbieter – das Hauptaugenmerk lag auf den Faktoren Wartungsaufwand, Erkennungsleistung und FalsePositive-Rate bei Fremdsprachen- und Image-Spam sowie Integrierbarkeit in die bestehenden Strukturen.

Die Entscheidung fiel zugunsten der Softwarelösung "Expurgate Inhouse" von Eleven, die die Anforderungen der FU am besten erfüllte. Die Lösung basiert auf der von dem Berliner E-Mail-Sicherheitsanbieter selbst entwickelten "Bulkcheck-Technik", einem Verfahren, das Spam anhand seiner wichtigsten Eigenschaft erkennt: der Verbreitung in Form einer Massensendung. Dabei wird ein spezielles Fingerprinting eingesetzt, das E-Mails auf einen nur wenige Bytes großen Prüfcode reduziert. Dieser wird dann in einer zentralen Datenbank mit den Codes zahlreicher anderer Mails verglichen und auf hinreichende Ähnlichkeit hin überprüft.

Das Verfahren hat im Hinblick auf die Anforderungen der FU mehrere Vorzüge: Zum einen ist es sprachen- und schriftzeichenunabhängig, da es nicht den Inhalt einer E-Mail kontrolliert, sondern ermittelt, ob sie massenhaft versandt wurde. Zum anderen schließt das Massen-E-Mail-Kriterium verfahrensbedingt aus, dass individuelle Nachrichten als Spam kategorisiert werden. Punkten konnte das Verfahren auch damit, dass es aufgrund des gleich bleibenden zentralen Prüfkriteriums keine ständigen Aktualisierungen und Trainings erfordert. Ein weiterer Pluspunkt war die eigene "Spamd"-Schnittstelle des Systems, die eine einfache Kombination mit der bestehenden SpamAssasin-Lösung ermöglicht.

Geringer Integrationsaufwand

Seit Januar 2008 ergänzt Expurgate die Anti-Spam-Infrastruktur des Hochschulrechenzentrums. Installation und Integration der Lösung in die bestehende E-Mail-Infrastruktur verliefen problemlos. Aufgrund der Spam-Schnittstelle des Systems hielt sich der zeitliche und personelle Aufwand für die Integration in Grenzen. Zudem ließen sich dadurch Tests mit Teilen des echten Live-Mail-Verkehrs ohne Beeinträchtigung des Produktionsbetriebs vornehmen. Die Mitarbeiter wurden in je vierstündigen Schulungen mit dem System vertraut gemacht.

Seither wird Expurgate im Zusammenspiel mit Bogofilter und SpamAssassin eingesetzt. Da die neue Lösung von den drei Systemen die geringsten Ressourcen benötigt und die beste False-Positive- und Spam-Erkennungsrate erzielt, entschieden sich die Zedat-Verantwortlichen dafür, sie den beiden anderen Spam-Filtern vorzuschalten. So wird das gesamte, nur mit Hilfe einer Greyliste vorgefilterte E-Mail-Volumen von Expurgate geprüft und kategorisiert. Bogofilter und SpamAssassin prüfen anschließend die von der neuen Lösung nicht als Spam kategorisierten E-Mails. Durch diese Architektur konnte die FU die Systembelastung drastisch senken und die Erkennungsleistung deutlich steigern.

Positive Bilanz

Nach über einem Jahr ziehen die Verantwortlichen der Zedat eine positive Bilanz. Die Spam-Erkennungsrate, die über eigene Spam-Traps ständig überprüft wird, ist seit dem Ausbau der Antispam-Infrastruktur von ehemals 90 auf 99 Prozent gestiegen. Vor allem bei den kritischen Nachrichten in fremden Sprachen und Schriftzeichen ist eine Verbesserung zu verzeichnen. Was False Positives betrifft, sind quantitativ messbare Ergebnisse nicht möglich, allerdings erlaubt die geringe Zahl an diesbezüglichen Supportmeldungen den Rückschluss, dass Fehlkategorisierungen selten geworden sind.

Auch in Sachen Wartungs- und Administrationsaufwand hat sich einiges getan: Mussten die FU-Administratoren früher etwa fünf Stunden in der Woche dafür aufwenden, investieren sie heute weniger als eine Stunde pro Woche in die Antispam-Lösung – den überwiegenden Teil davon in Abruf und Auswertung der aktuellen Spam-Statistiken. Hinzu kommen Eigenentwicklungen zur Dienstüberwachung von Expurgate mit Nagios, zum Beispiel im Hinblick auf die Server-Bereitschaft, Erreichbarkeit, Response, Lizenzlaufzeit sowie Alarmierung per SMS im Störungsfall.

Projektsteckbrief

Projektart Ausbau der bestehenden Anti-Spam-Infrastruktur.

Branche Hochschule.

Zeitrahmen Sommer 2007 bis Anfang 2008.

Stand heute läuft produktiv.

Produkte Die Open-Source-Lösungen "SpamAssassin" und "Bogofilter" im Zusammenspiel mit "Expurgate Inhouse" von Eleven.

Umfang Spam-Schutz für 15 Mail-Server und 20.000 Mail-Clients.

Ergebnis Spam-Erkennungsrate von 90 auf 99 Prozent erhöht; deutlich weniger Supportmeldungen zu False Positives, Administrationsaufwand von fünf auf unter eine Stunde pro Woche reduziert.