Big Data 2012 - die besten Projekte

Bayerisches Landesamt für Steuern arbeitet beim Logdatenmanagement mit Hadoop und Solr

28.08.2012
Von 
Uwe Küll ist freier Journalist in München.
Als ideale Plattform zur Speicherung und Verarbeitung von Massendaten hat sich Hadoop im Bayerischen Landesamt für Steuern erwiesen.

Dessen Dienstleister mgm technology partners hat die Technologie in Verbindung mit Apache Solr implementiert. Damit ist mgm gleich mit zwei Kunden unter den Nominierten für den Big Data Award 2012 vertreten.

Die mgm technology partners GmbH ist im ELSTER Projekt für Design, Implementierung und technische Qualitätssicherung des Portals verantwortlich. Das ElsterOnline-Portal soll im Vollausbau über 30 Millionen Haushalte und über fünf Millionen Unternehmen bedienen. Dies bedeutet eine enorme Zugriffs- und Verarbeitungslast - insbesondere an Stichtagen für die Abgabefristen von Steuererklärungen. Vor diesem Hintergrund ist das aktuelle Big Data-Projekt zu sehen. Anforderung war die Optimierung einer vorhandenen Lösung zur Speicherung von Logmeldungen, die auf einer relationalen Datenbank basierte und bereits ein Datenvolumen von zwei Terabyte verwaltet hat.

In der Analysephase wurden verschiedene Alternativen untersucht, von denen die Kombination aus Hadoop und Solr am vielversprechendsten erschien. Die Gesamtkapazität lässt sich im Ergebnis hervorragend skalieren. Alle Daten des Clusters werden in einem verteilten Solr-Index indiziert und so zur Echtzeitsuche bereitgestellt. Die Hardware des Clusters wird für den verteilten Solr-Index mit verwendet, sodass jeder Server sowohl als Hadoop- als auch Solr-Server dient. Mit dieser Architektur wurde die Anzahl der verarbeiteten Logmeldungen pro Sekunde gegenüber der früheren Lösung bereits auf das Fünfzehnfache erhöht.

Weitere Highlights und Lessons Learned aus dem Projekt präsentiert Peter Dikant, Senior Software Engineer, mgm technology partners, am 26. September auf dem Big Data Kongress der COMPUTERWOCHE in Offenbach. (ph)

Die besten Big Data Projekte

"Creating Value from Big Data" - so lautet das Motto des COMPUTERWOCHE-Wettbewerbs Big Data 2012. Wie das in der Praxis aussieht, zeigen die Projekte der 12 Finalisten im Kampf um den begehrten Award. An dieser Stelle präsentieren wir täglich ein nominiertes Projekt. Alle Projekte live auf der Kongressbühne und die Möglichkeit zum Networking mit den Verantwortlichen gibt es am 26. und 27. September in Offenbach. Programminformation und Anmeldung unter www.bigdata12.de