Big Data 2012 - die besten Projekte

1&1 Internet AG - SYNAPSEN neu verdrahtet

27.08.2012
Uwe Küll ist freier Journalist in München.
Beim Aufbau eines Storage- und Computing-Clusters mit Apache Hadoop galt es unter anderem einen kleinen gelben Elefanten und seine Herde zu zähmen. Gibt es für diese Leistung den Big Data Award 2012 der COMPUTERWOCHE?

Der Geschäftserfolg im Online-Business hängt entscheidend von der Beherrschung der Faktoren Menge und Geschwindigkeit ab. Im Falle von 1und1 bedeutet das beispielsweise: Rund neun Milliarden Seitenabrufe im Monat, mehr als fünf Milliarden E-Mails pro Monat und 9000 TByte monatliches Transfervolumen wollen schnell und sicher verarbeitet werden.

Entsprechend hoch sind die Anforderungen an die Systeme für Web-Analytics, wenngleich sich die Aufgaben wenig von denen der klassischen Business Intelligence unterscheiden: Daten einsammeln, miteinander in Beziehung setzen, an andere Systeme weitergeben oder zu geschäftsrelevanten Kennzahlen verdichten. Denn je größer die Portale und je mehr Benutzer, desto mehr Web-Traffic muss analysiert werden: Zwar setzte die Abteilung Web.Intelligence der 1&1 Internet AG bereits seit 2006 eine spaltenorientierten Vektor-Datenbank ein. Diese platzte jedoch zunehmend aus allen Nähten und war nicht mehr sinnvoll zu erweitern.

Daher wurde bereits 2009 mit der Evaluierung von Hadoop-Technologie begonnen. Ziel war die Entwicklung der neuen Lösung SYNAPSE (SYNergetic Analytical Processing and Storage Engine), einer Architekturkomponente innerhalb der BI-Plattform, die Massendaten wirtschaftlich speichert und verarbeitet. Im Jahr 2011 konnten damit mehr als 200 Millionen Datensätze pro Tag verarbeitet werden und das ehrgeizige Ziel für Mitte 2012 sah vor, die Kapazität auf eine Milliarde Datensätze pro Tag zu erhöhen.

Ob und wenn ja wie dieses Ziel erreicht werden konnte, berichten Dirk Schmid, Softwarearchitekt, 1&1 Internet AG und Patrick Thoma, Head of Solution Development, inovex GmbH am 26. September auf dem Kongress Big Data in Offenbach. (ph)

Die besten Big Data Projekte

"Creating Value from Big Data" - so lautet das Motto des COMPUTERWOCHE-Wettbewerbs Big Data 2012. Wie das in der Praxis aussieht, zeigen die Projekte der 12 Finalisten im Kampf um den begehrten Award. An dieser Stelle präsentieren wir täglich ein nominiertes Projekt. Alle Projekte live auf der Kongressbühne und die Möglichkeit zum Networking mit den Verantwortlichen gibt es am 26. und 27. September in Offenbach. Programminformation und Anmeldung unter www.bigdata12.de