Realisierung einer Echtzeitsuche zur Analyse gespeicherter Massendaten im Bereich Konsumentenverhalten mit Apache Solr - so lautete die Herausforderung für die GfK Retail & Technology GmbH und ihren Dienstleister, die Managementberatung mgm technology partners. Die Indizierung mehrerer Milliarden Datensätze bei gleichzeitiger Echtzeit-Suche erforderte Maßnahmen wie Sharding und Clustering. Eine spezielle Cluster-Überwachung dient dem Failover und wird im Rahmen einer intelligenten Umordnung auch zum Löschen veralteter Daten verwendet.

Im Rahmen des Projekts wurde eine Lösung implementiert, die eine effiziente Speicherung und Datenverarbeitung mit Echtzeitzugriffen auf riesige Datenbestände erlaubt. Sie beruht auf einer Integration von Solr in ein Hadoop-Cluster. Hadoop ist ein (open-source) Software-Framework, das Yahoo! basierend auf Konzepten von Google entwickelt hat. Hadoop kann kostengünstige Standard-Hardware effizient in einem Cluster verwalten und dann darin Daten performant verarbeiten. Die Spezialisten von mgm technology partners haben die Hadoop-Software mit Apache Solr als Suchkomponente ergänzt. Damit ist GfK Retail & Technology in der Lage, verteilte Suchindizes über Milliarden von Dokumenten aufzubauen und für die Echtzeitsuche zu nutzen.

Dr. Christian Winkler, Enterprise Architect, mgm technology partners präsentiert das Projekt am 26. September beim Big Data Kongress der COMPUTERWOCHE in Offenbach als einen von zwölf Kandidaten für den Big Data Award 2012. (ph)

Die besten Big Data Projekte

"Creating Value from Big Data" - so lautet das Motto des COMPUTERWOCHE-Wettbewerbs Big Data 2012. Wie das in der Praxis aussieht, zeigen die Projekte der 12 Finalisten im Kampf um den begehrten Award. An dieser Stelle präsentieren wir täglich ein nominiertes Projekt. Alle Projekte live auf der Kongressbühne und die Möglichkeit zum Networking mit den Verantwortlichen gibt es am 26. und 27. September in Offenbach. Programminformation und Anmeldung unter www.bigdata12.de