Jeder der sich mit Hadoop beschäftigt, steht irgendwann vor dem Problem: "Wie bekomme ich meine Daten da rein?". Eine mögliche Antwort ist der Einsatz der Open Source ETL Lösung "Talend Open Studio for Big Data". Neben der Unterstützung von Hortonworks, Cloudera und anderen können Hadoop/Hive/Hbase/Pig auch direkt genutzt werden. Und der Anbieter verspricht: "Oracle können wir auch."
Mit einer Reihe grafischer Komponenten sowie einem Arbeitsbereich, der die Interaktion mit einer Big Data-Quelle oder einem Big Data-Ziel ohne Schreiben von Code ermöglicht, unterstützt Open Studio die Arbeit mit unterschiedlichen Big Data Quellen. Dabei wird die Konfiguration der jeweiligen Big Data-Verbindung grafisch dargestellt und der zugrunde liegende Code automatisch erzeugt. Dieser lässt sich anschließend als Dienst, ausführbare Datei oder eigenständiger Job ausführen. Talend Open Studio ist unter Apache-Lizenz als Open Source-Lösung zur freien Nutzung verfügbar.
Die Lösung umfasst sämtliche Talend-Komponenten für die Datenintegration (Anwendung, Datenbank, Service und einen Stammdaten-Hub), sodass der Datenaustausch von beliebigen Quellen und mit fast jedem Ziel koordiniert werden kann. Das effiziente Jobdesign wird durch eine anwenderfreundliche Eclipse-Entwicklungsumgebung unterstützt. Talend Open Studio for Big Data umfasst eine Reihe einfach zu konfigurierender Komponenten, die automatisch Code für Hadoop Distributed File System (HDFS), Pig, HBase, Sqoop und Hive erzeugen. Der Einsatz dieser Tools erleichtert die Integration von Big Data, bei der häufig große Mengen von Log-Dateien, Daten von Betriebssystemen, Social Media-Plattformen, Sensoren oder aus anderen Quellen in Hadoop zusammengeführt werden müssen.
Die Perspektiven dieser Lösung für den Anwender präsentiert Martin Lange, Senior Consultant, Talend GmbH, im Rahmen der COMPUTERWOCHE Fachkonferenz Big Data am 26. und 27. September in einer sechsminütigen Kurzpräsentation live auf der Bühne. Sein Thema: Was hat ein Kampfflugzeug mit Big Data zu tun? (ph)
Die besten Big Data Projekte
"Creating Value from Big Data" - so lautet das Motto des COMPUTERWOCHE-Wettbewerbs Big Data 2012. Wie das in der Praxis aussieht, zeigen die Projekte der 12 Finalisten im Kampf um den begehrten Award. An dieser Stelle präsentieren wir täglich ein nominiertes Projekt. Alle Projekte live auf der Kongressbühne und die Möglichkeit zum Networking mit den Verantwortlichen gibt es am 26. und 27. September in Offenbach. Programminformation und Anmeldung unter www.bigdata12.de