Wichtig ist der MapReduce-Ansatz
Wesentlicher Kern von Big-Data-Techniken ist der programmiergetriebene, datenzentrische Kern auf Basis des MapReduce-Ansatzes, dem Google zu Popularität verholfen hat. Die Idee dahinter ist simpel: Zerlege die Aufgabe in ihre kleinsten Teile, verteile diese zur massiv-parallelen Verarbeitung auf möglichst viele Rechner (map) und führe das Ergebnis wieder zusammen (reduce). Damit wird vor allem die Verarbeitung poly-strukturierter Daten ermöglicht, mit denen klassisch relationale Datenbanken, aber auch analytische Datenbanken in Data-Warehouse-Appliances oder massiv-parallele relationale Datenbanken ihre Probleme haben. Im Grunde genommen unterscheiden sich die Aufgaben aus Datenintegration und -speicherung, Analyse, Zugriff auf die Daten sowie Auswertung und Analyse nicht von denen einer klassischen BI-Architektur.
Der grundlegende Unterschied zur klassischen BI ist die datenzentrische Ausrichtung auf Basis des MapReduce-Programmier-Frameworks, das eine hoch parallele Verarbeitung poly-strukturierter Daten ermöglicht.
Der Markt für Big-Data-Software ist allerdings so vielschichtig wie die zu lösenden Aufgaben. Analog zu BI-, Data-Warehouse- oder Datenintegrations-Systemen gibt es auch im Big-Data-Bereich eine Vielzahl an alten und neuen Angeboten, die ähnliche Aufgaben wie die klassische BI zu lösen versprechen.
Herausforderungen bestehen vor allem in der Integration von Big Data mit der klassischen BI, für die sich unterschiedliche architektonische und technische Ansätze anbieten. Aber auch in der Wahl der richtigen Software liegt ein Treiber, um die erhofften Vorteile in Ergebnis, Flexibilität und Kosten zu erhalten. Der BI-Markt wird nicht gerade überschaubarer, ganz im Gegenteil. Viele neue Anbieter oder Open-Source-Projekte positionieren sich im Markt für Big Data, die Grenzen zu traditioneller BI verschwimmen zusehends.
Datenintegration mit Sqoop & Co.
Auf der Ebene der Datenintegration steht die Geschwindigkeit und die Integration der heterogenen Datenquellen und -typen im Vordergrund. Zu beobachten ist die Integration von Big-Data-Funktionen in die etablierten Datenintegrations-Werkzeuge wie beispielsweise Informatica, Pentaho oder Pervasive. Big-Data-Funktionen umfassen hier Adapter in Hadoop-Dateisystemen wie dem Hadoop File System (HDFS) oder HIVE sowie auch die Integration mit dem MapReduce-Framework. Alternativen zur Einbindung von poly-strukturierten Datenquellen bieten Spezialisten wie Hadoop, Chukwa, Flume oder Sqoop.
- Impressionen vom Big Data Award 2012
Professor Andreas Seufert, Direktor am Institut für Business Intelligence an der Steinbeis Hochschule Berlin, eröffnete das Vortragsprogramm mit einem umfassenden Überblick zum Thema Big Data. - Impressionen vom Big Data Award 2012
Der Kampf gegen die Uhr: Zehn beziehungsweise sechs Minuten hatten die Vortragenden Zeit, ihre Projekte beziehungsweise Tools vorzustellen. - COMPUTERWOCHE-Redakteur Martin Bayer ...
... führte durch den Big Data Award 2012. - Impressionen vom Big Data Award 2012
Cafer Tosun (re.), Senior Vice President und Managing Director im SAP Innovation Center, erläuterte wie SAPs neue In-Memory-Technik funktioniert. - Impressionen vom Big Data Award 2012
Zahlreiche Besucher konnten sich an den Ausstellungsständen über neue Techniken und Lösungen rund um Big Data informieren. - Impressionen vom Big Data Award 2012
Eine hochkarätige Jury (v.r.n.l.: Andreas Zilch, Experton Group, Norbert Deuschle, Storage Consortium, Prof. Andreas Seufert, Alexander Neff, Universität St. Gallen, und Carsten Bange, BARC) bewertete die Projekte und Tools. - Impressionen vom Big Data Award 2012
Der zweitägige Big-Data-Kongress der COMPUTERWOCHE fand 2012 im K39 in Offenbach statt. - Impressionen vom Big Data Award 2012
Viele Teilnehmer machten mit und beteiligten sich an der Wahl der Publikumsfavoriten. - Impressionen vom Big Data Award 2012
Auch das Publikum war aufgerufen, ihre Favoriten für die beiden Publikumspreise zu wählen: Es gewannen die The unbelievable Machine Company GmbH und die Talend GmbH. - Michael Beilfuss, IDG, ...
... läutete die Preisverleihung auf dem Gala-Abend am ersten Tag ein. - Impressionen vom Big Data Award 2012
Melanie Krüp vom Veranstalter HG-Editors spielte die Glücksfee für die Verlosung eines Lenovo-Ultrabooks, das Sponsor Intel zur Verfügung gestellt hatte. - Impressionen vom Big Data Award 2012
v.l.n.r. Martin Bayer, Redakteur Computerwoche; Jörg Bienert, CTO und Mit-Gründer von Parstream; Andreas Zilch, Vorstand und Lead Advisor der Experton Group AG. - Impressionen vom Big Data Award 2012
v.l.n.r. Martin Bayer, Redakteur Computerwoche; Martin Lange, Business Development Manager der Talend GmbH; Andreas Zilch, Vorstand und Lead Advisor der Experton Group AG.