Agiles Datenmanagement

Damit beide Welten nicht nur weiter existieren, sondern voneinander profitieren können, muss die bisherige Datenmanagementinfrastruktur "agiler" werden und mehr Prozesse und Datenquellen integrieren können. Beginnend beim Datenmanagement bis hin zu den BI-Frontends wird eine Architektur benötigt, die eine breite Nutzung und Bereitstellung unterschiedlichster Daten unterstützt. Hierbei wird es oftmals auch nötig sein, die bisherige Datenmanagementarchitektur um Bestandteile wie "Sandboxes", explorativeBig-Data-Umgebungen (35 Prozent) und Virtualisierungsschichten zu erweitern.

Nur durch die Integration klassischer BI-und Datenmanagementumgebungen mit neuen, explorativen und operationalisierten Big-Data-Anwendungen kann also letztlich der von vielen Marktakteuren prognostizierte Wandel hin zu einer datengetriebenen Organisation gelingen. Ebenso bedarf es einer zentralen Datenstrategie, die künftig alle Daten konsistent sowie Architekturen stabil und zugleich flexibel halten kann.

Lambda-Architektur für Big Data Analytics

Mit Blick auf Big-Data-Anwendungen empfiehlt es sich, bei der Umsetzung eine sogenannte Lambda-Architektur anzustreben. Eines ihrer wesentlichen Merkmal ist das Konzept "unveränderlicher Daten" (immutable data), das heißt, dass Veränderungen an Daten nur Kopien dieser Daten erzeugen und die ursprünglichen Daten niemals verändert werden.

In der Lambda-Architektur werden daher vorhandene Daten niemals aktualisiert. Jede Veränderung wird als eigenständiges Faktum angesehen, das zu einem bestimmten Zeitpunkt als wahr gilt. Eine Veränderung der Daten bedeutet also, dass nur ein neues Faktum für einen aktuelleren Zeitpunkt hinzukommt (append-only). Das zweite grundlegende Prinzip der Lambda-Architektur ist die Definition von Information als eine Funktion der Fakten. Informationen leiten sich also aus den Berechnungen der einzelnen Fakten her. Ziel ist eine Architektur aus skalierbaren Komponenten.

In einer Big-Data-Lambda-Architektur hält ein "Batch Layer" (beispielsweise HADOOP) sämtliche Fakten in redundanter Ausführung vor und übernimmt die Berechnungen. Da hierbei jedoch teilweise sehr hohe Latenzen entstehen, werden die Ergebnisse der Berechnungen im "Serving Layer" gespeichert, um Latenzen zu reduzieren. In dieser Schicht erfolgt zudem die Abfrage der gewünschten Informationen (externe Systeme). Im "Speed Layer", der komplexesten Komponente der Lambda-Architektur, finden sich ebenfalls alle relevanten neuen Daten, die dort aber nur temporär für Berechnungen liegen und gelöscht werden, sobald neue Daten im Batch Layer verfügbar sind. Ein externes System wird dann die Ergebnisse aus Serving Layer und Speed Layer kombinieren, um eine aktuelle Sicht auf die Daten zu gewähren. Die in der Lambda-Architektur vorgesehene Modularisierung spiegelt typische Anforderungen an Big-Data-Anwendungen wider und systematisiert sie. Häufiger sind nur aber Teilbereiche der Architektur in Projekten relevant und können auch in Kombination zu bestehenden Business-Intelligence-Systemen realisiert werden.

Mehr Transparenz durch Advanced Analytics

Angesichts der unterschiedlichen Anforderungen werden also Business-Intelligence-Systeme auch künftig in vielen bisherigen Anwendungsgebieten ihre Rolle behalten. Die Nutzung von Big Data mit Hilfe von Advanced Analytics kann aber dafür sorgen, dass Prozesse optimiert, Märkte transparenter und neue Geschäftsmodelle möglich werden, indem ein Unternehmen seine Produkte und Dienstleistungen individualisieren kann. Dass sich derzeit viele Unternehmen mit Big Data beschäftigen, bestätigte kürzlich die Studie "Big Data und Advanced Analytics in der Praxis". Gemeinsam mit der Controller Akademie und der Aquma GmbH hatte die QUNIS hierzu rund 100 Unternehmen (Mittelstand und Konzern) im deutschsprachigen Raum befragt (Die kostenfreie Studie finden Siehier).

Danach halten über 80 Prozent aller Teilnehmer das Thema Big Data für "sehr wichtig" bis "wichtig". Umgekehrt erklärte nur jedes fünfte Unternehmen, in den kommenden zwei Jahren bislang keine Pläne zu haben. Die allerorts gestarteten oder zumindest in naher Zukunft geplanten Initiativen bei der überwiegenden Mehrheit der Befragten belegen aber, dass man sich mehr Klarheit verschaffen will. Typisch sind dabei Pilotprojekte, mit denen man bei begrenztem Budget und Risiko den Umgang mit Big Data erprobt. Zugleich erkennen Organisationen, dass sie eine strategische, organisatorische und technische Antwort finden müssen, wie sie denn nun genau Big Data und Advanced Analytics einbinden und effektiv im Rahmen der Digitalisierung nutzen wollen. Eine sorgfältige fachliche Planung samt Anforderungsanalyse (Use Cases) ist dafür ebenso nötig wie der Aufbau eines agilen Datenmanagements, das BI und Big Data verbindet.