Angesichts des Erfindungsreichtums der IT-Branche, die Trends laut ausruft und leise wieder zu Grabe trägt, ist die Versuchung groß, auch an "Big Data" einen Haken zu machen. Doch das wäre grundfalsch. Zu viele Fakten sprechen dafür, dass wir hier tatsächlich vor einer kleinen Revolution stehen.

Wachsende Datenberge sind eine Tatsache; spannender ist aber das Aufkommen neuer Technologien, mit denen dieser Informationswust durchdrungen und ausgewertet werden kann - bezahlbar und vergleichsweise schnell. Rechenpower ist heute günstig, Multiprozessor- und Multicore-Techniken sind allgegenwärtig. Die Kosten für Arbeitsspeicher fallen immer weiter, so dass In-Memory-Verarbeitung realistisch wird. Auch lässt sich Standardhardware heute einfach in Server-Cluster einbinden, was zu enormen Skalierungseffekten geführt hat. Commodity-Hardware ist somit in der Lage, Aufgaben zu erledigen, die früher Supercomputern vorbehalten waren - zu einem Bruchteil der Kosten.

Anbieter wie Google, Yahoo und Facebook haben gleichzeitig im Bereich der Softwaretechnik die Bremse gelöst. Auf der ganzen Welt experimentieren Entwickler mit dem Java-Framework Hadoop, das auf dem ebenfalls in Supercomputing-Zirkeln entstandenen und von Google verfeinerten MapReduce-Algorithmus basiert. Es ermöglicht intensive Rechenprozesse mit großen Datenmengen auf Computer-Clustern und ist heute ein Softwareprojekt der Apache Software Foundation. Es gibt aber auch schon eine Reihe von Big-Data-Projekten, die auf Lösungen klassischer BI-Spezialisten wie SAS Institute, Teradata oder SAP basieren und ähnlich erfolgreich sind.

Spannend ist nun zu beobachten, wann Big Data bei den Anwendern ankommt. Es macht schließlich einen Unterschied, ob ein Handelskonzern, ein Finanzdienstleis-ter oder ein Versorger innerhalb von Minuten statt von Tagen verwertbare Informationen aus seinen Daten ziehen kann. Big Data beschleunigt die Reaktionsfähigkeit des Business. Die IT ist hier gefordert.