Kompression, NoSQL, In-Memory und Co

Datenbanktechniken für Big Data

Sponsored Sponsored
Beitrag in Zusammenarbeit mit IBM
18.06.2012 | von Klaus Manhart
Mit den rasant wachsenden Datenmengen und steigenden Anforderungen im Umfeld von Business Intelligence (BI) kommen relationale Datenbanken schnell an ihre Grenzen. Der Ruf nach neuen Datenbanktechniken wird deshalb immer lauter. Konventionelle Technologien wie Kompression und spezielle "Big-Data-Verfahren" sowie In Memory oder NoSQL sollten dabei Hand in Hand gehen.
Datenexplosion: Besonders Social Media Anwendungen lassen die Datenmengen dramatisch anwachsen.
Datenexplosion: Besonders Social Media Anwendungen lassen die Datenmengen dramatisch anwachsen.
Foto: rikilo, Fotolia.de

In Zeiten von Web 2.0, Cloud Computing und sozialen Netzwerken wachsen die Datenmengen dramatisch an. Damit steigen auch die Anforderungen an den Datendurchsatz und die Skalierbarkeit der darunter liegenden Datenbanken. Ein Paradebeispiel für diese Problematik ist Twitter. Bei 140 Zeichen pro Tweet und bei der Geschwindigkeit, in der die Kurzmitteilungen abgesetzt werden, sorgt alleine Twitter pro Tag für mindestens 8 Terabytes an Daten.

Summieren sich diese Datenmengen, kann das für konventionelle relationale Datenbanken zu viel sein - sie stoßen bei Größenordnungen von Petabyte und Exabyte an ihre Grenzen. Damit stehen relationale Datenbanken allerdings nicht vor dem Aus, wie manche behaupten. Vielmehr gilt es, diese fit zu machen für die Big-Data-Problematik - und die jahrelang bewährte Technologie um spezielle Verfahren zu erweitern.

Angesichts der Big-Data-Problematik fordern Datenbankspezialisten vor allem, neue Funktionen etwa für Analysen direkt im Datenbankkern zu implementieren, um die drohende Komplexität durch zusätzliche Software-Layer zu verhindern. IBM-Manager David Faller spricht statt von einer "Big Revolution" von kleinen Revolutionen, die herkömmliche Datenbanken verbessern sollten. Die Gefahr, die klassische Datenbank könnte den Anforderungen nicht mehr genügen, sieht er ebenfalls nicht: "Die Datenbank ist noch lange nicht überholt."