Das Mantra der rasant steigenden Datenmengen betet die IT-Industrie seit Jahren. Die jährlichen Zuwachsraten der speicherungswürdigen Informationen von 40 Prozent und mehr gelten als Grund, in ausgefeilte Komprimierungstechniken zu investieren oder mehrstufige Ablagesysteme zu entwickeln. Allgemein wird über die Datenflut gestöhnt, muss doch ständig neues Equipment angeschafft und aufwendig unterhalten werden: Schon heute sind Speichergeräte für rund 40 Prozent der Stromkosten im Rechenzentrum verantwortlich, Tendenz steigend.

Inzwischen werden Informationen aber nicht mehr nur von der Kosten-, sondern auch von der Nutzenseite her betrachtet. Gelingt es, die Datenberge zu analysieren und in Beziehung zu setzen, können sich handfeste Geschäftsvorteile ergeben, so die neue Erwartung. Vor der Ernte liegt aber die Arbeit - und die kann schweißtreibend sein.

Die Naturwissenschaften sahen sich schon relativ früh mit der Bewältigung gigantischer Datenmengen konfrontiert, die zudem auch noch ziemlich sperrig waren. Die einzelnen Datensätze sprengten das, was die Rechner an Memory- und Disk-Kapazität bereitstellten. Im Oktober 1997 veröffentlichten Michael Cox und David Ellsworth anlässlich einer IEEE-Konferenz zur Visualisierung ein Papier, in dem erstmals der Begriff "Big Data" auftauchte.

An dem Befund hat sich bis heute nicht viel geändert. Big Data führt die modernen Speicher an ihre Grenzen - und zwar kommt die Bedrohung von drei Seiten: Die schiere Datenmenge übersteigt oft die verfügbare Speicherkapazität, der einzelne Datensatz ist so groß, dass die Bandbreite zur Verarbeitung nicht ausreicht, und das Transaktionsvolumen sprengt die Verarbeitungsleistung des I/O-Systems. Manchmal treffen alle drei Herausforderungen aufeinander.

Lösungsansätze für Big Data

Ein Mittel, um der Datenberge Herr zu werden, ist die Anschaffung von immer neuen Speichern. Im Lauf der Zeit füllen sich jedoch die Rechenzentren mit Speichersilos, die sich nur schwer administrieren lassen, teuer im Unterhalt und dazu meist noch schlecht ausgelastet sind. Abhilfe schaffen können Objektspeicher, die in Scale-out-Architektur aufgebaut sind. Dell, mit der "DX Object Storage Platform" einer der Marktführer in diesem Bereich, definiert die Gattung so: "Speichern und Verteilen von Datenobjekten variabler Größe und von zugehörigen Metadaten anstelle eines einfachen Platzierens von Datenblöcken auf Spuren und in Sektoren". Die Hauptvorteile solcher Speicher liegen, dank Metadaten, im einfachen Verwalten und Wiederfinden von Inhalten sowie im Preisvorteil durch Standardkomponenten und hohe Packungsdichte.

Gilt es, übergroße Datensätze zu speichern, geraten herkömmliche Speicher oft in Zeitnot: Ihr Durchsatz reicht nicht aus. IT-Mitarbeiter beheben diesen Mangel, indem sie möglichst viele Spindeln drehen lassen, also mehr Festplatten anschaffen, als Kapazität benötigt wird, nur um schneller abspeichern zu können. Leicht einzusehen, dass dies zu Lasten der Effizienz geht.

Schon früh haben sich bei den Naturwissenschaftlern Scale-out-Cluster durchgesetzt, die nicht nur schnell große Informationsmengen verarbeiten, sondern auch speichern können. Dank sehr guter Skalierungsmöglichkeit hält dabei die Bandbreite Schritt mit der Größe der einzelnen Files.

In Zukunft, so prophezeien Marktkenner, werden im Rahmen der Machine-to-Machine-Kommunikation auch kleine Datenmengen, erzeugt von unzähligen Sensoren (Stichwort: RFID), auf die Rechner und Speicher einprasseln. Das Transaktionsvolumen steigt. Oft geraten herkömmliche Speicher dann in Atemnot, sprich, die Verarbeitungsgeschwindigkeit der Systeme reicht nicht aus, um die vielen I/O-Anfragen zeitgerecht abzuarbeiten. Eine gängige Abhilfe war bislang auch hier, mehr Spindeln einzusetzen, um die Last besser zu verteilen. Das ist klassisches Scale-up und wird immer noch erfolgreich betrieben, wie die Verkaufserfolge von EMC, IBM oder Hitachi mit ihren großen Highend-Speichern beweisen.

Speicheranalyst Josh Krischer erwartet aber, dass sich der Markt für die Verarbeitung und Speicherung von Big Data Neues einfallen lassen wird. Er stellte das "ABCM" (Analyse, Bandbreite, Content, Maschinen- und Sensor-generierte Daten) für Big Data (http://poweringthecloud.com/siteContent/pdfs/2e4___storage_in_the_new_decade_snw.pdf) auf. Krischer erwartet eine Fülle von Spezialmaschinen, die "große Datenmengen schnell analysieren können und dazu parallele Zugänge für nur eine explizite Applikation anbieten". Solche Systeme können auch das Bandbreitenproblem beheben, weil sie für nur eine Anwendung optimiert sind. Spannende Zeiten also für Storage.