Elastic Storage

IBM bringt Watson-Speicher ins Unternehmen

Thomas Cloer war viele Jahre lang verantwortlich für die Nachrichten auf computerwoche.de.
Er sorgt außerdem ziemlich rund um die Uhr bei Twitter dafür, dass niemand Weltbewegendes verpasst, treibt sich auch sonst im Social Web herum (auch wieder bei Facebook) und bloggt auf teezeh.de. Apple-affin, bei Smartphones polymorph-pervers.
Als der IBM-Rechner "Watson" 2011 zwei frühere "Jeopardy"-Champions schlug, konnte er dazu sehr schnell auf enorme Datenmengen zugreifen.
Für Jeopardy hatte Watson Zugriff auf 200 Millionen Seiten strukturierte und polystrukturierte Daten, darunter die Wikipedia im Volltext...
Für Jeopardy hatte Watson Zugriff auf 200 Millionen Seiten strukturierte und polystrukturierte Daten, darunter die Wikipedia im Volltext...
Foto: IBM

Die dafür genutzte HPC-Technik kommerzialisiert IBM jetzt und bietet sie unter der neuen Marke "Elastic Storage" auch seinen Kunden an. "Big Blue" bezeichnet die Lösung als "Software-Defined-Speichertechnologie für die Big-Data-Ära"; Elastic Storage skaliere praktisch unbegrenzt und könne die Speicherkosten durch Automatisierung erheblich - in der Spitze bis zu 90 Prozent - senken.

Elastic Storage verschiebt laut IBM Daten regelbasiert immer automatisch auf das wirtschaftlichste Speichersystem von schnellem Flash bis hin zu Tape ("Tiered Storage", das Konzept kennt man schon etwas länger ;-). Wenn ein Server Flash-Speicher eingebaut hat, nutzt Elastic Storage diesen automatisch als schnellen Cache. Laut IBM-Forschung lassen sich mit Elastic Storage 10 Milliarden Dateien auf einem Cluster in gerade einmal 43 Minuten durchsuchen; die theoretische Architekturbeschränkung liege bei tausenden von Yottabytes (ein Yottabyte = eine Milliarde Petabyte (zehn hoch 24 Byte)).

Foto: IBM

Eine Kernkomponente von Elastic Storage ist das Dateisystem Global/General Parallel File System (GPFS) mit vereinfachtem Datenmanagement und integrierten Tools für den Informationslebenszyklus, das den vorhandenen Speicher virtualisiert und zu Pools zusammenfasst, auf die Systeme und Anwendungen ohne weitere Software zur Speicherverwaltung zugreifen können - das Ganze mit nativer Verschlüsselung und sicherer Löschung für regulatorische Compliance nach Sarbanes-Oxley, HIPAA und Co.

Last, but not least unterstützt Elastic Storage auch die Cloud-Management-Software OpenStack (Cinder- und Swift-Zugriff) sowie weitere offene APIs wie Hadoop und POSIX. Später in diesem Jahr will IBM Elastic Storage auch als Service über SoftLayer anbieten.