Auch am einstigen Top-Performer Ebay ist die Wirtschaftskrise nicht spurlos vorbeigegangen. Das Umsatzwachstum schwächt sich merklich ab, die Folge sind Entlassungen. Doch das Online-Auktionshaus betreibt immer noch das weltweit größte kommerziell genutzte Data Warehouse. 5 Petabyte Daten sind in den Datenzentren in Phoenix und Sacramento gespeichert - eine Zahl mit 15 Nullen.

Jedes Jahr verdoppelt

Und das Ende der Fahnenstange ist nicht absehbar: "Das Datenwachstum hängt nicht nur vom Geschäftswachstum ab", beteuert Oliver Ratzesberger, Senior Director Architecture und Operations. Derzeit würden längst nicht alle aufgelaufenen Daten im Data Warehouse abgelegt.

Im Jahr 2002 nahm Ebay ein erstes Data Warehouse mit 14 Terabyte in Betrieb. Seither hat sich das Volumen jedes Jahr mindestens verdoppelt. All diese Informationen bilden die Grundlage für zahlreiche Auswertungen - sei es für Fachabteilungen oder für die IT selbst.

"Das generelle Problem ist, dass die Entwickler von den Benutzergruppen ein Dokument mit den geforderten Berichten und Daten sehen wollen, bevor sie etwas umsetzen", erläutert Ratzesberger. Zu diesem frühen Zeitpunkt wüssten die Fachabteilungen meist aber noch nicht genau, was sie brauchen.

Ersatz fürs Pflichtenheft

Deshalb hat Ebay vor drei Jahren begonnen, das Konzept "Analytics as a Service" umzusetzen. Damit haben die Fachabteilungen laut Ratzesberger die Möglichkeit, zeitlich begrenzte Analyseanwendungen ("Data Marts") selbst zu erstellen und zu testen.

Ebay ordnet den in Frage kommenden Fachabteilungen jeweils ein oder zwei Entwickler zu. Die helfen den Spezialisten dabei, die Anforderungen zu erfassen und sie in Form eines Prototypen umzusetzen.

Innerhalb von 90 Tagen muss die Fachabteilung entscheiden, ob aus dem Prototypen eine permanente Anwendung werden soll. Falls ja, wird er an die Entwicklungsabteilung übergeben - quasi als Ersatz für ein Pflichtenheft.

Mit diesem "Sandboxing"-Verfahren gelinge es den Entwicklern, eine Analyseanwendung deutlich schneller umzusetzen als auf die konventionelle Art, so Ratzesberger: "Die haben dann im Normalfall innerhalb von sechs Wochen eine Produktionsversion fertig." Zwischen 50 und 100 Data Marts seien auf diese Weise bereits entstanden.

Analyseanwendungen sind extrem rechenintensiv, aber glücklicherweise haben sie nicht alle zum selben Zeitpunkt ihren "Peak". Aus dieser Tatsache zieht Ebay Profit: Auch die Produktivversionen laufen als virtuelle Data Marts in der zentralen Data-Warehouse-Umgebung.

Weniger Systembelastung

Nun ist es nicht mehr notwendig, den maximalen Bedarf für alle Applikationen vorzuhalten. In einer virtuellen Umgebung stehe "theoretisch die gesamte Rechenleistung des Data Warehouse" zur Verfügung, wie Ratzesberger ausführt.

Zudem entfallen die redundante Speicherung der Daten in Data Warehouse und Data Mart sowie die Systembelastung durch deren Synchronisation. "Wir haben vor drei Jahren unseren größten Marketing-Data-Mart virtualisiert", berichtet Ratzesberger: Stand-alone sei die Anwendung 5 Terabyte groß gewesen, nach der Virtualisierung nur 300 Gigabyte.

Die notwendigen Tools stammen vom Data-Warehouse-Lieferanten Teradata. Dazu gehört ein Workload-Manager, der verhindern soll, dass eine Data-Mart-Anwendung das ganze System zur Strecke bringt.

Ebay nutzt das System auch für die IT selbst. Vor knapp zwei Jahren baute das Unternehmen eine Anwendung, mit der sich die Lastdaten aller Server im Minutentakt in das Data Warehouse laden und auswerten ließen. "Etliche tausend Server" seien damit eingespart worden, freut sich Ratzesberger.