Pivotal hat große Teile seiner "Big Data Suite" unter einer Open-Source-Lizenz freigegeben. Dazu gehören die Hadoop-Distribution "Pivotal HD", die Data-Warehouse- und Analyseplattform "Greenplum", die InMemory-NoSQL-Datenbank "Gemfire" sowie die SQL-on-Hadoop-Engine "HAWQ". Hintergrund ist wohl, dass die Hadoop-Distribution samt Ökosystem Schwierigkeiten hat, mit konkurrierenden Suites von Cloudera, MapR und Hortonworks mitzuhalten. Im vergangenen Jahr hatte Pivotal, ein Gemeinschaftsunternehmen von EMC und dessen Tochter VMware, 60 Jobs gestrichen, überwiegend im Big-Data-Umfeld.
Pivotal-Manager Sundeep Madra teilte indes mit, die EMC-Tochter werde ihre Ambitionen im Big-Data-Markt keineswegs reduzieren. Es gehe vielmehr darum, den Marktzugang zu ändern. So wie Pivotal seine PaaS-Lösung CloudFoundry Open-Source gestellt hatte, um dann an einer eigenen Distribution mit Premium-Funktionen zu verdienen, so wolle man auch in anderen Bereichen vorgehen. Man nehme den Kunden so die Sorge vor einer Lock-in-Situation, gleichzeitig könne die Community Entwicklung und Support einzelner Komponenten mit großer Energie vorantreiben.
- Pivotal HD
Als Hadoop-Distribution, die im Gegensatz zur Standardversion der Software auch SQL-Datenbanken als Datenquellen nutzen kann, positioniert sich "Pivotal HD". Die Distribution basiert auf Hadoop 2.0 und verbindet EMCs Greenplum-Datenbank mit der Open-Source-Software. Die engen Bande zu EMC kommen nicht von ungefähr, weil Pivotal eine Ausgründung des Storage-Spezialisten ist. - Pivotal HD
Die Bestandteile der Hadoop-Distribution von Pivotal - Pivotal HD
Über ein Web-Interface können Nutzer von Pivotal HD die Hadoop-Komponenten installieren und verwalten. Das gilt auch für das Cluster-Management.
Pivotal will an Support verdienen
"Indem wir Pivotal HD, HAWQ, Greenplum DB und GemFire mit der Open Source Community teilen, können wir zusammen die nötigen Komponenten beitragen, um Lösungen zu bauen, die für alle Datenanforderungen passen", sagte Madra. Rund um die Pivotal-Technologien entstünden nun Open-Source-Projekte - so beschleunige man die Innovation und sorge für mehr Akzeptanz bei den Kunden. Pivotal selbst werde rund um die Big Data Suite den Support für Bare Metal Commodity Hardware, vorkonfigurierte Appliances, virtualisierte Instanzen und für Public, Private und Hybrid Clouds liefern. Die Pivotal Cloud Foundry werde in diese Angebote integriert, falls in der PaaS-Umgebung entwickelte Anwendungen Big-Data-Funtkionen benötigten.
Gemfire und HAWQ sollen gemäß der Apache-Software-Foundation-Lizenz zur Verfügung stehen. Da Greenplum eine Variante der Open-Source-Datenbank PostgreSQL ist, will man hier mit der PostgreSQL-Community zusammenarbeiten, um ein Lizenzmodell zu finden, heißt es bei Pivotal.
Partnerschaft mit Hortonworks
Im Zusammenhang mit der Ankündigung teilte Pivotal zudem mit, dass man eine Partnerschaft mit dem Wettbewerber Hortonworks eingehen wolle. Dabei gehe es darum, "SQL on Hadoop" sowie die Datenbank- und NoSQL-InMemory-Techniken von Pivotal mit Hortonworks Hadoop-Welt in Einklang zu bringen. Für die Big-Data-Suite der "Hortonworks Data Platform" sollen Services wie HAWQ bereitgestellt werden. Außerdem werde Hortonworks Support für die Hadoop-Distribution Pivotal HD 3.0 anbieten.
Der Analyst Paul Miller von "Cloud of Data" spekuliert allerdings, dass Pivotal seine Hadoop-Distribution über kurz oder lang ganz fallen lassen und mit seinen Produkten auf die Hortonworks-Plattform aufsetzen wird. Zunächst werde Pivotal aber dafür sorgen, dass seine Big-Data-Produkte mit der Hadoop-Distribution von Hortonworks reibungslos zusammenspielten.
Big-Data-Anbieter bauen gemeinsame Technikplattform
Um die Komplexität rund um Hadoop- und Big-Data-Umgebungen zu reduzieren und doppelte Entwicklungsarbeiten an Basiskomponenten zu vermeiden, hat sich die Open Data Platform (ODP) gegründet. Geplant ist ein gemeinsamer getesteter Technologie-Kernel, der Apache Hadoop, Apache Ambari und weitere Apache-Technologien umfasst.
Eine solche standardisierte Plattform soll der wachsenden Fragmentierung in der Big-Data-Welt entgegenwirken und den Softwareanbietern ermöglichen, drum herum ihre Pakete und Distributionen zu platzieren. Anwendungen und Tools, die gegen diesen "ODP-Kernel" entwickelt werden, sollen auf jedem kompatiblen System laufen beziehungsweise damit integrierbar sein.
Platin-Mitglieder der Initiative sind GE, Hortonworks, IBM, Infosys, Pivotal and SAS. Einen Gold-Status haben zudem Altiscale, Capgemini, EMC, Verizon Enterprise Solutions und VMware.