"Myriad"

Neues Framework erlaubt parallele Nutzung von Apache YARN und Mesos

Thomas Cloer war viele Jahre lang verantwortlich für die Nachrichten auf computerwoche.de.
Er sorgt außerdem ziemlich rund um die Uhr bei Twitter dafür, dass niemand Weltbewegendes verpasst, treibt sich auch sonst im Social Web herum (auch wieder bei Facebook) und bloggt auf teezeh.de. Apple-affin, bei Smartphones polymorph-pervers.
Das von MapR Technologies, Mesosphere und Ebay gestartete Open-Source-Projekt Myriad erlaubt den parallelen Betrieb von Apache YARN und Hadoop-Prozessen mit weiteren Services und Anwendungen in Cloud und Rechenzentren.

Myriad kombiniert dafür die Leistungen von Apache YARN und Apache Mesos, so dass sich Big Data und weitere Workloads in einem einzigen Ressourcenpool zusammenfassen lassen. Damit entfällt die Entscheidung, ob ein Cluster mit YARN oder Mesos betrieben werden soll, während Mesos gleichzeitig für eine dynamische Steuerung der Ressourcen auch über die CPU hinaus sorgt. Das Projekt soll voraussichtlich in diesem Quartal als Apache-Inkubator-Projekt der Apache Software Foundation (ASF) eingereicht werden.

Hinter Myriad stehen einem Blogbeitrag zufolge Mesosphere, Entwickler des Mesosphere Datacenter Operating System (DCOS) zur Ressourcenverwaltung in Rechenzentren und der Cloud, und MapR Technologies, Anbieter einer populären Distribution für Apache Hadoop. Myriad ist verfügbar auf GitHub und soll eine höhere Nutzbarkeit und einen effizienteren Betrieb von Rechenzentren ermöglichen.

Florian Leibert, Mitgründer und CEO von Mesosphere
Florian Leibert, Mitgründer und CEO von Mesosphere
Foto: Mesosphere

Hadoop-Entwickler müssen bislang Big-Data-Prozesse auf bestimmten Clustern betreiben. Dabei werden die Ressourcen meist isoliert von weiteren Applikationen und Services eingesetzt, was zu einer schlechten Serverauslastung führen und operative Silos schaffen kann. Myriad ermöglicht das Betreiben von Big-Data-Workloads parallel zu anderen Applikationen wie fortlaufenden Web Services, Streaming-Applikationen (etwa Storm), Build-Systemen, Integrations-Tools wie Jenkins, HPC-Prozessen (etwa MPI), Docker-Containern sowie individuellen Skripten und Applikationen.

"Big-Data-Entwickler müssen sich bei der Verwaltung von Clustern nicht mehr zwischen YARN und Mesos entscheiden", erläutert Florian Leibert, CEO und Mitbegründer von Mesosphere. Myriad ermögliche deren gleichzeitigen Einsatz sowie die Steuerung von Big-Data-Workloads und verteilten Applikationen über einen einzigen Ressourcenpool. Developer erhielten somit die Leistungsfähigkeit von YARN für mit Hadoop betriebene Workloads plus die Fähigkeit von Mesos, alle übrigen Workloads zu betreiben.

Für YARN-Anwender eröffne Mesos die Möglichkeit zur Ressourcenplanung und -isolation über die CPU hinaus und erlaube damit die dynamische Steuerung von Arbeitsspeicher, Netzen und Storage auf demselben Cluster, über den auch die Big-Data-Prozesse laufen. "Myriad bietet Unternehmen die Möglichkeit, die Barriere zwischen isolierten Clustern aufzuheben, genauso wie Hadoop dieses hinsichtlich der Trennung von Datensilos erlaubt", ergänzt Jim Scott, Director Enterprise Strategy and Architecture bei MapR. Entwickler könnten sich nun auf Daten und Anwendungen konzentrieren, Administratoren hingegen über die Verwaltung der Rechenressourcen die Flexibilität erhöhen und den Betriebsaufwand minimieren.