Best of Open Source 2011

Die beste Software für Anwendungsentwicklung

25.09.2011
Von 

Patrick Hagn hat bis November 2019 das Competence Center Video geleitet. Er war zuständig für alle Videos auf Computerwoche, CIO und Channelpartner.

Apache Hadoop

Hadoop
Hadoop

Hadoop ist ein freies, in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software und unter dem Dach der Apache Software Foundation angesiedelt. Damit wird es für jedermann möglich, intensive Rechenprozesse mit großen Datenmengen bis in den Petabyte-Bereich auf einem Rechnerverbund durchzuführen. Die Initialzündung für das Projekt war der MapReduce-Algorithmus von Google. Unter den Nutzern finden sich prominente Namen wie Facebook, AOL, IBM oder Yahoo.

Zu Hadoop existieren mittlerweile fruchtbare Erweiterungen, die noch mehr aus dem Projekt herausholen. Das Hadoop Distributed File System (HDFS) ist ein Masterknoten für eingehende Anfragen. Wenn das nicht reicht, helfen Datenbanken wie Cassandra und HBase die Daten innerhalb eines Hadoop-Clusters zu verwalten. Ausgefeiltere Abfragen sind mit Hive möglich.