Apache Hadoop
Hadoop ist ein freies, in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software und unter dem Dach der Apache Software Foundation angesiedelt. Damit wird es für jedermann möglich, intensive Rechenprozesse mit großen Datenmengen bis in den Petabyte-Bereich auf einem Rechnerverbund durchzuführen. Die Initialzündung für das Projekt war der MapReduce-Algorithmus von Google. Unter den Nutzern finden sich prominente Namen wie Facebook, AOL, IBM oder Yahoo.
Zu Hadoop existieren mittlerweile fruchtbare Erweiterungen, die noch mehr aus dem Projekt herausholen. Das Hadoop Distributed File System (HDFS) ist ein Masterknoten für eingehende Anfragen. Wenn das nicht reicht, helfen Datenbanken wie Cassandra und HBase die Daten innerhalb eines Hadoop-Clusters zu verwalten. Ausgefeiltere Abfragen sind mit Hive möglich.