Auf der Audio-Plattform SoundCloud können Musiker ihre Sound-Kreationen einstellen und mit der Community teilen. Mittlerweile greifen jeden Monat weltweit über 200 Millionen Nutzer auf die Plattform zu. Jede Minute werden im Durchschnitt zwölf Stunden Musik und andere Audio-Files auf SoundCloud hochgeladen. Mit den rasant anwachsenden Datenbergen haben sich im Laufe der Zeit jedoch auch die Herausforderungen im Umgang mit diesen Daten massiv verändert.
Nachdem die bis dato eingesetzte MySQL-Datenbank angesichts der Datenfluten an ihre Leistungsgrenzen stieß, mussten sich die SoundCloud-Verantwortlichen nach alternativen Datenablagen umsehen. Der Dienst begann mit Hadoop, einem Framework rund um das Hadoop Distributed File System (HDFS) und dem Map/Reduce-Algorithmus, sowie Amazon Redshift, einem Data Warehouse in der Cloud, zu arbeiten. Beide Lösungen versprechen eine schnelle Datenverarbeitung im Zuge von Analysen und Abfragen. Allerdings war es gerade für technisch weniger versierte Mitarbeiter nicht gerade einfach, diese Abfragen und Analysen für Hadoop und Redshift aufzusetzen, haben die SoundCloud-Verantwortlichen festgestellt.
Da jedoch möglichst viele Mitarbeiter Zugriff auf die Daten haben und damit arbeiten sollten, entschieden sich die Betreiber der Sound-Plattform für Pentaho Business Analytics. Das Analyse-Werkzeug lässt sich sowohl mit Hadoop wie auch mit Amazon Redshift integrieren. Anwender würden damit in der Lage versetzt, auf einfache Weise, Datenabfragen und Analysen für Hadoop und Redshift zu konfigurieren und umzusetzen - ohne für das Coding der Abfragen die IT-Abteilung einbinden zu müssen. Auf Basis der Analysen können die SoundCloud-Mitarbeiter effizient ermitteln, welche Stücke in der Community am besten ankommen und wie die User den Dienst nutzen. Die Ergebnisse unterstützen die Betreiber dabei, ihren Dienst besser auf die Wünsche und Anforderungen ihrer Kunden anpassen zu können.
Neugierig geworden? Sie interessieren sich für das Big-Data-Projekt? Pentaho und SoundCloud präsentieren ihr Big-Data-Vorhaben auf dem COMPUTERWOCHE-Kongress "Best in Big Data" am 24. September in Frankfurt am Main.
Die besten Big Data Projekte
Der COMPUTERWOCHE-Kongress und -Award "Best in Big Data" geht 2013 in die zweite Runde. Neben zahlreichen Fachvorträgen werden live auf der Bühne wegweisende Referenzprojekte und innovative Technologien aus dem Bereich Big Data gezeigt. Anbieter bekommen die Möglichkeit, ihre Lösungen sowie konkrete Big-Data-Best-Practices einer breiten Öffentlichkeit vorzustellen.
IT-Verantwortliche und Entscheider erhalten auf Best in Big Data wertvolle Informationen, wie sie innovative Impulse im Bereich Data Management und Business Analytics setzen und damit Mehrwert für das Business erzeugen können. Der Fokus liegt dabei auf bahnbrechenden neuen Technologien sowie wegweisenden Best-Practice-Beispielen. Hochrangige Experten zeigen und erklären die Trends. Anhand der vorgestellten Projekte wird praxisnah demonstriert, wie sich die aktuellen Herausforderungen rund um Big Data lösen lassen.
Best-in-Big-Data-Award
Eine renommierte Fachjury begutachtet im Vorfeld die eingereichten "Big Data Practices". Der große Auftritt der Finalisten folgt am 24. September in Frankfurt. Dort präsentieren die Bewerber ihr Projekt in einem zehnminütigen Vortrag und stellen sich den Fragen der Jury. Die Experten bewerten die Präsentationen und ermitteln die Gewinner der diesjährigen "Best in Big Data Awards". Darüber hinaus können auch die Besucher durch ihr eigenes Voting einen Publikumspreis vergeben. Alle Gewinner werden im Rahmen eines festlichen Gala-Abends gekürt und gefeiert. Sämtliche Finalisten erhalten zudem ein Zertifikat der COMPUTERWOCHE.
Alle Fakten zu Best in Big Data
Termin: 24. September 2013
Ort: Commerzbank-Arena in Frankfurt am Main
Infos: www.best-in-bigdata.de