Twitter und Foren durchsuchen

Sechs Social-Analytics-Tools im Vergleich

Jan Sedlacek ist bei Goldbach Interactive Berater und verantwortlich für Social Media Monitoring Projekte. Neben Beratungserfahrung hat er massgeblich die jährlichen Toolreports ausgearbeitet und mitgeprägt.
Tobias Lehr hat das Social Media Team von Goldbach Interactive mit aufgebaut und leitet das Team heute. Der Tätigkeitsschwerpunkt liegt neben der strategischen Beratung und Führung von Kunden in den digitalen und sozialen Netzwerken.
Stephanie Wörmann verantwortet als Social Media Beraterin den Bereich Social Media Tools & Analytics bei Goldbach Interactive. Sie prägt die langjährige Erfahrung bei einem weltweit tätigen Anbieter von Lösungen für Online Medienbeobachtung, Social Media Monitoring & Marketing.
Die besten von über 300 Beobachtungswerkzeugen haben im Performance-Test unterschiedliche Stärken gezeigt. Je nach Einsatzland oder Art der Datenquelle - Twitter, Blogs, News, Foren - empfiehlt sich ein anderes Tool.
Foto: Paul Fleet/Fotolia.com

Social-Media-Monitoring-Tools helfen Unternehmen, einen Überblick über ihre Präsenz im Social Web zu erhalten, sie zu analysieren und auf dieser Basis den Dialog mitzugestalten. Das richtige Tool für die individuellen Anforderungen zu finden ist jedoch nicht einfach. Der folgende Test machte vor allem quantitative Unterschiede der Tools deutlich. Folgende Softwarewerkzeuge (in alphabetischer Reihenfolge) haben sich dem Test gestellt:

Um die Vergleichbarkeit der Tools zu gewährleisten, galt es darauf zu achten, die Ergebnisse nicht durch das Setup des Tests zu verfälschen. Aus diesem Grund wurden einfache Suchbegriffe (Queries) mit zwei international erfolgreichen Markennamen herangezogen, die trotz ihrer Bekanntheit ein überschaubares Volumen an Meldungen aufweisen. Der Testzeitraum erstreckte sich vom 12. bis zum 19. November 2013. Um eine identische Grundvoraussetzung zu gewährleisten, wurde dabei sichergestellt, dass die Testzugänge nicht durch Beschränkungen beim Datenvolumen limitiert waren. Folgende Aspekte wurden im Rahmen des Performance-Tests untersucht:

  • Datenvolumen,

  • Quellenabdeckung,

  • Tonalität,

  • Reaktionszeit.

Analyse des Datenvolumens

Weil sich die Menge der Plattformen stetig verändert, ist es fast unmöglich, die tatsächliche Zahl der Quellen zu schätzen, die sich täglich zu diesen Marken äußern. Monitoring-Tools helfen, die Meldungen zu überblicken und möglichst alle Plattformen im Web abzusuchen. Eigentlich sollte die Zahl der Erwähnungen zu einem bestimmten Suchbegriff, beispielsweise einer bestimmten Marke, bei allen Tools gleich sein. Überraschenderweise fanden die getesteten Tools jedoch sehr unterschiedlich viele Meldungen - das Datenvolumen der gefundenen Tweets war relativ ähnlich, die Nennungen in Blogs, News und Foren divergierten aber stark.

Durchschnittlich fanden die Tools 164.866 Beiträge zum Suchbegriff 1 und 23.684 Beiträge zum Suchbegriff 2. Das Tool mit den meisten Ergebnissen entdeckte 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen. International fand Talkwalker die meisten Ergebnisse. Für die Schweiz lieferte Brandwatch am meisten.

Durchschnittlich fanden die sechs getesteten Social-Media-Monitoring-Tools im World Wide Web 164.866 Beiträge zum Suchbegriff 1.
Durchschnittlich fanden die sechs getesteten Social-Media-Monitoring-Tools im World Wide Web 164.866 Beiträge zum Suchbegriff 1.
Foto: Goldbach Interactive (GBI)
Den zweiten Suchbegriff fanden die Tools durchschnittlich 23.684 Beiträge zum Suchbegriff 2. Die Unterschiede waren insgesamt beträchtlich. Das Werkzeug mit den meisten Ergebnissen fand 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen.
Den zweiten Suchbegriff fanden die Tools durchschnittlich 23.684 Beiträge zum Suchbegriff 2. Die Unterschiede waren insgesamt beträchtlich. Das Werkzeug mit den meisten Ergebnissen fand 60 Prozent mehr Beiträge als jenes mit den wenigsten Ergebnissen.
Foto: Goldbach Interactive (GBI)

Interessant war die Abweichung der Treffer zwischen den beiden Suchbegriffen, die durch die unterschiedlich starke Abdeckung von fachspezifischen Quellen verursacht sein kann. Anzunehmen ist, dass die Zahl der Treffer - und damit eine Rangfolge nach Zahl der Nennungen - sich bei anderen Suchbegriffen wieder verändert. Allerdings zeichnete sich eine Tendenz ab, welche Tools über einen starken Crawler und damit über eine umfangreiche Quellenbasis verfügen.

Die rein quantitative Betrachtung des gemessenen Datenvolumens reicht jedoch nicht aus. Genauso wichtig ist die Qualität gefundener Beiträge. Sind Treffer, die ein Tool ausgibt, irrelevant (Spam) oder falsch kategorisiert (Land, Quelle), wird ein Tool in der Praxis kaum überzeugen. Die stichprobenartige Kontrolle zeigte: Radarly und Brandwatch weisen im Bereich der richtigen Länderzuordnung noch Verbesserungspotenzial auf.

Tipp: Erkundigen Sie sich vor der Wahl eines Monitoring-Tools beim Anbieter, ob Firmen aus dem entsprechenden Industriezweig und der gleichen Region das Tool bereits im Einsatz haben. Dies kann Hinweise auf die Relevanz der Datenbasis des Anbieters geben.

Analyse der Quellenabdeckung

Da anhand der gefundenen Beiträge nicht zwingend auf eine hochwertige Quellenabdeckung geschlossen werden konnte, wurde neben der Klassifizierung der Meldungen nach Region auch die Zuweisung auf den richtigen Medientyp (News, Blogs, Foren, Twitter und Facebook) untersucht. Im Test zeigte die quellenbasierte Analyse der jeweiligen Tools ebenfalls eine unterschiedliche Aufschlüsselung des Datenvolumens:

Die höchste internationale Quellenabdeckung in News zeigt Synthesio mit gesamthaft 36.655 Nennungen.

Im Bereich Blogs heben sich Engagor (11.825 Nennungen) und Talkwalker (12.770 Nennungen) hervor.

Die breiteste Abdeckung von Foren weist Brandwatch mit 39.151 Nennungen auf.

Die quellenbasierte Analyse der verschiedenen Tools zeigt je nach Social-Media-Plattform ebenfalls eine unterschiedliche Aufschlüsselung des gefundenen Datenvolumens.
Die quellenbasierte Analyse der verschiedenen Tools zeigt je nach Social-Media-Plattform ebenfalls eine unterschiedliche Aufschlüsselung des gefundenen Datenvolumens.
Foto: Goldbach Interactive (GBI)
Auffallend ist, dass die Zahl der Twitter-Treffer, die die verschiedenen Plattformen liefern, bei beiden Suchbegriffen nicht so stark variieren.
Auffallend ist, dass die Zahl der Twitter-Treffer, die die verschiedenen Plattformen liefern, bei beiden Suchbegriffen nicht so stark variieren.
Foto: Goldbach Interactive (GBI)

Bei Twitter und Facebook zeigte sich folgendes Bild: Das Volumen an Tweets war bei allen Tools auf ähnlichem Niveau. Die Abweichung bei der Zahl gefundener Nennungen liegt bei Twitter nur bei rund fünf Prozent, mit Ausnahme von Radarly. Allerdings überzeugte gerade Radarly beim Facebook-Monitoring und fand hier die meisten Nennungen.

Der Performance Test ergab: Die individuellen Stärken der Tools im Bereich der Quellendurchdringung entpuppten sich als sehr unterschiedlich. Je nach Fokus und gewünschter Periodizität der Durchsuchung einer bestimmten Quellengattung empfiehlt es sich, ein anderes Tool einzusetzen. Im Bereich Twitter ist die Qualität aller Tools - mit Ausnahme von Radarly - ziemlich identisch.

Tipp: Nutzt ein Tool die direkte Anbindung an den Twitter-Datenstrom (Firehouse Access), ist die Grundvoraussetzung einer vollständigen Twitter-Abdeckung in nahezu Echtzeit gegeben.