Vier Tools für Data Mining im Test

Sehr geehrter Herr Alexander, vielen Dank für Ihre Antwort. Ich habe allerdings bereits _vor_ dem Schreiben meines letzten Kommentars Kontakt zu den Studienautoren aufgenommen und ebenso zu Rapid-I. Bei Rapid-I fand man es interessant, dass man weder bei der Recherche zur Studie noch bei der Recherche von Ihnen oder der Computerwoche kontaktiert oder befragt wurde. Ganz so gründlich kann die Recherche also weder bei der Studienerstellung noch bei Ihnen gewesen sein. Die von mir berichteten Fakten bleiben bestehen: * mayato hat nicht die RapidMiner Enterprise Edition in der Studie verwendet, sondern nur die RapidMiner Community Edition. * RapidMiner Enterprise ist deutlich schneller als RapidMiner Community. * Insofern ist der Vergleich von mayato unfair, insbesondere bezüglich der Skalierbarkeit auf große Datenmengen, zumal der SAS Enterprise Miner und KXEN beide ein Vielfaches der RapidMiner Enterprise Edition kosten. Ein Kostenargument, warum nur die Community Edition statt der Enterprise Edition von RapidMiner verwendet wurde, wäre hier also auch nicht glaubwürdig. * mayato behauptet, Anbieter-unabhängig zu sein. mayato ist aber Partnerunternehmen von KXEN und SAS. Zufällig gewinnen diese beiden Tools die Studie. Die Behauptung der Unabhängigkeit kombiniert mit diesen Unternehmenspartnerschaften und der unfairen Studie stellt in meinen Augen unlautere Werbung bzw. ein unlauteres Geschäftsgebahren dar. * mayato hat für die Studie RapidMiner nicht mit optimierten Parametern benutzt, sondern nur mit den Standard-Parameter-Einstellungen. Diese Aussage hat einer der Studienautoren im Nachgang der Studie gegenüber einem der Rapid-I Geschäftsführer gemacht. RapidMiner bietet aber eine automatisierte Parameteroptimierung. Diese nicht zu nutzen, während KXEN und SAS Parameter automatisch optimieren dürfen, ist unfair. In der Übersicht des Tool-Vergleichs dann auch noch zu behaupten, der Automatisierungsgrad von RapidMiner sei schlecht, schießt den Vogel. Man muß die entsprechende Automatisierung auch nutzen. Vielleicht sollten die Studienautoren, die mit KXEN und SAS als deren Partner ja bestens vertraut sind, mal an einer RapidMiner-Schulung teilnehmen oder zumindest nach entsprechendem Support fragen. Herr Alexander, welche meiner Aussagen haben Sie denn wirklich geprüft und für nicht nachvollziehbar befunden? Geben Sie mir eine Chance, den Nachweis der Korrektheit der entsprechenden Aussagen zu erbringen. Oder fragen Sie doch einmal Rapid-I nach einer Stellungnahme. Einer guten Recherche und einer fairen Berichterstattung wäre das sehr zuträglich. Mit freundlichen Grüßen, Frank Xavier zum Beitrag

Sehr geehrter Herr Xavier, nach nochmaliger Recherche ließen sich Ihre Vorwürfe und Verdächtigungen gegen die Verfasser und die Ergebnisse der Untersuchung nicht erhärten. Ich möchte Sie daher bitten, ggf. die Autoren zu kontaktieren. Gern kann ich auch für Sie den Kontakt herstellen. Nur eine kleine Korrektur: Die von Ihnen zitierte "SAS Enterprise Edition" ist mir unbekannt. Meines Wisses existiert nur der von mayato getestete "SAS Enterprise Miner". mit freundlichen Grüßen Sascha Alexander zum Beitrag

Das BI-Analysten- und Beratungshaus mayato pflegt hervorragende Kontakte zu vielen Herstellern von BI-Produkten. mayato ist offizieller Partner einiger dieser Softwareanbieter und bestrebt, dieses Partnernetzwerk weiter auszubauen. mayato ist grundsätzlich der Neutralität gegenüber einzelnen Softwareprodukten und in erster Linie der Qualität seiner eigenen Dienstleistungen verpflichtet. Kunden können von mayato erwarten, dass sie im Rahmen von Auswahlprozessen nach bestem Wissen und Gewissen die jeweils für ihren Bedarf optimale Lösung empfohlen bekommen. Dr. Marcus Dill, Geschäftsführer der mayato GmbH zum Beitrag

Hallo Herr Xavier, vielen Dank für Ihren Kommentar. Ich habe ihn an den Autoren und Tester der Produkte mit der Bitte um Antwort weitergeleitet und hoffe, dass er Ihre Vorwürfe ausräumen kann. Nur eine Anmerkung meinerseits: meines Wissens arbeitet mayato nicht nur mit KXEN, sondern auch mit SAP und SAS zusammen. mit freundlichen Grüßen aus der Redaktion Sascha Alexander zum Beitrag

Ich finde es interessant, wie unreflektiert hier die ComputerWoche die Propaganda der mayato GmbH wiedergibt. Zum Hintergrund: * Der Autor des obigen Artikels heißt Peter Neckel und arbeitet als Berater für die mayato GmbH und bringt dort vornehmlich KXEN-Lösungen an den Kunden. * So unabhängig, wie sich die mayato GmbH als Studien-Ersteller gibt, ist sie leider nicht. Wie die Web-Seiten von mayato, KXEN und SAS belegen, ist mayato Partnerunternehmen von KXEN und SAS und versucht mit zahlreichen Pressemeldungen, die Lösungen von KXEN und SAS an den Kunden zu bringen. * "Zufälligerweise" gewinnen die beiden Tools der beiden Partnerunternehmen KXEN und SAS die Vergleichsstudie. * Die Studie vergleicht Äpfel mit Birnen: Die Studie vergleicht nicht die RapidMiner Enterprise Edition (ab 1500,-Euro bis max. 10.000,-Euro), sondern nur die RapidMiner Community Edition (0,-Euro) mit dem SAS Enterprise Miner (Preis ab 100.000,-Euro), ohne dass auch nur mit einem Wort zu erwähnen. Wagt der Autor den Vergleich zwischen RapidMiner Enterprise und SAS Enterpise nicht? Warum sagt er nicht wenigstens, dass er nur die Community Edition verwendet hat? Soll hier eine Open-Source-Lösung gezielt diskreditiert werden, um hohe Preise bei Closed-Source-Lösungen zu rechtfertigen? RapidMiner ist übrigens sowohl in der Community als auch in der Enterprise Edition Open Source. Haben mayato und KXEN es wirklich nötig, mit derartig unfairen Mitteln gegen einen Mitbewerber anzutreten? Beide schlachten diese "Studie" nun schon seit Monaten (11/2008-06/2009) presse-technisch aus, ohne dass diese dadurch fundierter wird. * Die Bewertungen zum Systemverhalten bei großen Datenmengen, zur Systemstabilität, zur Effizienz des Analyseprozesses, zum Automatisierungsgrad, zur Ausführungsgeschwindigkeit und zur Modellqualität bei RapidMiner und den anderen Tools sind leider überhaupt nicht nachvollziehbar. Eine derart unterschiedliche Bewertung bei der Modellqualität halte ich für absolut unglaubwürdig, da fast allen Produkten die selben, in wissenschaftlichen Publikationen breit und ausführlich beschriebenen Algorithmen zugrunde liegen. Hier liegt der Verdacht einer unvorteilhaften Parametrisierung einzelner Produkte nahe. Die automatische Parameteroptimierung von RapidMiner wurde hier offensichtlich auch nicht genutzt. Vielleicht deshalb, weil das Ergebnis dann mit KXEN ("Data Mining Automation") und SAS gleichziehen würde? Ich habe nichts gegen Software-Vergleichsstudien, aber wenn dann bitte transparent und fair. Ich habe auch nichts gegen Presseartikel über derartige Vergleichsstudien, aber wenn dann bitte transparent (Offenlegung von Interessenverquickungen), fair und mit einem Minimum an eigener Recherche. Mit den besten Grüßen von einem Leser, der sich von mayato, dieser Studie und der ComputerWoche verschaukelt fühlt, Frank Xavier zum Beitrag