Data Excellence

Mit welchen Tools Sie Ihr Ziel erreichen

14.09.2022
Anzeige  Compliance-Risiken mindern und zugleich Teamproduktivität und Agilität steigern. Data Excellence ist der Schlüssel dafür.
Datengesteuerte Projekte werden in vielen Unternehmen implementiert. Dabei muss Datenqualität strategische Priorität haben.
Datengesteuerte Projekte werden in vielen Unternehmen implementiert. Dabei muss Datenqualität strategische Priorität haben.
Foto: puhhha - shutterstock.com

84 Prozent der Unternehmen haben laut einer aktuellen Foundry-Studie bereits datengesteuerte Projekte eingeführt oder auf ihren Roadmaps. Es ist die Qualität der Daten, was dabei die meisten Probleme bereitet.

Seit Einführung der DSGVO müssen Unternehmen und Organisationen immer komplexere regionale und branchenspezifische Bestimmungen befolgen, die sich zudem ständig ändern. Nur wenige Unternehmen schaffen es, all diese Regeln zu verwalten, und für Verstöße drohen hohe Strafzahlungen. So wundert es kaum, dass immer mehr DSGVO-Bußgelder verhängt werden. Bis dato sind es insgesamt bereits mehr als 1,6 Milliarden Euro, Tendenz steigend.

Dazu kommt, dass 80 Prozent aller Unternehmen mehr Zugriffsberechtigungen gewähren, als die Nutzer für ihre Arbeit bräuchten. Die Folge: Datenteams müssen einen Großteil ihrer Zeit für Zugriffsprobleme aufwenden. Für ihre eigentliche Aufgabe, Konformität sicherzustellen, verbleibt zu wenig Zeit.

Teure Bad Data

Der weltweite Daten-Boom trägt dazu bei, dass Bad Data entstehen. Immer größere Mengen auf Vordermann zu bringen, wird von vielen Unternehmen als Problem gesehen, da dies mit konventionellen Methoden langwierig und kompliziert ist. Laut Gartner kosten schlechte Daten jedes Unternehmen bereits heute im Durchschnitt 15 Millionen US-Dollar pro Jahr.

Die Folge: Viele Unternehmen haben Schwierigkeiten, Data Excellence herzustellen.

Vier Thesen zur Data Excellence

Dies sind die drei häufigsten Datenprobleme von Unternehmen:

  1. Der Zugriff muss den richtigen Personen gewährt werden.

  2. Nutzer müssen auf die Qualität der Daten vertrauen können.

  3. Die ständig steigende Anzahl an Vorschriften, die sich zudem ständig ändern, müssen eingehalten werden und werden ein wichtiger Teil der Compliance.

41 Prozent der Unternehmen kämpfen mit schlechter Datenqualität und 38 Prozent mit Sicherheits- und Governance-Problemen, wie Foundry in ihrer Data & Analytics Study 2022 festgestellt hat.

Minderwertige Daten erkennen

Schlechte Daten können überall schlummern - vom Vertrieb bis zum Engineering. Mit Hilfe der folgenden Kriterien können Sie die Qualität bewerten:

  1. Vollständigkeit: Enthalten die Daten ausreichende Informationen?

  2. Richtigkeit: Sind sie korrekt, zuverlässig und/oder durch ein Kontrollgremium zertifiziert?

  3. Aktualität: Sind die Daten aktuell?

  4. Konsistenz: Ist das verwendete Format einheitlich? Ermöglicht es die Zusammenführung oder Anreicherung mit anderen Datensätzen?

  5. Zugänglichkeit: Sind sie unkompliziert abrufbar?

Mithilfe einer Data-Governance-Strategie können Sie Daten produktiv einsetzen und Geschäftsentscheidungen auf einer soliden Grundlage treffen.
Mithilfe einer Data-Governance-Strategie können Sie Daten produktiv einsetzen und Geschäftsentscheidungen auf einer soliden Grundlage treffen.
Foto: NDAB Creativity - shutterstock.com

5 Schritte zu besserer Datenqualität

Damit Sie Ihre Daten produktiv einsetzen und Geschäftsentscheidungen auf solider Grundlage treffen können, benötigen Sie eine Data-Governance Strategie. Sie besteht aus fünf Schritten:

  • Schritt 1: Profiling

Durch das Erstellen eines Datenprofils lassen sich Probleme, Risiken und allgemeine Trends bezüglich der Qualität erkennen. Dies gibt ein klares Bild, worauf Sie den Schwerpunkt bei der Datenverbesserung legen müssen.

  • Schritt 2: Standardisierung und Abgleich

Viele Qualitätsprobleme, die sich bei der Profilerstellung gezeigt haben, können durch Standardisierungs- und Abgleichverfahren behoben werden. Die Standardisierung stellt sicher, dass alle Daten dasselbe Format haben. Beim Abgleich lassen sich dann die Daten aus unterschiedlichen Systemen in Echtzeit miteinander verknüpfen. Auch und gerade für dieses Matching ist eine vorherige Standardisierung unumgänglich.

  • Schritt 3: Datenanreicherung

In dieser Phase können Sie Daten mit Zusatzinformationen aus anderen Speicherorten anreichern.

  • Schritt 4: Monitoring

Die Qualitätsverbesserung kann nicht mit einer einmaligen Aktion als abgeschlossen gelten. Da Daten ständigem Wandel unterworfen sind, müssen sie fortlaufend überwacht werden.

  • Schritt 5: Operationalisierung

Hierbei werden die in den vorangegangenen Schritten erstellten Prüfungen und Regeln automatisiert und in Ihre Datenpipelines eingebettet.

Geeignete Tools auswählen

Viele Lösungen bieten Excel-ähnliche Point-and-Click-Tools, mit denen Sie Ihre Daten aufbereiten können. Zunächst werden allgemeine Datenmodelle, semantische Regeln und Richtlinien festgelegt, die für eine Bereinigung und Validierung notwendig sind. Darauf folgt die Definition von Benutzerrollen, Workflows und Prioritäten. Nun lassen sich die Daten abgleichen und zusammenführen, Fehler beheben und Inhalte zertifizieren.

Diese Prozesse sind wesentlich einfacher durchzuführen, wenn Tools zum Einsatz kommen, die sämtliche Daten zentral verwalten und steuern können. Genau hier setzt Talend an, der von Gartner® bereits viermal als Leader unter den Anbietern von Datenqualitätslösungen positioniert wurde. Die Talend-Plattform, die beispielsweise von AstraZeneca genutzt wird, funktioniert so, dass Kontrolle, Compliance und Zugriff mit einer einzigen End-to-End-Lösung aufeinander abgestimmt werden. Andy McPhee, Data Engineering Director bei AstraZeneca: "Wir müssen darauf achten, dass unsere Daten vertrauenswürdig bleiben. Wenn wir keine entsprechende Datenqualität gewährleisten können, werden unsere Medikamente nicht zugelassen. Talend bietet uns genau die Schnelligkeit und Sicherheit, die wir benötigen." So ermöglicht die Talend-Plattform, alle klinischen Studien um einen vollen Monat zu verkürzen. Das bringt AstraZeneca jährlich Einsparungen von 1 Milliarde US-Dollar.

So funktioniert die Talend-Lösung

  • Die Konsole bietet eine übersichtliche, leicht verständliche Benutzeroberfläche und hat Zugriff auf alle Datenbanken, Dateitypen und Anwendungen.

  • Die Plattform ist cloud-basiert und bietet gegenüber On-Premise-Lösungen eine bessere Zugänglichkeit, flexiblere Skalierbarkeit und größere Zuverlässigkeit.

  • Integriert sind Konnektoren, die die unterschiedlichen Daten zusammenführen. Dies ermöglicht Profiling-Projekte, angefangen bei der Zählung von Einträgen über die Analyse bestimmter Text- oder Zahlenfelder bis hin zur Indexierung auf Basis von Phonetik und Lauten.

  • Mit Hilfe benutzerdefinierter Regeln lassen sich Datensätze identifizieren, die bestimmte Schwellenwerte überschreiten oder sich inner- bzw. außerhalb definierter Bereiche bewegen. Das Tool findet alle Daten, die nicht den internen Standards (z. B. Artikelnummer- Format) oder normierten Vorgaben (z. B. Format von E-Mail-Adressen) entsprechen oder doppelt vorhanden sind.

Weitere Informationen zu Talend finden Sie in diesem Webinar sowie auf der Website von Talend.