ELT, DataOps & Co.

Entwicklungen im Data Management

20.05.2022
Von   IDG ExpertenNetzwerk
Alexander Zipp ist Startup-, Sales & Marketing-Experte mit mehr als zehn Jahren Berufserfahrung in Fach- und Führungsrollen. Zu seinen beruflichen Stationen zählen unter anderem LinkedIn und Asana. Für beide Unternehmen hat er den Standort München mit eröffnet und den Aufbau beider Marken im deutschsprachigen Raum vorangetrieben. Zurzeit verantwortet der Autor die Aktivitäten für Fivetran in der DACH-Region.
Ineffiziente Data Pipelines und Methoden, die über zwei Jahrzehnte die Datenanalyse beherrschten, werden zunehmend von modernen Technologien verdrängt.
Auch die Datensicherung läuft heute oftmals in die Cloud. Backup Cartridges gehören der Vergangenheit an - auch wenn sie manchmal noch als letzte Chance nach einer Cyber-Attacke dienen können.
Auch die Datensicherung läuft heute oftmals in die Cloud. Backup Cartridges gehören der Vergangenheit an - auch wenn sie manchmal noch als letzte Chance nach einer Cyber-Attacke dienen können.
Foto: Toasted Pictures - shutterstock.com

Manche können sich noch an das Chaos und die Frustration zu Beginn der Big-Data-Ära erinnern. CSV-Dateien wurden aus verschiedenen Quellen in Excel-Tabellen zusammengeführt, um die Daten auf den Desktops zu konsolidieren und zu analysieren. Der Zugriff auf Informationen und die Fehlersuche waren zeitraubend und den Unternehmen fehlte häufig das Vertrauen in die Genauigkeit der verfügbaren Daten. Mittlerweile haben Cloud-basierte Tools und automatisierte Datenintegration des Modern Data Stack viele dieser Schwierigkeiten aus dem Weg geräumt und sind den exponentiell zunehmenden Datenmengen gewachsen.

Data Management: 5 wesentliche Entwicklungen

Fünf wesentliche Entwicklungen im Bereich Datenintegration, Cloud Data Warehouses und Business-Intelligence-Plattformen haben die Art und Weise der Datennutzung nachhaltig verändert:

1. ELT wurde zum "Fully Managed"-System

Durch moderne Extract-Load-Transform (ELT)-Pipelines profitieren Unternehmen von einer stärkeren Automatisierung und einer besseren Performance. Die Tage langsamer Abfragezeiten oder täglicher Abstürze gehören der Vergangenheit an. Der Umstieg von batchbasierten und instabilen ETL-Prozessen zu einem kontinuierlichen, cloudbasierten ELT-Ansatz bedeutet, dass Unternehmen jetzt in Echtzeit Zugriff auf alle ihre Daten haben.

2. Ohne DataOps keine datengesteuerten Prozesse

Der Druck im Bereich DataOps - den Prozessen, Technologien und der Infrastruktur zur Unterstützung von Analytics - nimmt ständig zu. Diese Entwicklung zeigt sich auch in der zunehmenden Zahl an Unternehmen, die DataOps-Funktionen direkt in ihre (nicht DataOps-spezifischen) Produkte integrieren. Ein gutes Beispiel dafür ist dbt Labs, ein weit verbreitetes Open-Source-Transformations-Tool: Es ermöglicht Datenanalysten und Ingenieuren, Daten in ihrem Warehouses mit SQL-Code umzuwandeln und Data-Lineage-Tracking sowie Versionskontrolle einzurichten. Das komplette DataOps-Ökosystem wächst beständig und Unternehmen können zunehmend von DataOps-Best-Practices profitieren.

3. Operational Analytics wird immer wichtiger

Operational Analytics, d. h. die direkte Übermittlung von Analysedaten an betriebliche Anwendungen, wird die Kompetenz der Mitarbeitenden in den verschiedenen Bereichen steigern. So können sie Chancen nutzen, Probleme frühzeitig erkennen sowie vorbeugen und dadurch interne Prozesse und Customer Experience grundlegend verbessern. Da Operational Analytics den Datenzugriff im gesamten Unternehmen erleichtert, können Analysedaten zunehmend in die täglichen Arbeitsabläufe einfließen.

4. BI-Tools verbessern die Zusammenarbeit

Data Analysts und ihre Gegenüber im operativen Geschäftsbereich haben manchmal das Gefühl sie sprechen nicht dieselbe Sprache. Das kann schon bei der Auswahl der Kommunikationsplattform beginnen: Während die eine Seite per Slack kommuniziert, bevorzug die andere eher E-Mail. Die virtuelle Zusammenarbeit bei der Datenanalyse und Ergebnisdarstellung wird durch Business Intelligence Tools, ähnlich wie bei der gemeinsamen Bearbeitung von Dokumenten, effizienter.

5. Wettbewerbsvorteile durch fortschreitende Automatisierung

Eine der spannendsten Entwicklungen in nächster Zeit ist der verstärkte Einsatz von Frameworks, die eine Verteilung und Verarbeitung großer Datenmengen ermöglichen, wie Apache Spark, Beam, Flink und PySpark. Unternehmen, die diese Tools der Softwareentwicklung bei der Datenverarbeitung und -analyse einsetzen, werden davon stark profitieren und wichtige Wettbewerbsvorteile erzielen. (bw)

Lesetipp: Business-Intelligence-Software - Die besten BI-Tools