Datenmigration in komplexer IT-Landschaft

19.12.2007
Umfassende Change-Projekte erfordern ein Testdaten-Management. Die Spezialisten von msg Systems und nag Informatik bieten hierfür das Toolset und Extraktionsverfahren "Tedatex" an.

Komplexe Transformationsprojekte betreffen die gesamte IT-Anwendungslandschaft eines Unternehmens. Deshalb sind sie in der Regel aufwändig und risikobehaftet. Zu den Herausforderungen für die IT zählen insbesondere die Inkompatibilitäten zwischen der alten und neuen Welt. Ausgangs- und Zielsysteme müssen daher genau untersucht, die relevanten Daten identifiziert, bereinigt und notfalls rekonstruiert werden. Neben dem Aufbau, der Anpassung, Parametrisierung und dem Test des neuen Systems gilt es zugleich, das bestehende in einem funktionsfähigen Zustand zu erhalten.

Hoher Testbedarf

Werkzeuge und Verfahren zur Extraktion und Migration von Testdaten.
Werkzeuge und Verfahren zur Extraktion und Migration von Testdaten.

Das Münchner IT-Beratungs- und Systemintegrationshaus msg Systems AG sowie der Informatikdienstleister nag Informatik AG aus Basel resümieren ihre Erfahrungen aus Migrationsprojekten: "Es hat sich gezeigt, dass Datenmigrationen in engem Zusammenhang mit einem effizienten Testdaten-Management stehen, denn komplexe Projekte ziehen generell einen großen Testbedarf nach sich."

Erfolgsentscheidend ist dabei die Qualität des Datenbestands, um daraus konsistente, repräsentative und handhabbare Daten für den Test mit den neuen Systemen extrahieren zu können. Die beiden IT-Spezialisten sprechen in diesem Zusammenhang von einem "smarten Datenbestand", den es als repräsentativen Querschnitt der Produktivdaten zu ermitteln gilt. Erst dann sei ein effizientes Testen möglich. Das für diese Aufgabe angebotene Testdaten-Extraktionsverfahren Tedatex arbeitet auf der Basis von "Ordnungsbegriffen": Aus der Datenanalyse heraus werden zunächst Listen zu Ordnungsbegriffen wie zum Beispiel Kundennummern erstellt, die als Ausgangspunkt für Testfälle dienen. Dann werden alle Daten zu diesen Ordnungsbegriffen aus den Produktionsdaten als Testdaten extrahiert.

Konsistenz bedeutet für einen Datenbestand unter anderem, dass technische (in der Datenbank definierte und bekannte Foreign Keys) sowie logische Referenzen nicht "ins Leere" zeigen. Ein Ziel der Datenanalyse ist es deshalb, diese nutzlosen Referenzen zu erkennen.

Konsistenz schaffen

Das Tedatex-Verfahren sammelt alle Ordnungsbegriffe zu solchen Referenzen und erweitert damit die Ausgangslisten, um auch hierfür die zugehörigen Daten aus dem Quellbestand in den Test- beziehungsweise Zielbestand zu extrahieren. Dieses Verfahren wird so lange wiederholt, bis im Zieldatenbestand keine unbefriedigenden Referenzen mehr gefunden werden und diesbezüglich Konsistenz geschaffen ist. Dieses Ziel wurde den Anbietern zufolge im ersten Tedatex-Projekt nach 37 Iterationen erreicht. Der Ausgangsdatenbestand (zwei Prozent des Produktivdatenbestands) habe sich dabei lediglich verdreifacht und sei somit immer noch klein und handhabbar gewesen.

Der Werkzeugkasten

Neben der Datenanalyse und Testdaten-Extraktion erfordern Migrationsprojekte auch in anderen Bereichen Tool-Unterstützung. Der von msg und nag hierzu angebotene Werkzeugkasten enthält als zentrales Element die Komponente "nag migrate". Im Gegensatz zu ETL-Tools (Extract, Transform, Load) handelt es sich um ein spezifisches Datenmigrationswerkzeug, dessen Stärken den Angaben zufolge besonders im Bereich des Mapping-Regel-Editors und des Fortschritts-Managements liegen. Das zentrale Repository erfasst sämtliche relevanten Objekte und ermöglicht jederzeit Zugriff auf aktuelle Informationen. So lassen sich die Strukturen der Quell- und Zieldatenbanken immer wieder analysieren und aktualisieren. Zudem soll es die Automatisierung einiger Verfahren erleichtern wie zum Beispiel das Generieren von Load Jobs.

Eine weitere Komponente des Toolkits ist "msg.DataComp", das für den Datenvergleich, die Verifikation und zur Konsistenzprüfung herangezogen wird. Sein generischer Ansatz erlaubt die Abarbeitung beliebiger SQL-Views. Ergebnisse sind in formatierten Excel-Sheets dargestellt. Ergänzt wird der Werkzeugkasten um Data-Profiling-Funktionen, über die man Wertebereiche, Datentypen und andere Parameter in den Quell- und Zielsystemen analysieren kann. Mit Hilfe des Transformation-Tools werden die Abbildungsregeln für die Übertragung von Quell- auf Zielattribute formuliert und daraus die Migrationsprogramme erstellt. Generische Browser für nicht migrierte Quelldaten runden das Toolkit ab. (ue)

Bedingungen für Testdaten

Ein von den Firmen msg und nag als "smart" bezeichneter Testdatenbestand sollte folgende Bedingungen erfüllen:

  • Repräsentative Datenkonstellationen bezüglich geeigneter Kriterien;

  • konsistente logische und technische Datenreferenzen;

  • klein beziehungsweise handhabbar im Verhältnis zum Produktionsdatenbestand;

  • enthält spezifische Testfälle beziehungsweise ist einfach um solche erweiterbar;

  • enthält aktualisierbare, produktionsnahe Daten;

  • Aktualisierungen der Testdaten enthalten die bestehenden Testobjekte;

  • harmoniert mit Testdatenbeständen von Nachbarsystemen;

  • die extrahierten Testdaten enthalten die vorhandene Historie.

Anforderungen an Datenanalyse-Tools

Werkzeuge zur Auswahl und Extraktion von Testdaten müssen folgende Funktionsbereiche abdecken:

  • Bewegung von Daten (Extract, Easy-Mapping, Move, Load);

  • Transformation von Daten inklusive eines Mapping-Rules-Editors;

  • Verifikation, Reconciliation und Datenvergleich;

  • Steuerung des Extraktions- beziehungsweise Migrationsprozesses;

  • Fortschritts-Management zur Unterstützung des Projekt-Managements;

  • Repository zur Generierung von Extraktions- und Migrationsprogrammen inklusive der Dokumentation aller Regeln und Verfahren.