Datenmigration in komplexer IT-Landschaft

09.01.2008
Wer umfassende Change-Projekte plant, muss sicher gehen, dass seine Bestandsdaten auch in der neuen Systemumgebung funktionieren. Für das dazu erforderliche Testdaten-Management bieten die Spezialisten von msg Systems und nag informatik das Tools-Set und Extraktionsverfahren "TeDatEx" an.

Komplexe Transformationsprojekte betreffen die gesamte IT-Anwendungslandschaft eines Unternehmens. Deshalb sind sie in der Regel aufwändig und risikobehaftet. Zu den Herausforderungen für die IT zählen insbesondere die Inkompatibilitäten zwischen der alten und neuen Welt. Ausgangs- und Zielsysteme müssen daher genau untersucht, die relevanten Daten identifiziert, bereinigt und notfalls rekonstruiert werden. Neben dem Aufbau, der Anpassung, Parametrisierung und dem Test des neuen Systems gilt es zugleich, das Bestehende in einem funktionsfähigen Zustand zu erhalten. Das Münchener IT-Beratungs- und Systemintegrationshaus msg systems ag sowie der Informatikdienstleister nag informatik ag aus Basel resümieren ihre Erfahrungen aus Migrations-Projekten: "Es hat sich gezeigt, dass Datenmigrationen in engem Zusammenhang mit einem effizienten Testdaten-Management stehen, denn komplexe Projekte ziehen generell einen großen Testbedarf nach sich."

Erfolgsentscheidend ist dabei die Qualität des Datenbestands, um daraus konsistente, repräsentative und handhabbare Daten für den Test mit den neuen Systemen extrahieren zu können. Die beiden IT-Spezialisten sprechen in diesem Zusammenhang von einem "smarten Datenbestand", den es als repräsentativen Querschnitt der Produktivdaten zu ermitteln gilt. Erst dann sei ein effizientes Testen möglich. Das für diese Aufgabe angebotene Testdaten-Extraktionsverfahren TeDatEx arbeitet auf der Basis von "Ordnungsbegriffen": Aus der Datenanalyse heraus werden zunächst Listen von Ordnungsbegriffen wie zum Beispiel Kundennummern erstellt, die als Ausgangspunkt für Testfälle dienen. Dann werden alle Daten zu diesen Ordnungsbegriffen aus den Produktionsdaten als Testdaten extrahiert.

Konsistenz bei der Datenmigration

Konsistenz bedeutet für einen Datenbestand unter anderem, dass technische (in der Datenbank definierte und bekannte Foreign-Keys) sowie logische Referenzen nicht "ins Leere" zeigen. Ein Ziel der Datenanalyse ist es deshalb, diese nutzlosen Referenzen zu erkennen. Das TeDatEx-Verfahren sammelt alle Ordnungsbegriffe zu solchen Referenzen und erweitert damit die Ausgangslisten, um auch hierfür die zugehörigen Daten aus dem Quellbestand in den Test- beziehungsweise Zielbestand zu extrahieren. Dieses Verfahren wird solange iterativ wiederholt, bis im Zieldatenbestand keine unbefriedigenden Referenzen mehr gefunden werden und diesbezüglich Konsistenz erreicht ist. Dieses Ziel wurde den Anbietern zufolge im ersten TeDatEx-Projekt nach 37 Iterationen erreicht. Der Ausgangsdatenbestand (zwei Prozent des Produktivdatenbestands) habe sich dabei lediglich verdreifacht und sei somit immer noch klein und handhabbar gewesen.

Neben der Datenanalyse und Testdaten-Extraktion erfordern Migrationsprojekte auch in anderen Bereichen Tool-Unterstützung. Der von msg und nag hierzu angebotene Werkzeugkasten enthält als zentrales Element die Komponente "nag migrate". Im Gegensatz zu ETL-Tools (Extract, Transform, Load) handelt es sich um ein spezifisches Datenmigrationswerkzeug, dessen Stärken den Angaben zufolge besonders im Bereich des Mapping-Regel-Editors und des Fortschritts-Managements liegen. Das zentrale Repository erfasst sämtliche relevanten Objekte und ermöglicht jederzeit Zugriff auf aktuelle Informationen. So lassen sich die Strukturen der Quell- und Zieldatenbanken immer wieder analysieren und aktualisieren. Zudem soll es die Automatisierung einiger Verfahren erleichtern wie zum Beispiel das Generieren von Load Jobs.

Eine weitere Komponente des Toolkits ist "msg.DataComp", das für den Datenvergleich, die Verifikation und zur Konsistenzprüfung herangezogen wird. Sein generischer Ansatz erlaubt die Abarbeitung beliebiger SQL-Views. Ergebnisse sind in formatierten Excel-Sheets dargestellt. Ergänzt wird der Werkzeugkasten um Data-Profiling-Funktionen, über die man Wertebereiche, Datentypen und andere Parameter in den Quell- und Zielsystemen analysieren kann. Mithilfe des Transformation-Tools werden die Abbildungsregeln für die Übertragung von Quell- auf Zielattribute formuliert und daraus die Migrationsprogramme erstellt. Generische Browser für nicht migrierte Quelldaten runden das Toolkit ab. (ue)

Anforderungen an Testdaten

Ein von den Firmen msg und nag als "smart" bezeichneter Testdatenbestand sollte folgende Bedingungen erfüllen:

  • Repräsentative Datenkonstellationen bezüglich geeigneter Kriterien;

  • konsistente logische und technische Datenreferenzen;

  • klein beziehungsweise handhabbar im Verhältnis zum Produktionsdatenbestand;

  • enthält spezifische Testfälle beziehungsweise ist einfach um solche erweiterbar;

  • enthält aktualisierbare, produktionsnahe Daten;

  • Aktualisierungen der Testdaten enthalten die bestehenden Testobjekte:

  • harmoniert mit Testdatenbeständen von Nachbarsystemen;

  • die extrahierten Testdaten enthalten die vorhandene Historie.