Seminar Dataedo Data Lineage und Impact Analysis

Das Seminar vermittelt den Aufbau belastbarer Datenherkunft sowie die systematische Analyse von Änderungsfolgen und Fehlerursachen. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: Lineage-Modell und Analysefragen
6. Arbeitsschritt 2: Automatische Lineage aufbauen
7. Arbeitsschritt 3: Manuelle Lineage und Prozessdarstellung
8. Arbeitsschritt 4: Impact Analysis und Ursachenanalyse
9. Arbeitsschritt 5: SQL-Parsing und Lineage-Fehleranalyse
10. Arbeitsschritt 6: Systematische Fehlerdiagnose
11. Praxisübungen
12. Arbeitsunterlagen und Praxisartefakte

Lernziele

• Lineage-Ebenen und Analysefragen richtig zuordnen.
• Automatisch erkannte Lineage importieren und bis zur Spaltenebene prüfen.
• Nicht erkennbare Prozessschritte manuell ergänzen.
• Änderungsfolgen upstream und downstream strukturiert bewerten.
• Lücken und Parserprobleme mit einer reproduzierbaren Diagnose bearbeiten.

Zielgruppen und Rollen

Data Architecture, Data Engineering, BI-Entwicklung, Datenbankentwicklung, Data Governance, Betrieb und technische Data Stewards.

Voraussetzungen

Grundkenntnisse zu Datenflüssen, SQL und typischen ETL- oder BI-Architekturen.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: Lineage-Modell und Analysefragen

Datenflüsse auf der richtigen Ebene darstellen und konkrete Analysefragen daran ausrichten.

1. 1. Ausgangslage klären: Datenflüsse auf der richtigen Ebene darstellen und konkrete Analysefragen daran ausrichten.
2. 2. Vorbereitung abschließen: Quell-, Transformations- und Zielobjekte sowie gewünschte Granularität erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Eine Lineage-Kette lesen, Ebenen wechseln und technische sowie fachliche Beziehungen unterscheiden.
4. 4. Ergebnis kontrollieren: Vollständigkeit, Richtung, Objektauflösung und erkennbare Lücken gegen einen Referenzfluss prüfen.
5. 5. Vorgehen standardisieren: Darstellungsregeln und Mindestumfang für belastbare Lineage festlegen.

Praxisaufgabe: Ein Datenfluss wird aus Sicht von Betrieb, Entwicklung und Fachbereich jeweils unterschiedlich analysiert.

Arbeitsschritt 2: Automatische Lineage aufbauen

Technische Datenflüsse aus unterstützten Quellen und Transformationen reproduzierbar ableiten.

1. 1. Ausgangslage klären: Technische Datenflüsse aus unterstützten Quellen und Transformationen reproduzierbar ableiten.
2. 2. Vorbereitung abschließen: Quellen, Parservoraussetzungen, Verbindungsbezüge und Importreihenfolge vorbereiten.
3. 3. Konfiguration und Umsetzung durchführen: Metadaten importieren, automatische Lineage ausführen und Quell-Ziel-Beziehungen zusammenführen.
4. 4. Ergebnis kontrollieren: Erkannte Verbindungen, Spaltenzuordnung, Transformationsschritte und Lücken stichprobenartig prüfen.
5. 5. Vorgehen standardisieren: Ausführungsreihenfolge, Wiederholung und Abnahmeprotokoll für automatische Lineage standardisieren.

Praxisaufgabe: Eine mehrstufige Verarbeitungskette wird importiert und bis zur Spaltenebene validiert.

Arbeitsschritt 3: Manuelle Lineage und Prozessdarstellung

Nicht automatisch erkennbare Übergaben, Dateien, manuelle Schritte und Fachprozesse ergänzen.

1. 1. Ausgangslage klären: Nicht automatisch erkennbare Übergaben, Dateien, manuelle Schritte und Fachprozesse ergänzen.
2. 2. Vorbereitung abschließen: Prozessgrenzen, beteiligte Systeme, Übergaben, Verantwortliche und Nachweise erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Manuelle Knoten und Beziehungen anlegen und mit der automatisch erkannten Lineage verbinden.
4. 4. Ergebnis kontrollieren: Doppelte, widersprüchliche und nicht belegte Beziehungen mit Beteiligten überprüfen.
5. 5. Vorgehen standardisieren: Pflegeauslöser und Eigentümerschaft für manuelle Lineage festlegen.

Praxisaufgabe: Ein Medienbruch zwischen Quellsystem, Datei und Bericht wird als vollständiger Prozessfluss modelliert.

Arbeitsschritt 4: Impact Analysis und Ursachenanalyse

Änderungsfolgen sowie Ursachen eines Datenproblems anhand der Lineage systematisch bewerten.

1. 1. Ausgangslage klären: Änderungsfolgen sowie Ursachen eines Datenproblems anhand der Lineage systematisch bewerten.
2. 2. Vorbereitung abschließen: Analyseobjekt, Änderungsart, Reichweite, Kritikalität und betroffene Rollen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Upstream- und Downstream-Pfade verfolgen, betroffene Assets sammeln und Abhängigkeiten priorisieren.
4. 4. Ergebnis kontrollieren: Ergebnisse mit Systemwissen, Eigentümern und Stichproben gegen die reale Verarbeitung abgleichen.
5. 5. Vorgehen standardisieren: Ein einheitliches Impact-Protokoll mit Entscheidung, Risiko und Folgemaßnahme definieren.

Praxisaufgabe: Eine geplante Spaltenänderung wird bis zu Berichten und Kennzahlen verfolgt und bewertet.

Arbeitsschritt 5: SQL-Parsing und Lineage-Fehleranalyse

SQL-basierte Transformationen korrekt auflösen und nicht erkannte Beziehungen gezielt untersuchen.

1. 1. Ausgangslage klären: SQL-basierte Transformationen korrekt auflösen und nicht erkannte Beziehungen gezielt untersuchen.
2. 2. Vorbereitung abschließen: SQL-Artefakte, Dialekt, Objektreferenzen, Berechtigungen und bekannte Parsergrenzen erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Parsing ausführen, Fehlermeldungen einordnen und problematische Referenzen schrittweise korrigieren.
4. 4. Ergebnis kontrollieren: Tabellen- und Spaltenlineage gegen ausgewählte SQL-Ausdrücke manuell verifizieren.
5. 5. Vorgehen standardisieren: Fehlerkategorien, Workarounds und Eskalationsdaten in einem Diagnoseleitfaden dokumentieren.

Praxisaufgabe: Mehrere SQL-Beispiele mit Aliasen, Joins und verschachtelten Ausdrücken werden analysiert und bereinigt.

Arbeitsschritt 6: Systematische Fehlerdiagnose

Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.

1. 1. Ausgangslage klären: Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.
2. 2. Vorbereitung abschließen: Fehlerbild, Zeitpunkt, betroffene Komponente, letzte Änderung und Reproduktionsschritte erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Protokolle sammeln, Abhängigkeiten prüfen, Hypothesen priorisieren und kontrollierte Tests durchführen.
4. 4. Ergebnis kontrollieren: Ursache, Nebenwirkung und Wirksamkeit der Korrektur durch Wiederholung des Testfalls bestätigen.
5. 5. Vorgehen standardisieren: Diagnoseprotokoll, Wissenseintrag und Präventionsmaßnahme dokumentieren.

Praxisaufgabe: Mehrere typische Fehlerbilder werden mit einer einheitlichen Diagnosemethode untersucht.

Praxisübungen

1. Übung 1: Validierung einer mehrstufigen Datenverarbeitung.
2. Übung 2: Modellierung eines Medienbruchs als manueller Prozess.
3. Übung 3: Impact-Bewertung einer geplanten Spaltenänderung.
4. Übung 4: Analyse eines fehlerhaft aufgelösten SQL-Ausdrucks.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• Lineage-Abnahmecheckliste
• Prozessmodell
• Impact-Protokoll
• Lückenregister
• Diagnoseleitfaden