Seminar DataHub Integration mit dbt, Airflow und OpenLineage

Mehrere Integrationen liefern nur dann ein verlässliches Lineage-Bild, wenn Identitäten und Verantwortlichkeiten abgestimmt sind. Das Seminar stellt deshalb die Harmonisierung vor die reine Konnektorkonfiguration.

Lernziele

• Metadatenbeiträge von dbt, Airflow und OpenLineage klar abgrenzen
• Asset-, Pipeline- und Umgebungsidentitäten konsistent gestalten
• dbt-Modelle einschließlich Dokumentation und Lineage integrieren
• Airflow- und OpenLineage-Ereignisse kontrolliert anbinden
• doppelte Assets, gebrochene Kanten und widersprüchliche Metadaten erkennen

Zielgruppe

Analytics Engineers, Data Engineers, Plattformingenieure, Orchestrierungsverantwortliche und Datenarchitekten.

Voraussetzungen

Praktische Grundkenntnisse in mindestens einem der Werkzeuge dbt oder Airflow sowie Verständnis von Datenpipelines, YAML und technischen Identitäten.

Inhaltsübersicht

1. Kapitel 1: Integrationsbild und Identitäten
2. Kapitel 2: dbt integrieren
3. Kapitel 3: Airflow anbinden
4. Kapitel 4: OpenLineage-Ereignisse verarbeiten
5. Kapitel 5: Zusammenführung und Abnahme

Kapitel 1: Integrationsbild und Identitäten

Inhaltsübersicht dieses Kapitels: Metadatenquellen kartieren; Identitätsregeln festlegen; Konfliktstrategie definieren.

Schritt 1: Metadatenquellen kartieren

Modelle, Jobs, Tasks, Datenbestände, Ausführungen, Dokumentation und Lineage werden den jeweils autoritativen Quellsystemen zugeordnet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Identitätsregeln festlegen

Plattform, Instanz, Umgebung, Datenbank, Schema und Objektname werden über alle Integrationen hinweg vereinheitlicht. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Konfliktstrategie definieren

Priorität, Zusammenführung und Schutz kuratierter Metadaten werden festgelegt, bevor mehrere Quellen dieselben Assets beschreiben. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: dbt integrieren

Inhaltsübersicht dieses Kapitels: Artefakte bereitstellen; Modelle und Quellen abbilden; Lineage und Spaltenbezug prüfen.

Schritt 1: Artefakte bereitstellen

Manifest, Katalog, Laufergebnisse und weitere benötigte Artefakte werden vollständig, aktuell und mit kontrolliertem Zugriff bereitgestellt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Modelle und Quellen abbilden

dbt-Modelle, Sources, Tests, Beschreibungen, Tags und Eigentümerschaft werden den passenden DataHub-Entitäten zugeordnet. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Lineage und Spaltenbezug prüfen

Abhängigkeiten und Spaltenbeziehungen werden anhand bekannter Transformationen validiert; temporäre oder ephemere Konstrukte werden bewusst behandelt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: Airflow anbinden

Inhaltsübersicht dieses Kapitels: Integrationsmodus auswählen; DAGs und Tasks zuordnen; Laufzeitverhalten testen.

Schritt 1: Integrationsmodus auswählen

Plugin-, Ereignis- oder metadatenbasierte Verfahren werden nach Airflow-Version, Betriebsmodell und gewünschter Aktualität bewertet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: DAGs und Tasks zuordnen

DAG-, Task- und Datenasset-Identitäten werden stabil gebildet und mit Verantwortlichkeit sowie Laufkontext ergänzt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Laufzeitverhalten testen

Erfolgreiche, fehlgeschlagene, wiederholte und zurückgesetzte Läufe werden auf korrekte Metadaten- und Lineage-Ereignisse geprüft. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: OpenLineage-Ereignisse verarbeiten

Inhaltsübersicht dieses Kapitels: Namensräume harmonisieren; Ereignisumfang steuern; Fehlerfälle beherrschen.

Schritt 1: Namensräume harmonisieren

Namespace, Jobname und Dataset-Kennung werden so abgebildet, dass bestehende Assets getroffen statt dupliziert werden. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Ereignisumfang steuern

Start-, Abschluss- und Fehlerereignisse sowie Inputs, Outputs und Facets werden nach Relevanz und Datenvolumen gefiltert. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Fehlerfälle beherrschen

Verspätete, doppelte oder unvollständige Ereignisse werden mit Idempotenz-, Retry- und Diagnoseverfahren behandelt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: Zusammenführung und Abnahme

Inhaltsübersicht dieses Kapitels: Gesamt-Lineage vergleichen; Duplikate beseitigen; Abnahmekriterien dokumentieren.

Schritt 1: Gesamt-Lineage vergleichen

Transformation, Orchestrierung und Laufzeitereignisse werden entlang einer bekannten Datenkette zusammengeführt und auf Lücken geprüft. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Duplikate beseitigen

Abweichende Umgebungen, Instanzen oder Namenskonventionen werden identifiziert und mit kontrollierter Migration bereinigt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Abnahmekriterien dokumentieren

Vollständigkeit, Aktualität, Asset-Zahl, Lineage-Tiefe und Fehlerquote werden mit verantwortlichen Prüfern und Wiederholungsintervall festgelegt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. Entwurf einer quellenübergreifenden Identitätsmatrix
2. Einbindung und Prüfung eines dbt-Projekts
3. Zuordnung einer Airflow-DAG zu vorhandenen Datenassets
4. Analyse von OpenLineage-Ereignissen und Namensräumen
5. End-to-End-Abnahme einer kombinierten Lineage-Kette

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Architekturarbeit, Konfigurationsübungen und kontrollierte Integrationsläufe wechseln mit Lineage-Reviews. Abweichungen werden anhand eines festen Diagnose- und Abnahmeverfahrens bearbeitet.