Seminar OpenLineage Integration mit dbt und SQL-Plattformen

Zielsetzung

Das Seminar behandelt die Lineage-Erfassung für analytische Transformationen mit dbt und SQL-basierten Plattformen. Schwerpunkt sind Modellabhängigkeiten, Datasets, Jobs, Ausführungsläufe, Metadatenqualität und die spätere Nutzung für Impact-Analysen.

Inhaltsübersicht

• Abbildung von dbt-Modellen und SQL-Transformationen auf OpenLineage-Objekte
• Modellabhängigkeiten, Quellen, Tests und Ausführungsläufe
• Lineage-Validierung in Marquez und Abgleich mit fachlichen Erwartungen
• Metadatenqualität für analytische Plattformen
• Impact-Analyse bei Modelländerungen und Datenproduktabhängigkeiten

Seminarinhalte

1. Schritt 1: Analytische Lineage einordnen
   Transformationen, Modelle, Quellen, Staging-Ebenen und Mart-Tabellen werden als Datenfluss betrachtet. Die klassische Trennung von Rohdaten, Bereinigung und Auswertung dient als solides Ordnungsmuster.
2. Schritt 2: dbt-Strukturen zuordnen
   Modelle, Sources, Seeds, Tests und Runs werden auf Jobs, Datasets und Run-Metadaten übertragen. Dabei wird geklärt, welche Informationen aus dem Build-Prozess entstehen und welche ergänzt werden müssen.
3. Schritt 3: Beispielprojekt ausführen
   Ein kleines analytisches Projekt wird ausgeführt und die erzeugte Lineage in Marquez betrachtet. Der Graph wird mit dem erwarteten Modellgraphen verglichen, statt sich blind auf bunte Knoten zu verlassen.
4. Schritt 4: SQL-Plattformen berücksichtigen
   Die Übertragung auf SQL-Warehouses und relationale Plattformen wird behandelt. Tabellen, Views, temporäre Strukturen und materialisierte Modelle werden aus Lineage-Sicht unterschieden.
5. Schritt 5: Tests und Qualität integrieren
   Datenqualitätstests, Schemaänderungen und fachliche Prüfungen werden als ergänzende Metadaten eingeordnet. Ziel ist eine Lineage, die nicht nur sagt, woher Daten kommen, sondern auch Hinweise auf ihre Verlässlichkeit liefert.
6. Schritt 6: Impact-Analyse durchführen
   Änderungen an Quellen, Spalten, Modellen und Marts werden simuliert. Die Teilnehmenden leiten ab, welche nachgelagerten Objekte betroffen sind und welche Teams informiert werden müssten.
7. Schritt 7: Betriebsregeln festlegen
   Zum Abschluss werden Namenskonventionen, Modellgrenzen, Testanforderungen und Prüfschritte für dbt- und SQL-Lineage formuliert.

Praktische Übungen

• Modellierung eines kleinen dbt-Projekts als Lineage-Graph
• Analyse von Quellen, Modellen und nachgelagerten Tabellen in Marquez
• Erkennung unvollständiger Modellabhängigkeiten
• Durchführung einer Impact-Analyse bei Modelländerung
• Definition von Mindeststandards für analytische Lineage

Zielgruppe

Analytics Engineers, BI-Teams, Data Engineers, Data Warehouse-Teams und technische Data Stewards.

Voraussetzungen

SQL-Kenntnisse, Grundverständnis von dbt oder vergleichbaren Transformationswerkzeugen und Erfahrung mit analytischen Datenmodellen.