Seminar dbt Core – Migration von SQL- und ETL-Prozessen

Das Seminar behandelt Migration als kontrollierte Systemänderung und nicht als bloßes Umschreiben von SQL. Abhängigkeiten, Datenäquivalenz, Scheduling, Laufzeit und Rückfall werden von Beginn an in den Ziel-DAG und die Abnahme eingebaut.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Bestehende Prozesse vollständig inventarisieren und nach Risiko priorisieren.
• Quellen, Zwischenstufen und Abhängigkeiten in einen dbt-Ziel-DAG überführen.
• Monolithische SQL- und ETL-Logik schrittweise modularisieren.
• Alt- und Neuprozess über Datenvergleiche und Regressionstests nachweisbar abgleichen.
• Cutover, Backfill, Schedulerwechsel, Rollback und Stilllegung sicher planen.

Schrittweise Seminarinhalte

1. Bestandsaufnahme von SQL- und ETL-Prozessen

Schwerpunkt: Skripte, Stored Procedures, Scheduler, Abhängigkeiten, Parameter, temporäre Tabellen, Fehlerbehandlung, Laufzeiten und Eigentümer.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Bestandsaufnahme von SQL- und ETL-Prozessen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Skripte, Stored Procedures, Scheduler, Abhängigkeiten, Parameter, temporäre Tabellen, Fehlerbehandlung, Laufzeiten und Eigentümer identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein priorisiertes Migrationsinventar mit Komplexitäts- und Risikoklassen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Abhängigkeiten, Sources und Ziel-DAG ableiten

Schwerpunkt: Quelltabellen, Zwischenstufen, Zieltabellen, Ausführungsreihenfolge, zyklische Abhängigkeiten, Datenverträge und Cutover-Grenzen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Abhängigkeiten, Sources und Ziel-DAG ableiten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Quelltabellen, Zwischenstufen, Zieltabellen, Ausführungsreihenfolge, zyklische Abhängigkeiten, Datenverträge und Cutover-Grenzen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen belastbaren Ziel-DAG für die schrittweise Migration dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Sources und Quelltabellenverträge

Schwerpunkt: Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Sources und Quelltabellenverträge“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständige Source-Definition mit nachvollziehbarer Herkunft und Namensauflösung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. SQL zerlegen und in dbt-Modelle überführen

Schwerpunkt: CTE-Extraktion, Staging, Intermediate und Marts, ref, source, Makros, Materialisierung und Namenskonventionen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „SQL zerlegen und in dbt-Modelle überführen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu CTE-Extraktion, Staging, Intermediate und Marts, ref, source, Makros, Materialisierung und Namenskonventionen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine fachlich äquivalente, modularisierte dbt-Implementierung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Refactoring und technische Schulden

Schwerpunkt: lange SQL-Skripte, verschachtelte Unterabfragen, wiederholte Logik, Modellzuschnitt, Makrogrenzen, Tests und schrittweise Umstellung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Refactoring und technische Schulden“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu lange SQL-Skripte, verschachtelte Unterabfragen, wiederholte Logik, Modellzuschnitt, Makrogrenzen, Tests und schrittweise Umstellung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Refactoring-Plan mit kleinen, überprüfbaren Änderungsschritten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Datenprüfungen und Qualitätsregeln

Schwerpunkt: unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Datenprüfungen und Qualitätsregeln“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu unique, not_null, accepted_values, relationships, Ressourcenzuordnung, Severity, Warn- und Fehlergrenzen sowie store_failures identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen priorisierten Satz ausführbarer Datenqualitätsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Parallelbetrieb, Ergebnisvergleich und Regression

Schwerpunkt: Dual Run, Zeilen- und Summenvergleich, Schlüsselabgleich, Zeitfenster, Performance, Datenqualitätsprüfungen und Abweichungsanalyse.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Parallelbetrieb, Ergebnisvergleich und Regression“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Dual Run, Zeilen- und Summenvergleich, Schlüsselabgleich, Zeitfenster, Performance, Datenqualitätsprüfungen und Abweichungsanalyse identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen dokumentierten Paritätsnachweis zwischen Alt- und Neuprozess dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Cutover, Rollback und Stilllegung

Schwerpunkt: Umschaltfenster, Scheduler-Wechsel, Backfill, Kommunikationsplan, Go-/No-Go-Kriterien, Rückfall und kontrollierte Deaktivierung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Cutover, Rollback und Stilllegung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Umschaltfenster, Scheduler-Wechsel, Backfill, Kommunikationsplan, Go-/No-Go-Kriterien, Rückfall und kontrollierte Deaktivierung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein ausführbares Cutover- und Rücksetz-Runbook dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Inventarisierung eines mehrstufigen Legacy-Prozesses mit versteckten Abhängigkeiten.
• Überführung eines monolithischen Skripts in Sources, Staging, Intermediate und Mart.
• Durchführung eines Paritätsvergleichs und Erstellung eines Go-/No-Go-Runbooks.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineers, Analytics Engineers, Datenarchitektur, ETL-Modernisierung, technische Projektleitung und Plattformbetrieb.

Voraussetzungen: Gute SQL-Kenntnisse, Verständnis der bestehenden Prozesskette und dbt-Core-Grundkenntnisse.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.