Seminar dbt Core – CI/CD, State Selection, Deferral und Slim CI

Das Seminar reduziert CI-Laufzeit und Datenbankkosten, ohne die Aussagekraft der Prüfung zu schwächen. Änderungen werden gegen einen verlässlichen Produktionszustand verglichen, relevante Ressourcen selektiert und über klar definierte Quality Gates bis zur Freigabe geführt.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• State-Artefakte versionssicher erzeugen, speichern und einem Codezustand zuordnen.
• Geänderte Ressourcen einschließlich relevanter Abhängigkeiten präzise auswählen.
• Deferral und Clone-Szenarien fachgerecht voneinander abgrenzen.
• Eine Slim-CI-Pipeline mit Unit Tests, Datenprüfungen und Artefakten aufbauen.
• Fehlerklassen, Merge-Schutz, Promotion und Rollback eindeutig regeln.

Schrittweise Seminarinhalte

1. State-Artefakte und Vergleichsbasis

Schwerpunkt: Produktionsmanifest, Artefaktablage, Schema-Versionen, Zuordnung zur Codeversion, Integrität, Aufbewahrung und Zugriff.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „State-Artefakte und Vergleichsbasis“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Produktionsmanifest, Artefaktablage, Schema-Versionen, Zuordnung zur Codeversion, Integrität, Aufbewahrung und Zugriff identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine verlässliche State-Basis für CI, Deployment und Änderungsanalyse dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. State Selection und modified-Selektoren

Schwerpunkt: state:modified, Unterselektoren, neue und gelöschte Ressourcen, Body- und Config-Änderungen, Graphoperatoren und Ausschlüsse.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „State Selection und modified-Selektoren“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu state:modified, Unterselektoren, neue und gelöschte Ressourcen, Body- und Config-Änderungen, Graphoperatoren und Ausschlüsse identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen präzisen Selektor für geänderte Ressourcen und relevante Abhängigkeiten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Deferral und Nutzung des Produktionszustands

Schwerpunkt: unveränderte Upstream-Modelle, --defer, --state, Zielschemas, Favor State, Umgebungsunterschiede und Datenzugriff.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Deferral und Nutzung des Produktionszustands“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu unveränderte Upstream-Modelle, --defer, --state, Zielschemas, Favor State, Umgebungsunterschiede und Datenzugriff identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine kostensparende CI-Ausführung mit kontrolliertem Rückgriff auf Produktionsrelationen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Clone-basierte Entwicklungs- und CI-Szenarien

Schwerpunkt: dbt clone, Zero-Copy-Fähigkeit, Pointer Views, Full Refresh, inkrementelle Modelle, BI-Nachtests und Abgrenzung zu Deferral.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Clone-basierte Entwicklungs- und CI-Szenarien“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu dbt clone, Zero-Copy-Fähigkeit, Pointer Views, Full Refresh, inkrementelle Modelle, BI-Nachtests und Abgrenzung zu Deferral identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein begründetes Clone- oder Deferral-Muster für die eingesetzte Datenplattform dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Unit Tests für SQL-Modelllogik

Schwerpunkt: given-Eingaben, expect-Ergebnisse, ref- und source-Inputs, Versionen, statische Fixtures, Edge Cases und Ausführung vor Materialisierung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Unit Tests für SQL-Modelllogik“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu given-Eingaben, expect-Ergebnisse, ref- und source-Inputs, Versionen, statische Fixtures, Edge Cases und Ausführung vor Materialisierung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen isolierten Unit-Test für komplexe SQL-Entscheidungslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. CI-Pipeline und Slim-CI-Ablauf

Schwerpunkt: Checkout, Installation, deps, parse, unit tests, state-basierter build, Artefakte, Dokumentation, Cache und Freigabestatus.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „CI-Pipeline und Slim-CI-Ablauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Checkout, Installation, deps, parse, unit tests, state-basierter build, Artefakte, Dokumentation, Cache und Freigabestatus identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine ausführbare Pull-Request-Pipeline mit begrenztem Datenbankaufwand dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Fehlerklassen, Quality Gates und Promotion

Schwerpunkt: Compilerfehler, Datenbankfehler, Testfehler, Warnungen, Flaky Tests, Retries, manuelle Freigabe, Merge-Schutz und Produktionspromotion.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Fehlerklassen, Quality Gates und Promotion“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Compilerfehler, Datenbankfehler, Testfehler, Warnungen, Flaky Tests, Retries, manuelle Freigabe, Merge-Schutz und Produktionspromotion identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein eindeutiges Entscheidungsmodell für Abbruch, Wiederholung und Freigabe dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Retry, Idempotenz und Wiederanlauf

Schwerpunkt: fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Retry, Idempotenz und Wiederanlauf“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fehlgeschlagene Knoten, result-Auswahl, Teilzustände, Retry-Grenzen, Full Refresh, Backfill, Rollback und Datenabgleich identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgestuftes Wiederanlaufverfahren für technische und fachliche Fehler dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Vergleich eines Feature Branches mit einem bereitgestellten Produktionsmanifest.
• Aufbau eines state-basierten Builds mit Deferral auf unveränderte Upstream-Modelle.
• Entwurf einer vollständigen CI-Pipeline einschließlich Artefaktablage und Merge-Gates.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineering, DevOps, Data Platform Engineering, Release Management und technische Teamleitung.

Voraussetzungen: Praktische dbt-Core-Grundkenntnisse, Git-Erfahrung sowie Grundverständnis automatisierter Build- und Testpipelines.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.