Seminar dbt Core – Intensivseminar Advanced Engineering und Plattformintegration

Der Intensivpfad richtet sich an technische Spezialisten, die wiederverwendbare Framework-Komponenten, tiefe Datenplattformintegrationen oder anspruchsvolle Modernisierungen entwickeln. Die Inhalte reichen von Compile-Zeit und Dispatch über Adapter-Plugin, Python-Runtime und Semantik bis zur kontrollierten Migration und releasefähigen Qualitätssicherung.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Jinja-, Makro- und Packagearchitekturen mit stabilen Schnittstellen entwickeln.
• Eigene Materialisierungen und inkrementelle Strategien sicher implementieren.
• Adapterkomponenten von Credentials bis Katalogabfrage aufbauen.
• Python-Modelle, UDFs und MetricFlow in die Plattformarchitektur integrieren.
• Komplexe SQL- und ETL-Bestände kontrolliert in modulare dbt-Strukturen überführen.
• Erweiterungen automatisiert testen, versionieren, veröffentlichen und diagnostizieren.

Schrittweise Seminarinhalte

1. Compiler-, Adapter- und Materialisierungsarchitektur

Schwerpunkt: Parse, Compile, Execute, Jinja-Kontext, Adapterobjekt, Relation Cache, Transaktionen, Hooks und Datenbankanweisungen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Compiler-, Adapter- und Materialisierungsarchitektur“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Parse, Compile, Execute, Jinja-Kontext, Adapterobjekt, Relation Cache, Transaktionen, Hooks und Datenbankanweisungen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein technisches Ablaufmodell vom Projektcode bis zur physischen Relation dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. dbt-Kontextfunktionen und Laufzeitinformationen

Schwerpunkt: ref, source, var, env_var, target, this, execute, flags, graph, run_query und adapterbezogene Kontexte.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „dbt-Kontextfunktionen und Laufzeitinformationen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu ref, source, var, env_var, target, this, execute, flags, graph, run_query und adapterbezogene Kontexte identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen sicheren Einsatz von Kontextwerten ohne unerwartete Parse- oder Laufzeiteffekte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Adapter Dispatch und datenbankübergreifende Logik

Schwerpunkt: dispatch-Suche, default- und adapterspezifische Implementierungen, Typabbildung, Datumsfunktionen und Portabilität.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Adapter Dispatch und datenbankübergreifende Logik“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu dispatch-Suche, default- und adapterspezifische Implementierungen, Typabbildung, Datumsfunktionen und Portabilität identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine portable Makroschnittstelle mit kontrollierten Adaptervarianten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Paketdesign, Tests und Veröffentlichung

Schwerpunkt: öffentliche Makros, Konfigurationsoberfläche, Dokumentation, Integrationsprojekt, semantische Versionierung, Changelog und Rückwärtskompatibilität.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Paketdesign, Tests und Veröffentlichung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu öffentliche Makros, Konfigurationsoberfläche, Dokumentation, Integrationsprojekt, semantische Versionierung, Changelog und Rückwärtskompatibilität identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein releasefähiges internes dbt-Package mit klarer Unterstützungsgrenze dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Lebenszyklus einer eigenen Materialisierung

Schwerpunkt: Materialization Block, bestehende Relation, temporäre Relation, Backup, Rename, Drop, Commit, Grants, Docs und Cleanup.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Lebenszyklus einer eigenen Materialisierung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Materialization Block, bestehende Relation, temporäre Relation, Backup, Rename, Drop, Commit, Grants, Docs und Cleanup identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine robuste eigene Materialisierung mit sicherem Austauschverfahren dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Eigene inkrementelle Strategie

Schwerpunkt: get_incremental_STRATEGY_sql, arg_dict, Ziel- und Temp-Relation, unique_key, Prädikate, Adaptergrenzen und Wiederholbarkeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Eigene inkrementelle Strategie“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu get_incremental_STRATEGY_sql, arg_dict, Ziel- und Temp-Relation, unique_key, Prädikate, Adaptergrenzen und Wiederholbarkeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine getestete eigene Strategie für einen klar abgegrenzten Ladefall dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Struktur eines dbt-Adapters

Schwerpunkt: Python-Package, Entry Points, Credentials, Connection Manager, Adapterklasse, Relation, Column, Include-Projekt und Makros.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Struktur eines dbt-Adapters“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Python-Package, Entry Points, Credentials, Connection Manager, Adapterklasse, Relation, Column, Include-Projekt und Makros identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein lauffähiges Adaptergerüst mit sauber getrennten Verantwortlichkeiten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Credentials und Connection Manager implementieren

Schwerpunkt: Profilfelder, Validierung, Authentisierung, Verbindungsöffnung, Abbruch, Retry, Transaktionen, Exception Mapping und Thread-Sicherheit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Credentials und Connection Manager implementieren“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Profilfelder, Validierung, Authentisierung, Verbindungsöffnung, Abbruch, Retry, Transaktionen, Exception Mapping und Thread-Sicherheit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine testbare Verbindungs- und Fehlerbehandlung für den Zieladapter dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

9. Relationen, Spalten und Datenbankoperationen

Schwerpunkt: Quoting, Datenbank-, Schema- und Identifier-Komponenten, create_schema, drop_relation, rename_relation, Typabbildung und Caching.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Relationen, Spalten und Datenbankoperationen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Quoting, Datenbank-, Schema- und Identifier-Komponenten, create_schema, drop_relation, rename_relation, Typabbildung und Caching identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine konsistente Objekt- und Namenslogik für den Adapter dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

10. Katalog, Introspection und Dokumentationsabfragen

Schwerpunkt: get_catalog, list_relations, get_columns, Metadatenberechtigungen, Performance, Filter und catalog.json.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Katalog, Introspection und Dokumentationsabfragen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu get_catalog, list_relations, get_columns, Metadatenberechtigungen, Performance, Filter und catalog.json identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine funktionsfähige Metadatenerfassung für dbt Docs und Artefakte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

11. Python-Runtime und Adaptervoraussetzungen

Schwerpunkt: remote Ausführung auf der Datenplattform, Session, unterstützte Adapter, Python-Abhängigkeiten, Netzwerkzugriff und Ressourcenlimits.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Python-Runtime und Adaptervoraussetzungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu remote Ausführung auf der Datenplattform, Session, unterstützte Adapter, Python-Abhängigkeiten, Netzwerkzugriff und Ressourcenlimits identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine geprüfte Laufzeitarchitektur für Python-Modelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

12. Python-Modell-API und DataFrame-Verarbeitung

Schwerpunkt: model()-Funktion, dbt.config, dbt.ref, dbt.source, dbt.this, Sessionobjekt, DataFrames und Rückgabewert.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Python-Modell-API und DataFrame-Verarbeitung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu model()-Funktion, dbt.config, dbt.ref, dbt.source, dbt.this, Sessionobjekt, DataFrames und Rückgabewert identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein ausführbares Python-Modell mit klarer Abhängigkeit und Materialisierung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

13. User-Defined Functions in SQL und Python

Schwerpunkt: Funktionssignatur, Argumente, Rückgabetyp, SQL- oder Python-Body, Jinja zur Erstellungszeit, Overloads und Adapterunterstützung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „User-Defined Functions in SQL und Python“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Funktionssignatur, Argumente, Rückgabetyp, SQL- oder Python-Body, Jinja zur Erstellungszeit, Overloads und Adapterunterstützung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine versionierte UDF-Definition mit klarer Laufzeitschnittstelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

14. MetricFlow lokal mit dbt Core betreiben

Schwerpunkt: Installation, Versionsabgleich mit Core und Adapter, semantic_manifest, Konfiguration, Zielumgebung und lokale Ausführung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „MetricFlow lokal mit dbt Core betreiben“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Installation, Versionsabgleich mit Core und Adapter, semantic_manifest, Konfiguration, Zielumgebung und lokale Ausführung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine reproduzierbare lokale MetricFlow-Umgebung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

15. Bestandsaufnahme von SQL- und ETL-Prozessen

Schwerpunkt: Skripte, Stored Procedures, Scheduler, Abhängigkeiten, Parameter, temporäre Tabellen, Fehlerbehandlung, Laufzeiten und Eigentümer.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Bestandsaufnahme von SQL- und ETL-Prozessen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Skripte, Stored Procedures, Scheduler, Abhängigkeiten, Parameter, temporäre Tabellen, Fehlerbehandlung, Laufzeiten und Eigentümer identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein priorisiertes Migrationsinventar mit Komplexitäts- und Risikoklassen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

16. Abhängigkeiten, Sources und Ziel-DAG ableiten

Schwerpunkt: Quelltabellen, Zwischenstufen, Zieltabellen, Ausführungsreihenfolge, zyklische Abhängigkeiten, Datenverträge und Cutover-Grenzen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Abhängigkeiten, Sources und Ziel-DAG ableiten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Quelltabellen, Zwischenstufen, Zieltabellen, Ausführungsreihenfolge, zyklische Abhängigkeiten, Datenverträge und Cutover-Grenzen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen belastbaren Ziel-DAG für die schrittweise Migration dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

17. SQL zerlegen und in dbt-Modelle überführen

Schwerpunkt: CTE-Extraktion, Staging, Intermediate und Marts, ref, source, Makros, Materialisierung und Namenskonventionen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „SQL zerlegen und in dbt-Modelle überführen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu CTE-Extraktion, Staging, Intermediate und Marts, ref, source, Makros, Materialisierung und Namenskonventionen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine fachlich äquivalente, modularisierte dbt-Implementierung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

18. Parallelbetrieb, Ergebnisvergleich und Regression

Schwerpunkt: Dual Run, Zeilen- und Summenvergleich, Schlüsselabgleich, Zeitfenster, Performance, Datenqualitätsprüfungen und Abweichungsanalyse.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Parallelbetrieb, Ergebnisvergleich und Regression“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Dual Run, Zeilen- und Summenvergleich, Schlüsselabgleich, Zeitfenster, Performance, Datenqualitätsprüfungen und Abweichungsanalyse identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen dokumentierten Paritätsnachweis zwischen Alt- und Neuprozess dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

19. Cutover, Rollback und Stilllegung

Schwerpunkt: Umschaltfenster, Scheduler-Wechsel, Backfill, Kommunikationsplan, Go-/No-Go-Kriterien, Rückfall und kontrollierte Deaktivierung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Cutover, Rollback und Stilllegung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Umschaltfenster, Scheduler-Wechsel, Backfill, Kommunikationsplan, Go-/No-Go-Kriterien, Rückfall und kontrollierte Deaktivierung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein ausführbares Cutover- und Rücksetz-Runbook dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

20. Adaptertests, Fixtures und Kompatibilität

Schwerpunkt: funktionale Basistests, Materialisierungen, Seeds, Snapshots, Tests, Contracts, Python- oder UDF-Fähigkeiten und CI-Matrix.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Adaptertests, Fixtures und Kompatibilität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu funktionale Basistests, Materialisierungen, Seeds, Snapshots, Tests, Contracts, Python- oder UDF-Fähigkeiten und CI-Matrix identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen automatisierten Kompatibilitätsnachweis für zentrale dbt-Funktionen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

21. Packaging, Versionierung und Release des Adapters

Schwerpunkt: Python-Build, Abhängigkeiten, Versionsschema, Changelog, Dokumentation, Freigabekanal, Signierung, Rückwärtskompatibilität und Support.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Packaging, Versionierung und Release des Adapters“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Python-Build, Abhängigkeiten, Versionsschema, Changelog, Dokumentation, Freigabekanal, Signierung, Rückwärtskompatibilität und Support identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen releasefähigen Adapter mit nachvollziehbarem Wartungsmodell dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

22. Fortgeschrittenes Debugging von Makros und Adaptern

Schwerpunkt: Log Events, print und log, compiled SQL, Python-Tracebacks, Adapter Exceptions, Relation Cache, Transaktionen und reproduzierbare Minimalfälle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Fortgeschrittenes Debugging von Makros und Adaptern“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Log Events, print und log, compiled SQL, Python-Tracebacks, Adapter Exceptions, Relation Cache, Transaktionen und reproduzierbare Minimalfälle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen systematischen Diagnoseleitfaden für Framework-Erweiterungen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Entwicklung eines internen Packages mit Dispatch und adapterabhängiger Implementierung.
• Implementierung einer eigenen Materialisierung und inkrementellen Strategie.
• Aufbau eines Adaptergerüsts mit Connection Manager, Relationen und Katalogabfragen.
• Integration eines Python-Modells, einer UDF und einer lokalen MetricFlow-Validierung.
• Überführung eines Legacy-Prozesses mit Paritätsvergleich, Cutover und Rollback.
• Erstellung einer CI- und Release-Matrix für die entwickelte Erweiterung.

Zielgruppe und Voraussetzungen

Zielgruppe: Senior Data Engineers, Framework Engineers, Python-Entwicklung, Plattformarchitektur und technische Produktverantwortung.

Voraussetzungen: Sehr gute dbt-Core-, SQL-, Jinja- und Python-Kenntnisse sowie Erfahrung mit Datenbanktreibern und automatisierten Tests.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.