Seminar dbt Core – Jinja, Makros und Packages

Das Seminar zeigt, wie Wiederverwendung entsteht, ohne den Projektcode in schwer prüfbare Metaprogrammierung zu verwandeln. Compile-Zeit, Jinja-Kontext, Makroverträge und Adaptervarianten werden bewusst getrennt und mit einem internen Package praktisch umgesetzt.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Jinja-Ausdrücke, Kontrollstrukturen und Whitespace sicher einsetzen.
• dbt-Kontextfunktionen nach Parse-, Compile- und Execute-Phase korrekt verwenden.
• Makros mit klaren Argumenten, Rückgaben und Fehlermeldungen entwickeln.
• Adapter Dispatch für plattformübergreifende SQL-Logik einsetzen.
• Packages reproduzierbar beziehen, testen, versionieren und veröffentlichen.

Schrittweise Seminarinhalte

1. Jinja-Grundlagen in SQL und YAML

Schwerpunkt: Ausdrücke, Anweisungen, Variablen, Listen, Dictionaries, Filter, Whitespace Control und Trennung von Compile- und Laufzeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Jinja-Grundlagen in SQL und YAML“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ausdrücke, Anweisungen, Variablen, Listen, Dictionaries, Filter, Whitespace Control und Trennung von Compile- und Laufzeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis lesbare Jinja-Templates mit kontrollierter SQL-Erzeugung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. dbt-Kontextfunktionen und Laufzeitinformationen

Schwerpunkt: ref, source, var, env_var, target, this, execute, flags, graph, run_query und adapterbezogene Kontexte.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „dbt-Kontextfunktionen und Laufzeitinformationen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu ref, source, var, env_var, target, this, execute, flags, graph, run_query und adapterbezogene Kontexte identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen sicheren Einsatz von Kontextwerten ohne unerwartete Parse- oder Laufzeiteffekte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Makros, Argumente und wiederverwendbare SQL-Bausteine

Schwerpunkt: macro-Blöcke, Parameter, Rückgabewerte, Namensräume, Dokumentation, Seiteneffekte, run-operation und Fehlermeldungen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Makros, Argumente und wiederverwendbare SQL-Bausteine“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu macro-Blöcke, Parameter, Rückgabewerte, Namensräume, Dokumentation, Seiteneffekte, run-operation und Fehlermeldungen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine getestete Makrobibliothek für wiederkehrende Transformationslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Adapter Dispatch und datenbankübergreifende Logik

Schwerpunkt: dispatch-Suche, default- und adapterspezifische Implementierungen, Typabbildung, Datumsfunktionen und Portabilität.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Adapter Dispatch und datenbankübergreifende Logik“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu dispatch-Suche, default- und adapterspezifische Implementierungen, Typabbildung, Datumsfunktionen und Portabilität identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine portable Makroschnittstelle mit kontrollierten Adaptervarianten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Packages und Abhängigkeitsmanagement

Schwerpunkt: packages.yml oder dependencies.yml, Paketquellen, Versionseinschränkungen, deps, Lock-Dateien, lokale Packages und Upgradepfade.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Packages und Abhängigkeitsmanagement“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu packages.yml oder dependencies.yml, Paketquellen, Versionseinschränkungen, deps, Lock-Dateien, lokale Packages und Upgradepfade identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine nachvollziehbare Paketstrategie mit reproduzierbaren Abhängigkeiten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Paketdesign, Tests und Veröffentlichung

Schwerpunkt: öffentliche Makros, Konfigurationsoberfläche, Dokumentation, Integrationsprojekt, semantische Versionierung, Changelog und Rückwärtskompatibilität.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Paketdesign, Tests und Veröffentlichung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu öffentliche Makros, Konfigurationsoberfläche, Dokumentation, Integrationsprojekt, semantische Versionierung, Changelog und Rückwärtskompatibilität identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein releasefähiges internes dbt-Package mit klarer Unterstützungsgrenze dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Kompilierter SQL-Code und Laufzeitdiagnose

Schwerpunkt: target/compiled, target/run, Jinja-Auflösung, Relation-Namen, Adapter-SQL, Query-ID, Datenbankplan und reproduzierbare Ausführung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Kompilierter SQL-Code und Laufzeitdiagnose“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu target/compiled, target/run, Jinja-Auflösung, Relation-Namen, Adapter-SQL, Query-ID, Datenbankplan und reproduzierbare Ausführung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen Diagnoseablauf vom Modellcode bis zur tatsächlich ausgeführten Datenbankanweisung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Fortgeschrittenes Debugging von Makros und Adaptern

Schwerpunkt: Log Events, print und log, compiled SQL, Python-Tracebacks, Adapter Exceptions, Relation Cache, Transaktionen und reproduzierbare Minimalfälle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Fortgeschrittenes Debugging von Makros und Adaptern“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Log Events, print und log, compiled SQL, Python-Tracebacks, Adapter Exceptions, Relation Cache, Transaktionen und reproduzierbare Minimalfälle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen systematischen Diagnoseleitfaden für Framework-Erweiterungen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Entwicklung eines Makros für wiederkehrende Spalten- und Datumslogik.
• Aufbau einer Dispatch-Schnittstelle mit Default- und Adapterimplementierung.
• Erstellung eines kleinen internen Packages mit Tests, Dokumentation und Versionsgrenze.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, Framework-Verantwortliche und technische Teamleitungen.

Voraussetzungen: Gute SQL- und dbt-Core-Grundkenntnisse; Grundverständnis von Templates und Funktionen ist hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.