Seminar dbt Core – Intensivseminar Entwicklung, Modellierung und Wiederverwendung

Der Intensivpfad führt von einer leeren Arbeitsumgebung zu einem umfangreichen, dokumentierten dbt-Projekt. Modellierung, Wiederverwendung und Laufzeitverhalten werden nicht isoliert behandelt, sondern an einem gemeinsamen Datenprodukt mit steigender Komplexität aufgebaut.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• dbt Core reproduzierbar installieren, konfigurieren und strukturieren.
• Einen fachlich sauberen SQL-DAG mit Staging-, Intermediate- und Mart-Schicht entwickeln.
• Sources, Seeds und Snapshots für Herkunft, Referenzdaten und Historisierung einsetzen.
• Materialisierungen, Incremental und Microbatch anhand von Datenvolumen auswählen.
• Jinja, Packages, Python-Modelle, Tests und Dokumentation in ein wartbares Projekt integrieren.

Schrittweise Seminarinhalte

1. dbt Core im modernen Datenstack

Schwerpunkt: ELT-Arbeitsweise, Verantwortungsgrenzen, Datenplattform, Versionskontrolle, Orchestrierung und konsumierende Systeme.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „dbt Core im modernen Datenstack“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu ELT-Arbeitsweise, Verantwortungsgrenzen, Datenplattform, Versionskontrolle, Orchestrierung und konsumierende Systeme identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgegrenztes Zielbild für Entwicklung, Ausführung und Betrieb von dbt Core dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Isolierte Installation und Python-Umgebung

Schwerpunkt: Python-Version, virtuelle Umgebung, Paketinstallation, Abhängigkeitsauflösung, Adapterpaket und reproduzierbare Installationsschritte.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Isolierte Installation und Python-Umgebung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Python-Version, virtuelle Umgebung, Paketinstallation, Abhängigkeitsauflösung, Adapterpaket und reproduzierbare Installationsschritte identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine reproduzierbare lokale dbt-Core-Installation mit dokumentierter Versionsbasis dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Aufbau eines dbt-Projekts

Schwerpunkt: Projektverzeichnisse, dbt_project.yml, model-paths, seed-paths, snapshot-paths, macro-paths, target-Verzeichnis und Namenskonventionen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Aufbau eines dbt-Projekts“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektverzeichnisse, dbt_project.yml, model-paths, seed-paths, snapshot-paths, macro-paths, target-Verzeichnis und Namenskonventionen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine wartbare Projektstruktur mit klaren Ablage- und Benennungsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Profile, Outputs und Verbindungen

Schwerpunkt: profiles.yml, Outputs, target, Threads, Datenbank, Schema, Warehouse oder Cluster, Authentisierung und Verbindungsparameter.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Profile, Outputs und Verbindungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu profiles.yml, Outputs, target, Threads, Datenbank, Schema, Warehouse oder Cluster, Authentisierung und Verbindungsparameter identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein mehrstufiges Profil mit getrennten Entwicklungs- und Produktionszielen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Sources und Quelltabellenverträge

Schwerpunkt: Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Sources und Quelltabellenverträge“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Source-Namen, Datenbank und Schema, Tabellen, Identifier, Beschreibungen, Metadaten, Quoting und source()-Verwendung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständige Source-Definition mit nachvollziehbarer Herkunft und Namensauflösung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Seeds für kleine, statische Referenzdaten

Schwerpunkt: CSV-Struktur, Datentypen, Delimiter, Quoting, Full Refresh, Versionierung, Tests und Abgrenzung zu operativen Stammdaten.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Seeds für kleine, statische Referenzdaten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu CSV-Struktur, Datentypen, Delimiter, Quoting, Full Refresh, Versionierung, Tests und Abgrenzung zu operativen Stammdaten identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen kontrollierten Seed-Prozess für selten geänderte Referenzwerte dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Snapshots und historisierte Zustände

Schwerpunkt: Slowly Changing Dimension Type 2, Timestamp- und Check-Strategie, unique_key, updated_at, Hard Deletes und Gültigkeitsintervalle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Snapshots und historisierte Zustände“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Slowly Changing Dimension Type 2, Timestamp- und Check-Strategie, unique_key, updated_at, Hard Deletes und Gültigkeitsintervalle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine historisierte Beispieltabelle mit nachvollziehbarer Änderungslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Grain, Schlüssel und Modellverantwortung

Schwerpunkt: fachliche Zeilenbedeutung, Primärschlüssel, Duplikate, Änderungsverhalten, Nullwerte, Modellname und Eigentümerschaft.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Grain, Schlüssel und Modellverantwortung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu fachliche Zeilenbedeutung, Primärschlüssel, Duplikate, Änderungsverhalten, Nullwerte, Modellname und Eigentümerschaft identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine prüfbare Modellvereinbarung mit eindeutigem Grain und Schlüsselkonzept dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

9. Staging-, Intermediate- und Mart-Schichten

Schwerpunkt: Quellennähe, Umbenennung, Typisierung, Wiederverwendung, fachliche Transformation, Dimensions- und Faktmodelle sowie Veröffentlichung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Staging-, Intermediate- und Mart-Schichten“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Quellennähe, Umbenennung, Typisierung, Wiederverwendung, fachliche Transformation, Dimensions- und Faktmodelle sowie Veröffentlichung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine skalierbare Schichtenarchitektur mit klaren Abhängigkeitsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

10. Robuste SQL-Modellierungsmuster

Schwerpunkt: CTEs, explizite Spaltenlisten, Joins, Deduplizierung, Window Functions, Datumslogik, Nullbehandlung und deterministische Ergebnisse.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Robuste SQL-Modellierungsmuster“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu CTEs, explizite Spaltenlisten, Joins, Deduplizierung, Window Functions, Datumslogik, Nullbehandlung und deterministische Ergebnisse identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen lesbaren und testbaren SQL-Stil für wiederkehrende Transformationsmuster dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

11. Standardmaterialisierungen im Vergleich

Schwerpunkt: view, table, ephemeral, incremental und materialized view, Adapterunterstützung, Datenaktualität, Laufzeit und Wartbarkeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Standardmaterialisierungen im Vergleich“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu view, table, ephemeral, incremental und materialized view, Adapterunterstützung, Datenaktualität, Laufzeit und Wartbarkeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine Entscheidungsmatrix für die passende Materialisierung je Modellklasse dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

12. Grundlagen inkrementeller Modelle

Schwerpunkt: is_incremental(), Filterkriterium, unique_key, Erstaufbau, Folgelauf, Vollaufbau und Datenkorrekturen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Grundlagen inkrementeller Modelle“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu is_incremental(), Filterkriterium, unique_key, Erstaufbau, Folgelauf, Vollaufbau und Datenkorrekturen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein korrekt wiederholbares inkrementelles Modell mit dokumentierter Ladegrenze dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

13. Microbatch für große Zeitreihen

Schwerpunkt: event_time, batch_size, lookback, Upstream-Filterung, parallele Batches, Batchgrenzen und fehlgeschlagene Teilintervalle.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Microbatch für große Zeitreihen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu event_time, batch_size, lookback, Upstream-Filterung, parallele Batches, Batchgrenzen und fehlgeschlagene Teilintervalle identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein Microbatch-Modell mit kontrollierter Intervallbildung und Wiederanlaufstrategie dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

14. Jinja-Grundlagen in SQL und YAML

Schwerpunkt: Ausdrücke, Anweisungen, Variablen, Listen, Dictionaries, Filter, Whitespace Control und Trennung von Compile- und Laufzeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Jinja-Grundlagen in SQL und YAML“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ausdrücke, Anweisungen, Variablen, Listen, Dictionaries, Filter, Whitespace Control und Trennung von Compile- und Laufzeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis lesbare Jinja-Templates mit kontrollierter SQL-Erzeugung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

15. Makros, Argumente und wiederverwendbare SQL-Bausteine

Schwerpunkt: macro-Blöcke, Parameter, Rückgabewerte, Namensräume, Dokumentation, Seiteneffekte, run-operation und Fehlermeldungen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Makros, Argumente und wiederverwendbare SQL-Bausteine“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu macro-Blöcke, Parameter, Rückgabewerte, Namensräume, Dokumentation, Seiteneffekte, run-operation und Fehlermeldungen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine getestete Makrobibliothek für wiederkehrende Transformationslogik dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

16. Packages und Abhängigkeitsmanagement

Schwerpunkt: packages.yml oder dependencies.yml, Paketquellen, Versionseinschränkungen, deps, Lock-Dateien, lokale Packages und Upgradepfade.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Packages und Abhängigkeitsmanagement“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu packages.yml oder dependencies.yml, Paketquellen, Versionseinschränkungen, deps, Lock-Dateien, lokale Packages und Upgradepfade identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine nachvollziehbare Paketstrategie mit reproduzierbaren Abhängigkeiten dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

17. SQL, Python, Makro oder UDF auswählen

Schwerpunkt: Ausführungsort, Datenvolumen, Bibliotheken, Portabilität, Testbarkeit, Wiederverwendung, Laufzeitkosten und Konsum außerhalb von dbt.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „SQL, Python, Makro oder UDF auswählen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ausführungsort, Datenvolumen, Bibliotheken, Portabilität, Testbarkeit, Wiederverwendung, Laufzeitkosten und Konsum außerhalb von dbt identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine Entscheidungsmatrix für die geeignete Implementierungsform dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

18. Python-Modell-API und DataFrame-Verarbeitung

Schwerpunkt: model()-Funktion, dbt.config, dbt.ref, dbt.source, dbt.this, Sessionobjekt, DataFrames und Rückgabewert.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Python-Modell-API und DataFrame-Verarbeitung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu model()-Funktion, dbt.config, dbt.ref, dbt.source, dbt.this, Sessionobjekt, DataFrames und Rückgabewert identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein ausführbares Python-Modell mit klarer Abhängigkeit und Materialisierung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

19. Beschreibungen, Docs Blocks und Metadatenqualität

Schwerpunkt: Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Beschreibungen, Docs Blocks und Metadatenqualität“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Modelle, Spalten, Sources, Seeds, Snapshots, Tests, Makros, Markdown-Blöcke, Ownership und Dokumentationsstandards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine vollständig beschriebene Modellgruppe mit überprüfbarer Mindestqualität dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

20. Manifest, Catalog, Run Results und weitere Artefakte

Schwerpunkt: manifest.json, catalog.json, run_results.json, sources.json, semantic_manifest.json, Zielpfade, Schema-Versionen und Korrelation.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Manifest, Catalog, Run Results und weitere Artefakte“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu manifest.json, catalog.json, run_results.json, sources.json, semantic_manifest.json, Zielpfade, Schema-Versionen und Korrelation identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen Artefaktkatalog mit definierten Aufbewahrungs- und Auswertungsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Aufbau eines vollständigen Projekts mit mehreren Source- und Modellschichten.
• Ergänzung um Seed, Snapshot, Incremental und Microbatch-Modell.
• Entwicklung eines wiederverwendbaren Makros und Einbindung eines Packages.
• Implementierung eines adaptergestützten Python-Modells.
• Erzeugung und Prüfung von Dokumentation, Lineage und Artefakten.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, BI-Entwicklung, Datenarchitektur und technische Projektteams.

Voraussetzungen: Sichere SQL-Grundkenntnisse, grundlegende Python- und Git-Kenntnisse sowie Verständnis relationaler Datenplattformen.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.