Seminar dbt Core – Architektur, Installation und Projektstart

Das Seminar schafft eine gemeinsame technische Arbeitsbasis für dbt Core. Eine lokale Umgebung wird installiert, mit einer Datenplattform verbunden und schrittweise zu einem strukturierten Projekt mit Sources, Modellen, Tests und Dokumentation ausgebaut.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Aufgaben, Grenzen und Betriebsmodell von dbt Core im Datenstack erklären.
• Eine isolierte Installation mit passendem Adapter aufbauen.
• Projekt- und Profilkonfiguration nachvollziehbar strukturieren.
• Sources und SQL-Modelle mit ref() und source() zu einem DAG verbinden.
• Zentrale CLI-Kommandos, Selektoren, Tests und Dokumentationsschritte sicher anwenden.

Schrittweise Seminarinhalte

1. dbt Core im modernen Datenstack

Schwerpunkt: ELT-Arbeitsweise, Verantwortungsgrenzen, Datenplattform, Versionskontrolle, Orchestrierung und konsumierende Systeme.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „dbt Core im modernen Datenstack“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu ELT-Arbeitsweise, Verantwortungsgrenzen, Datenplattform, Versionskontrolle, Orchestrierung und konsumierende Systeme identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgegrenztes Zielbild für Entwicklung, Ausführung und Betrieb von dbt Core dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Isolierte Installation und Python-Umgebung

Schwerpunkt: Python-Version, virtuelle Umgebung, Paketinstallation, Abhängigkeitsauflösung, Adapterpaket und reproduzierbare Installationsschritte.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Isolierte Installation und Python-Umgebung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Python-Version, virtuelle Umgebung, Paketinstallation, Abhängigkeitsauflösung, Adapterpaket und reproduzierbare Installationsschritte identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine reproduzierbare lokale dbt-Core-Installation mit dokumentierter Versionsbasis dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Aufbau eines dbt-Projekts

Schwerpunkt: Projektverzeichnisse, dbt_project.yml, model-paths, seed-paths, snapshot-paths, macro-paths, target-Verzeichnis und Namenskonventionen.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Aufbau eines dbt-Projekts“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektverzeichnisse, dbt_project.yml, model-paths, seed-paths, snapshot-paths, macro-paths, target-Verzeichnis und Namenskonventionen identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine wartbare Projektstruktur mit klaren Ablage- und Benennungsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. Projektkonfiguration und Vererbung

Schwerpunkt: Projektname, Profilzuordnung, Pfade, Ressourcenkonfiguration, Konfigurationsvererbung, Variablen, Flags und Zielpfade.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Projektkonfiguration und Vererbung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projektname, Profilzuordnung, Pfade, Ressourcenkonfiguration, Konfigurationsvererbung, Variablen, Flags und Zielpfade identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine konsistente dbt_project.yml mit nachvollziehbarer Konfigurationshierarchie dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Profile, Outputs und Verbindungen

Schwerpunkt: profiles.yml, Outputs, target, Threads, Datenbank, Schema, Warehouse oder Cluster, Authentisierung und Verbindungsparameter.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Profile, Outputs und Verbindungen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu profiles.yml, Outputs, target, Threads, Datenbank, Schema, Warehouse oder Cluster, Authentisierung und Verbindungsparameter identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein mehrstufiges Profil mit getrennten Entwicklungs- und Produktionszielen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Erste Source, erstes Modell und erste Abhängigkeit

Schwerpunkt: source(), ref(), SQL-Modell, YAML-Eigenschaften, Kompilierung, Relationserzeugung und einfache Datenprüfung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Erste Source, erstes Modell und erste Abhängigkeit“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu source(), ref(), SQL-Modell, YAML-Eigenschaften, Kompilierung, Relationserzeugung und einfache Datenprüfung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine funktionierende Ende-zu-Ende-Kette von der Rohdatentabelle bis zum getesteten Modell dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. CLI-Kommandos und Ausführungsmodell

Schwerpunkt: debug, parse, compile, run, build, test, seed, snapshot, docs, list, show, clean und deps.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „CLI-Kommandos und Ausführungsmodell“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu debug, parse, compile, run, build, test, seed, snapshot, docs, list, show, clean und deps identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen belastbaren Kommandoleitfaden für Entwicklung, Prüfung und Betrieb dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Node Selection und Selektoren

Schwerpunkt: Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Node Selection und Selektoren“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis wiederverwendbare Selektoren für lokale Entwicklung, CI und Produktionsläufe dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Installation und Verbindungstest gegen eine vorbereitete Datenplattform.
• Aufbau eines kleinen Projekts mit Source, Staging-Modell, Mart und Datenprüfungen.
• Ausführung gezielter Builds mit Namen, Pfaden, Tags und Graphoperatoren.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, Data Engineers, BI-Entwicklung, Datenarchitektur, Plattformbetrieb und technische Projektleitung.

Voraussetzungen: Sichere SQL-Grundkenntnisse, grundlegendes Verständnis relationaler Datenbanken und Routine auf der Kommandozeile.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.