Seminar dbt Core – Materialisierungen, Performance und Kostenoptimierung

Das Seminar betrachtet Performance nicht als einzelne SQL-Optimierung, sondern als Zusammenspiel aus Materialisierung, physischem Design, DAG, Parallelität und Ausführungsumfang. Jede Maßnahme wird anhand messbarer Laufzeit- und Kostenwerte bewertet.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Materialisierungen anhand von Aktualität, Abfrageverhalten und Betriebskosten auswählen.
• Physisches Design und adapterspezifische Konfigurationen zielgerichtet einsetzen.
• Kritische Pfade und unnötig serielle Modellketten im DAG erkennen.
• Threads, Warehouse-Kapazität und Jobzuschnitt aufeinander abstimmen.
• Kostenbudgets und Performance-Regressionen messbar kontrollieren.

Schrittweise Seminarinhalte

1. Standardmaterialisierungen im Vergleich

Schwerpunkt: view, table, ephemeral, incremental und materialized view, Adapterunterstützung, Datenaktualität, Laufzeit und Wartbarkeit.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Standardmaterialisierungen im Vergleich“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu view, table, ephemeral, incremental und materialized view, Adapterunterstützung, Datenaktualität, Laufzeit und Wartbarkeit identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine Entscheidungsmatrix für die passende Materialisierung je Modellklasse dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Materialisierungsregeln und Konfigurationshierarchie

Schwerpunkt: Projekt-, Ordner- und Modellkonfiguration, config()-Blöcke, Alias, Schema, Database, persist_docs, grants und Full Refresh.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Materialisierungsregeln und Konfigurationshierarchie“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Projekt-, Ordner- und Modellkonfiguration, config()-Blöcke, Alias, Schema, Database, persist_docs, grants und Full Refresh identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein konsistentes Regelwerk zur Materialisierung und physischen Ablage dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Physisches Design und Warehouse-Optimierung

Schwerpunkt: Partitionierung, Clustering, Sortierung, Verteilung, Dateiformate, materialisierte Sichten, Statistik und Adapterkonfiguration.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Physisches Design und Warehouse-Optimierung“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Partitionierung, Clustering, Sortierung, Verteilung, Dateiformate, materialisierte Sichten, Statistik und Adapterkonfiguration identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein plattformspezifisches Optimierungskonzept für große Modelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. DAG-Laufzeit, Parallelität und kritischer Pfad

Schwerpunkt: Threads, unabhängige Knoten, lange Modellketten, Fan-out, Modellzuschnitt, Selektoren und Laufzeitmessung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „DAG-Laufzeit, Parallelität und kritischer Pfad“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Threads, unabhängige Knoten, lange Modellketten, Fan-out, Modellzuschnitt, Selektoren und Laufzeitmessung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen verkürzten kritischen Pfad mit begründeter Parallelitätskonfiguration dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Node Selection und Selektoren

Schwerpunkt: Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Node Selection und Selektoren“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Ressourcentypen, Namen, Pfade, Tags, Konfigurationen, Graphoperatoren, Ausschlüsse, YAML-Selektoren und indirekte Testauswahl identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis wiederverwendbare Selektoren für lokale Entwicklung, CI und Produktionsläufe dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Parallelität, Locks und gleichzeitige Läufe

Schwerpunkt: Threads, Warehouse-Kapazität, konkurrierende Jobs, Schemakollisionen, inkrementelle Tabellen, Snapshot-Ziele und Sperrstrategien.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Parallelität, Locks und gleichzeitige Läufe“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Threads, Warehouse-Kapazität, konkurrierende Jobs, Schemakollisionen, inkrementelle Tabellen, Snapshot-Ziele und Sperrstrategien identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein sicheres Parallelitäts- und Ausschlusskonzept für den Regelbetrieb dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Kostenkontrolle und effiziente Entwicklungszyklen

Schwerpunkt: begrenzte Datenmengen, empty builds, state-basierte Auswahl, Deferral, inkrementelle Verarbeitung, Warehouse-Größe und Laufzeitbudgets.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Kostenkontrolle und effiziente Entwicklungszyklen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu begrenzte Datenmengen, empty builds, state-basierte Auswahl, Deferral, inkrementelle Verarbeitung, Warehouse-Größe und Laufzeitbudgets identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen Kostenrahmen mit messbaren Schwellenwerten für Entwicklung, CI und Produktion dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Observability mit Artefakten und Kennzahlen

Schwerpunkt: run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Observability mit Artefakten und Kennzahlen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu run_results, manifest, sources, Laufzeiten, Status, Zeilenwirkungen, Testfehler, kritischer Pfad, historische Vergleiche und Dashboards identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen messbaren Betriebsstatus mit definierten Kennzahlen und Alarmgrenzen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Vergleich von View, Table, Ephemeral und Incremental anhand eines Messszenarios.
• Analyse eines langsamen DAG und Verkürzung des kritischen Pfads.
• Erstellung eines Kosten- und Laufzeitbudgets mit Alarmgrenzen für Regressionen.

Zielgruppe und Voraussetzungen

Zielgruppe: Senior Analytics Engineers, Data Engineers, Data Platform Engineering, FinOps und technische Architektur.

Voraussetzungen: Gute dbt-Core- und SQL-Kenntnisse sowie Zugriff auf Laufzeitdaten und Query-Pläne einer Übungsplattform.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.