Seminar dbt Core – Semantic Models, Metrics und MetricFlow

Das Seminar trennt physische Datenmodelle von einer zentral verwalteten Kennzahlensemantik. Entities, Dimensionen, Measures und Metriken werden so modelliert, dass Join-Pfade, Zeitlogik und fachliche Definitionen konsistent validiert und lokal abgefragt werden können.

Inhaltsverzeichnis

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Semantische Modelle und ihre Beziehung zum dbt-DAG einordnen.
• Entities, Dimensionen, Zeitdimensionen und Measures korrekt modellieren.
• Einfache, kumulative, abgeleitete, Verhältnis- und Conversion-Metriken definieren.
• MetricFlow lokal versionssicher installieren, validieren und abfragen.
• Join-Risiken, CI-Prüfung und Betriebsgrenzen der semantischen Schicht beherrschen.

Schrittweise Seminarinhalte

1. Semantischer Graph und zentrale Kennzahlendefinition

Schwerpunkt: semantische Modelle, Metriken, gespeicherte Abfragen, Beziehungen zum dbt-DAG, Governance und Trennung von Modell- und Konsumschicht.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Semantischer Graph und zentrale Kennzahlendefinition“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu semantische Modelle, Metriken, gespeicherte Abfragen, Beziehungen zum dbt-DAG, Governance und Trennung von Modell- und Konsumschicht identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein abgegrenztes semantisches Zielbild für zentral definierte Kennzahlen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

2. Entities, Dimensionen und Zeitdimensionen

Schwerpunkt: primäre, eindeutige und fremde Entities, kategorische Dimensionen, Zeitdimensionen, Granularitäten, Joins und Zeitspine.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Entities, Dimensionen und Zeitdimensionen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu primäre, eindeutige und fremde Entities, kategorische Dimensionen, Zeitdimensionen, Granularitäten, Joins und Zeitspine identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein konsistentes semantisches Modell mit sicheren Join-Pfaden dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

3. Measures und Metriktypen

Schwerpunkt: Aggregation, Ausdruck, einfache, kumulative, abgeleitete, Verhältnis- und Conversion-Metriken, Filter und Nichtadditivität.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Measures und Metriktypen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Aggregation, Ausdruck, einfache, kumulative, abgeleitete, Verhältnis- und Conversion-Metriken, Filter und Nichtadditivität identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen getesteten Metriksatz mit fachlich eindeutigen Definitionen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

4. MetricFlow lokal mit dbt Core betreiben

Schwerpunkt: Installation, Versionsabgleich mit Core und Adapter, semantic_manifest, Konfiguration, Zielumgebung und lokale Ausführung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „MetricFlow lokal mit dbt Core betreiben“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Installation, Versionsabgleich mit Core und Adapter, semantic_manifest, Konfiguration, Zielumgebung und lokale Ausführung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine reproduzierbare lokale MetricFlow-Umgebung dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

5. Metriken validieren und abfragen

Schwerpunkt: list, validate, query, Dimensionen, Filter, Sortierung, Zeitgranularität, gespeicherte Abfragen und Ergebnisprüfung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Metriken validieren und abfragen“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu list, validate, query, Dimensionen, Filter, Sortierung, Zeitgranularität, gespeicherte Abfragen und Ergebnisprüfung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen vollständigen Validierungs- und Abfragekatalog für semantische Modelle dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

6. Semantiktests, Join-Sicherheit und Änderungsmanagement

Schwerpunkt: Eindeutigkeit, Fan-out, Chasm Joins, Zeitspine, fehlende Dimensionen, Metrikregression, CI-Prüfung und Versionierung.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Semantiktests, Join-Sicherheit und Änderungsmanagement“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu Eindeutigkeit, Fan-out, Chasm Joins, Zeitspine, fehlende Dimensionen, Metrikregression, CI-Prüfung und Versionierung identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis ein Quality-Gate-Modell für Änderungen an Kennzahlen und semantischen Beziehungen dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

7. Manifest, Catalog, Run Results und weitere Artefakte

Schwerpunkt: manifest.json, catalog.json, run_results.json, sources.json, semantic_manifest.json, Zielpfade, Schema-Versionen und Korrelation.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Manifest, Catalog, Run Results und weitere Artefakte“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu manifest.json, catalog.json, run_results.json, sources.json, semantic_manifest.json, Zielpfade, Schema-Versionen und Korrelation identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis einen Artefaktkatalog mit definierten Aufbewahrungs- und Auswertungsregeln dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

8. Betriebsgrenzen und Integration nachgelagerter Werkzeuge

Schwerpunkt: lokale Core-Funktionen, dynamische Bereitstellung, Exporte, Zugriff, Caching, Verantwortlichkeiten und Abgrenzung zu verwalteten Diensten.

1. Ausgangslage, Zielzustand und fachliche Grenzen für den Themenblock „Betriebsgrenzen und Integration nachgelagerter Werkzeuge“ anhand des Laborprojekts erfassen.
2. Relevante Dateien, Ressourcen, Rollen und Abhängigkeiten zu lokale Core-Funktionen, dynamische Bereitstellung, Exporte, Zugriff, Caching, Verantwortlichkeiten und Abgrenzung zu verwalteten Diensten identifizieren und in einer Arbeitscheckliste festhalten.
3. Die erforderliche Konfiguration, den Code oder den Betriebsprozess schrittweise umsetzen und alle erzeugten Zwischenstände nachvollziehbar prüfen.
4. Funktion, Sicherheit, Wiederholbarkeit, Datenwirkung und Fehlerverhalten mit definierten Positiv-, Negativ- und Wiederanlauffällen bewerten.
5. Als Arbeitsergebnis eine realistische Betriebs- und Integrationsarchitektur für die semantische Schicht dokumentieren, fachlich abnehmen und in einen wiederverwendbaren Projekt- oder Betriebsstandard überführen.

Praxisübungen und Laborszenarien

• Aufbau eines semantischen Modells mit zwei verbundenen Fachobjekten.
• Definition mehrerer Metriktypen einschließlich Zeitfilter und Verhältnis.
• Validierung und lokale Abfrage mit kontrollierten Join- und Fan-out-Fällen.

Zielgruppe und Voraussetzungen

Zielgruppe: Analytics Engineers, BI-Architektur, Data Product Ownership, Data Governance und Kennzahlenverantwortliche.

Voraussetzungen: Gute SQL- und dbt-Core-Kenntnisse; Verständnis dimensionaler Modellierung und fachlicher Kennzahlendefinitionen.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, geführte Konfigurationsschritte, Code-Reviews und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit einem versionierten Laborprojekt, definierten Prüfpunkten und einer nachvollziehbaren Dokumentation.