Seminar Great Expectations (GX Core) – Intensivseminar Gesamtprogramm

Das Gesamtprogramm fasst das vollständige GX-Core-Seminarportfolio in einem komprimierten, praxisorientierten Lernpfad zusammen. Es vermittelt alle wesentlichen Themen von Grundlagen, Datenkontexten und Datenquellen über Expectations, Custom Rules und Multi-Source-Abgleich bis zu Checkpoints, Data Docs, Pipelines, produktivem Betrieb, Performance und Migration.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Das vollständige GX-Core-Objektmodell in einem End-to-End-Projekt anwenden.
• Pandas-, Datei-, Cloud-, SQL- und Spark-Datenzugriffe fachlich und technisch einordnen.
• Batches, Suites, Parameter, bedingte Regeln und eigene Validierungslogik gestalten.
• Validation Definitions, Checkpoints, Actions, Data Docs und Pipelines automatisieren.
• Betrieb, Sicherheit, Performance, Fehlersuche, Governance und Migration überblicken und praktisch verbinden.

Zielgruppe

Erfahrene Projektteams, künftige GX-Core-Key-User, Data Engineers, Analytics Engineers, Entwickler, Data Stewards und technische Verantwortliche, die in kurzer Zeit einen umfassenden Gesamtüberblick mit praktischem Referenzprojekt benötigen.

Voraussetzungen

Sichere Python-Grundlagen und allgemeines Verständnis von Datenpipelines, SQL oder DataFrames. Wegen der hohen Stoffdichte sind erste praktische Erfahrungen in Datenengineering oder Datenqualität erforderlich.

Seminarinhalte

1. Schritt 1: Datenqualitätsziele und Governance festlegen

   Datenprodukt, Qualitätsdimensionen, Risiken, Verantwortliche, Severity und Entscheidungsfolgen werden für das Referenzprojekt definiert.

2. Schritt 2: GX-Core-Objektmodell vollständig einordnen

   Data Context, Data Source, Data Asset, Batch Definition, Expectation, Suite, Validation Definition, Checkpoint, Action, Store und Data Docs werden verbunden.

3. Schritt 3: Projektstruktur und Data Context aufbauen

   Persistentes Projekt, Konfiguration, Umgebungen, Secrets und Namenskonventionen werden reproduzierbar eingerichtet.

4. Schritt 4: Pandas- und DataFrame-Daten validieren

   In-Memory-Daten werden als Data Source, Asset und Batch eingebunden und mit ersten Struktur- und Inhaltsregeln geprüft.

5. Schritt 5: Dateisysteme und Cloud Storage anbinden

   Lokale Dateien und Object Storage werden über präzise Assets, Formate, Präfixe und datumsbasierte Partitionen organisiert.

6. Schritt 6: SQL Data Sources und Assets konfigurieren

   Sichere Verbindungen, Table und Query Assets, Servicekonten, Batch-Filter und Pushdown werden praktisch umgesetzt.

7. Schritt 7: Spark und verteilte Validierung einordnen

   Spark DataFrames, Dateiquellen, Partitionen, Kosten und Engine-spezifische Optimierungen werden anhand eines kompakten Falls bearbeitet.

8. Schritt 8: Batch Definitions und Partitionierung beherrschen

   Gesamtbestand, Zeitpartition, Laufzeitparameter, Nachlieferung und fachliche Prüfeinheit werden reproduzierbar modelliert.

9. Schritt 9: Expectation Suites entwerfen

   Standardregeln für Struktur, Vollständigkeit, Gültigkeit, Eindeutigkeit und Beziehungen werden zu einer wartbaren Suite gebündelt.

10. Schritt 10: Parameter, Row Conditions und Severity einsetzen

    Dynamische Schwellen, bedingte Teilmengen und abgestufte Reaktionen werden in ausgewählten Regeln umgesetzt.

11. Schritt 11: Validation Definitions und Results analysieren

    Batch und Suite werden verbunden; Result Formats, Run Identifier, Statistiken und Fehlerdetails werden zielgerichtet ausgewertet.

12. Schritt 12: Custom Expectations mit Python einordnen

    Klassenmodell, Metriken, Engine-Unterstützung, Tests und Paketierung werden an einer kleinen Eigenentwicklung durchlaufen.

13. Schritt 13: SQL-basierte Fehlerzeilenprüfung erstellen

    Eine komplexe Fachregel wird als Unexpected-Rows-Abfrage implementiert und datenschutzgerecht begrenzt.

14. Schritt 14: Multi-Source-Abgleich durchführen

    Zwei SQL-Datenquellen werden mit deterministischen Abfragen und mostly-Schwelle für einen Migrations- oder ETL-Vergleich verbunden.

15. Schritt 15: Checkpoints, Actions und Benachrichtigungen konfigurieren

    Mehrere Validierungen, Severity, Statuspfade und eine standardisierte Action werden zu einem steuerbaren Lauf gebündelt.

16. Schritt 16: Data Docs und Qualitätsberichte erzeugen

    Berichtssite, Detailtiefe, Run-Metadaten, Datenschutz und automatischer Build werden eingerichtet.

17. Schritt 17: CI/CD und Orchestrierung integrieren

    Checkpoint, Batch Parameter, Exit Codes, Retry, Quarantäne und Pipeline-Gate werden in eine Laborpipeline eingebaut.

18. Schritt 18: Stores, Security und Betriebsmodell planen

    Ablageorte, minimale Rechte, Secrets, Logging, Monitoring, Aufbewahrung, Backup und Wiederherstellung werden festgelegt.

19. Schritt 19: Performance und Fehlersuche anwenden

    Datenzugriff, Batch-Größe, Regelkosten und Result-Umfang werden optimiert; ein gemischter Fehlerfall wird mit Diagnosematrix gelöst.

20. Schritt 20: Migration und Weiterentwicklung planen

    Bestandsinventur, Referenzbatches, Regressionstest, Cutover, Rollback und regelmäßige Wartung werden als Roadmap dokumentiert.

Praxisübungen

• End-to-End-Projekt mit File Data Context und mehreren Datenquellentypen aufbauen.
• Batch- und Partitionskonzept für Tagesläufe und Nachlieferungen erstellen.
• Suite mit Standardregeln, Parameter, Row Condition und Severity umsetzen.
• Custom-Python-Regel und SQL-Fehlerzeilenprüfung in reduzierter Form entwickeln.
• Multi-Source-Abgleich für Quell- und Zielsystem durchführen.
• Validation Definition, Checkpoint, Action und Data Docs vollständig ausführen.
• Pipeline-Gate mit Exit Codes, Retry-Abgrenzung und Quarantäne betreiben.
• Store-, Secret-, Monitoring- und Backup-Konzept abnehmen.
• Performanceproblem und technischen Fehler systematisch diagnostizieren.
• Migrations- und Wartungsroadmap für das Referenzprojekt erstellen.

Methodik

Das fünftägige Gesamtprogramm verdichtet alle Einzelseminare in einem einzigen Referenzprojekt. Spezialisierte Themen werden auf Überblicks- und Entscheidungsniveau behandelt, zentrale Kernschritte jedoch praktisch umgesetzt und in einer umfassenden Projekt- und Betriebsdokumentation zusammengeführt.