Seminar Great Expectations (GX Core) – Batches, Batch Definitions und Partitionierung

Eine Datenqualitätsregel ist nur belastbar, wenn eindeutig feststeht, welche Daten sie zu welchem Zeitpunkt prüft. Das Seminar konzentriert sich auf Batch Definitions, wiederholbare Datenausschnitte und die Verbindung zwischen fachlicher Prüfeinheit, Data Asset und technischer Partitionierung.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• Batch, Batch Definition und Data Asset trennscharf erklären und anwenden.
• Gesamtbestände, DataFrames und datumsbasierte Datenpartitionen reproduzierbar adressieren.
• Batch Parameter und Laufzeitwerte kontrolliert einsetzen.
• Namenskonventionen und Prüffrequenzen für wiederholbare Validierungen festlegen.
• Typische Fehler durch unklare oder wechselnde Datenausschnitte vermeiden.

Zielgruppe

Data Engineers, Analytics Engineers, Entwickler, Data Stewards und Key-User, die GX-Core-Validierungen auf wechselnden Dateien, Tabellen oder DataFrames ausführen.

Voraussetzungen

Grundkenntnisse in Python und Datenverarbeitung. Ein vorhandener Data Context und mindestens eine einfache Data Source sind hilfreich, werden für die Übungen bereitgestellt.

Seminarinhalte

1. Schritt 1: Begriffe und Objektbeziehungen klären

   Data Source, Data Asset, Batch Definition und zur Laufzeit geladener Batch werden anhand eines durchgängigen Beispiels voneinander abgegrenzt.

2. Schritt 2: Fachliche Prüfeinheiten bestimmen

   Es wird entschieden, ob ein Tagesbestand, eine Lieferung, eine Tabelle, ein Pipeline-Lauf oder ein vollständiger Datenbestand die geeignete Validierungseinheit bildet.

3. Schritt 3: DataFrame-Batches definieren

   Ein pandas- oder Spark-DataFrame wird über eine Batch Definition vollständig bereitgestellt. Übergabe und Lebensdauer der Laufzeitdaten werden nachvollzogen.

4. Schritt 4: Dateibasierte Batches aufbauen

   Einzeldateien, Dateigruppen und Verzeichnisse werden in Data Assets organisiert. Dateiformat, Namensmuster und Verzeichnisstruktur werden auf Stabilität geprüft.

5. Schritt 5: Datumsbasierte Partitionierung verwenden

   Jahr, Monat, Tag oder vollständiges Datum werden als Partitionierungsmerkmale eingesetzt. Fehlende, doppelte oder verspätete Partitionen werden berücksichtigt.

6. Schritt 6: SQL-Batches abgrenzen

   Gesamttabellen und Query Assets werden verglichen. Wo sinnvoll, werden Filter- oder Laufzeitparameter zur gezielten Eingrenzung verwendet.

7. Schritt 7: Batch Parameter kontrollieren

   Parameter werden benannt, typisiert und validiert. Standardwerte, Pflichtwerte und nachvollziehbare Übergabe aus einer Pipeline werden festgelegt.

8. Schritt 8: Namens- und Versionierungskonzept entwickeln

   Namen für Assets, Batch Definitions und Validierungsläufe werden so gewählt, dass Datenprodukt, Stufe, Frequenz und Zweck erkennbar bleiben.

9. Schritt 9: Batches testen und dokumentieren

   Geladene Daten, Zeilenanzahl, Schema, Zeitraum und Herkunft werden geprüft. Ein kurzer Abnahmekatalog verhindert die Validierung des falschen Datenbestands.

Praxisübungen

• Drei fachlich unterschiedliche Prüfeinheiten für denselben Datenbestand bewerten.
• DataFrame-Batch und datumsbasierten Datei-Batch anlegen und vergleichen.
• Eine fehlerhafte Partitionierungsregel diagnostizieren und korrigieren.
• Batch Parameter aus einem simulierten Pipeline-Lauf übergeben.
• Abnahmeprotokoll für einen produktiven Batch erstellen.

Methodik

Das eintägige Format arbeitet mit einem zusammenhängenden Datenbestand. Objektmodell, Konfiguration und Laufzeitverhalten werden jeweils unmittelbar praktisch geprüft; die Ergebnisse münden in Namens- und Abnahmeregeln.