Seminar Great Expectations (GX Core) – SQL-Datenquellen und Data Assets

SQL-Datenquellen benötigen mehr als eine funktionierende Verbindungszeichenfolge. Das Seminar richtet Data Sources für relationale Datenbanken und analytische Plattformen ein, modelliert Tabellen und Abfragen als Data Assets und entwickelt sichere, performante Batch Definitions für vollständige oder partitionierte Prüfbestände.

Inhaltsübersicht

• Zielsetzung und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Zielsetzung

• SQL Data Sources mit passenden Treibern und sicheren Verbindungen konfigurieren.
• Table und Query Data Assets nach fachlichem Zweck auswählen.
• Batch Definitions für Gesamtbestände und zeitliche Partitionen aufbauen.
• Berechtigungen, Secrets, Dialekte, Datentypen und Zeitzonen kontrollieren.
• Datenzugriff, Pushdown, Kosten und Verbindungsfehler systematisch optimieren.

Zielgruppe

Data Engineers, Analytics Engineers, Datenbankentwickler, Plattformteams und Administratoren, die GX Core mit SQL-Datenbanken oder Cloud-Datenplattformen verbinden.

Voraussetzungen

SQL-Grundkenntnisse, Verständnis relationaler Tabellen und sichere Python-Anwendung. Datenbankspezifische Zugänge und Treiber stehen in der Laborumgebung bereit.

Seminarinhalte

1. Schritt 1: Datenplattform und Zugriffsweg erfassen

   Datenbanktyp, Netzwerk, Treiber, Authentisierung, Schema, Tabellen, Volumen, Frequenz und Schutzbedarf werden vor der Konfiguration dokumentiert.

2. Schritt 2: Treiber und Abhängigkeiten einrichten

   Passender SQLAlchemy-Dialekt und Datenbanktreiber werden installiert, gepinnt und mit einem einfachen Verbindungstest geprüft.

3. Schritt 3: Connection String sicher aufbauen

   Host, Port, Datenbank, Parameter und geheime Werte werden getrennt behandelt. Secrets werden nicht in Quellcode oder Protokolle geschrieben.

4. Schritt 4: SQL Data Source registrieren

   Eine eindeutig benannte Data Source wird im Data Context angelegt und anschließend programmgesteuert wieder abgerufen und geprüft.

5. Schritt 5: Table Data Asset verwenden

   Bestehende Tabelle oder View wird mit Schemaangabe als Asset registriert. Namensauflösung und Rechte werden verifiziert.

6. Schritt 6: Query Data Asset entwerfen

   Eine stabile, begrenzte SQL-Abfrage bildet einen fachlichen Datenbestand ab. Die Abfrage bleibt deterministisch und vermeidet unnötige Transformationen.

7. Schritt 7: Asset-Grenzen und Verantwortlichkeit definieren

   Datenprodukt, Prozessstufe und Eigentümer werden so zugeordnet, dass Results nicht zwischen fachlich unabhängigen Beständen vermischt werden.

8. Schritt 8: Batch Definition für Gesamtbestand erstellen

   Alle Datensätze eines Assets werden als reproduzierbarer Batch bereitgestellt und mit Zeilenanzahl sowie Schema geprüft.

9. Schritt 9: Zeit- und Schlüsselpartitionen modellieren

   Datum, Jahr, Monat, Tag oder definierte Schlüsselbereiche begrenzen den Batch. Stichtag und Zeitzone werden eindeutig behandelt.

10. Schritt 10: Batch Parameter übergeben

    Laufzeitwerte aus Pipeline oder Job werden typisiert, validiert und ohne SQL-Injection-Risiko genutzt.

11. Schritt 11: Datentypen und Dialekte berücksichtigen

    Numerik, Zeitstempel, Zeitzonen, boolesche Werte, Zeichenkodierung und Dialektfunktionen werden für Expectations und Queries geprüft.

12. Schritt 12: Berechtigungen und Servicekonten begrenzen

    Leserechte, Schemazugriff, Netzwerkpfad und Abfragekosten werden auf das notwendige Minimum reduziert.

13. Schritt 13: Performance und Pushdown optimieren

    Filter, Indizes, Partition Pruning, Views, Spaltenauswahl und Batch-Größe werden zur Vermeidung unnötiger Vollscans eingesetzt.

14. Schritt 14: Fehlerdiagnose und Verbindungsmanagement durchführen

    Treiberfehler, Authentisierung, Timeout, Pooling, abgelaufene Secrets und nicht vorhandene Objekte werden mit einer festen Prüfreihenfolge behandelt.

Praxisübungen

• SQL Data Source mit ausgelagertem Secret und Verbindungstest anlegen.
• Table Asset und Query Asset für denselben Fachbestand vergleichen.
• Gesamtbestand und datumsbasierten Batch definieren und kontrollieren.
• Zeitzonen- oder Datentypabweichung erkennen und korrigieren.
• Abfrage durch Filter, Spaltenauswahl und Indexnutzung optimieren.
• Typische Verbindungs- und Berechtigungsfehler anhand einer Diagnosematrix lösen.

Methodik

Mehrere SQL-Plattformen werden über ein gemeinsames Architekturmodell behandelt. Jede Verbindung wird zuerst technisch, dann fachlich und zuletzt hinsichtlich Sicherheit und Performance abgenommen.