Seminar Soda Core – Grundlagen, CLI und Datenquellen

Das Seminar führt in die lokale, codebasierte Datenqualitätsprüfung mit Soda Core ein. Von der Installation über die Datenquellenkonfiguration bis zur ersten Vertragsverifikation entsteht eine reproduzierbare Arbeitsumgebung.

Die Übungen legen Wert auf sichere Zugangsdaten, klare Dateistrukturen und verständliche Fehlerdiagnose. Vorkenntnisse in Soda sind nicht erforderlich.

Lernziele

• Soda Core und das passende Datenquellenpaket sicher installieren
• Datenquellen- und Cloud-Konfigurationen strukturiert verwalten
• CLI-Befehle für Verbindung, Vertrag und Verifikation anwenden
• Ergebnisse, Exitcodes und Logs korrekt interpretieren und Fehler eingrenzen

Inhaltsübersicht

1. Soda Core und Arbeitsmodell einordnen
2. Python-Umgebung und Pakete installieren
3. Datenquelle konfigurieren
4. Cloud-Verbindung optional vorbereiten
5. Ersten Data Contract erstellen
6. Verifikation ausführen und Ergebnisse lesen
7. Grundlegende Fehlersuche standardisieren

Seminarinhalte

1. Soda Core und Arbeitsmodell einordnen

1. Schritt 1: Lokale Ausführung, Soda Cloud und Soda Runner voneinander abgrenzen.
2. Schritt 2: Data Contract, Verifikation, Check und Ergebnis als Grundobjekte erklären.
3. Schritt 3: Geeignete Anwendungsfälle in Entwicklung, Pipeline und Betrieb auswählen.
4. Schritt 4: Laborverzeichnis und sichere Arbeitsregeln vorbereiten.

2. Python-Umgebung und Pakete installieren

1. Schritt 1: Virtuelle Umgebung erstellen und aktivieren.
2. Schritt 2: Soda-Basispaket und passendes Datenquellenpaket installieren.
3. Schritt 3: Versionen und Kommandozeilenaufruf verifizieren.
4. Schritt 4: Abhängigkeiten für reproduzierbare Wiederinstallation festhalten.

3. Datenquelle konfigurieren

1. Schritt 1: Erforderliche Verbindungsparameter aus dem Zielsystem ableiten.
2. Schritt 2: YAML-Konfiguration mit getrennten Secret-Werten erstellen.
3. Schritt 3: Verbindung über CLI testen und Treiberfehler auswerten.
4. Schritt 4: Rechte auf benötigte Schemas und Tabellen begrenzen.

4. Cloud-Verbindung optional vorbereiten

1. Schritt 1: API-Schlüssel mit geeignetem technischen Konto bereitstellen.
2. Schritt 2: Cloud-Konfiguration ohne Klartextgeheimnisse strukturieren.
3. Schritt 3: Authentifizierung und Erreichbarkeit testen.
4. Schritt 4: Lokale und veröffentlichte Ergebnisse klar voneinander unterscheiden.

5. Ersten Data Contract erstellen

1. Schritt 1: Dataset vollständig qualifiziert benennen.
2. Schritt 2: Schema und kritische Spalten in YAML abbilden.
3. Schritt 3: Einfache Checks für Missing Values, Eindeutigkeit und Zeilenzahl ergänzen.
4. Schritt 4: Vertrag syntaktisch testen und typische Einrückungsfehler beheben.

6. Verifikation ausführen und Ergebnisse lesen

1. Schritt 1: Vertrag lokal gegen die konfigurierte Datenquelle verifizieren.
2. Schritt 2: Pass-, Warn-, Fehler- und Ausführungszustände unterscheiden.
3. Schritt 3: Exitcode, Konsolenausgabe und detaillierte Logs gemeinsam auswerten.
4. Schritt 4: Fehlerdaten korrigieren und dieselbe Verifikation wiederholen.

7. Grundlegende Fehlersuche standardisieren

1. Schritt 1: Paket-, Pfad-, YAML-, Berechtigungs- und Netzwerkfehler klassifizieren.
2. Schritt 2: Verbose-Ausgabe gezielt statt dauerhaft aktivieren.
3. Schritt 3: Minimalen Reproduktionstest aus Konfiguration und einem Check bilden.
4. Schritt 4: Befund, Korrektur und erneuten Test in einem kurzen Runbook dokumentieren.

Praxislabor

Eine vorbereitete Datenquelle wird angebunden, ein erster Data Contract geschrieben und mit mehreren Fehlerzuständen verifiziert. Abschließend wird die Umgebung aus dokumentierten Abhängigkeiten erneut aufgebaut und mit einem Smoke-Test bestätigt.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Analytics Engineering, Datenbankentwicklung, technische Datenanalyse und Personen mit Einstieg in Data Quality Engineering.

Voraussetzungen: Grundkenntnisse in SQL, YAML und Kommandozeile; grundlegende Python-Paketverwaltung ist hilfreich.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als Betriebsstandard wiederholbar bleiben.