Seminar Kestra Data Engineering und ETL/ELT

Dieses Seminar zeigt, wie Datenpipelines mit Kestra strukturiert, überwacht und kontrolliert betrieben werden. Der Schwerpunkt liegt auf ETL/ELT-Mustern, Datenbankzugriffen, Dateiverarbeitung, Wiederanläufen und der Frage, wie aus einzelnen technischen Schritten eine belastbare Pipeline wird.

Inhaltsverzeichnis

• Datenpipeline-Design mit Kestra
• Datenbankzugriffe und SQL-Aufgaben
• Dateien, Artefakte und Namespace-Dateien
• ETL/ELT-Steuerung und Parametrisierung
• Datenqualität, Validierung und Wiederanlauf
• Produktionsmuster für Data Engineering

Zielgruppe

Data Engineers, BI-Teams, Analytics Engineers und technische Projektteams, die Datenpipelines mit klarer Orchestrierung, Parametrisierung und Überwachung aufbauen möchten.

Lernziele

• Datenpipelines als Kestra-Flows sinnvoll strukturieren
• SQL- und Dateischritte kontrolliert orchestrieren
• Parameter, Zeitfenster und Laufvarianten modellieren
• Validierungen und Datenqualitätsprüfungen einbauen
• Fehlerbehandlung und Wiederanlaufkonzepte anwenden
• Wartbare Pipeline-Standards für Teams definieren

Seminarinhalt

Pipeline-Architektur

• Typische ETL- und ELT-Muster
• Aufteilung in Extraktion, Transformation, Prüfung und Bereitstellung
• Namespaces für Datenprodukte und Teams strukturieren
• Labels, Beschreibungen und Verantwortlichkeiten nutzen

Datenzugriff

• Datenbankabfragen als orchestrierte Tasks
• SQL-Dateien aus Namespace-Strukturen verwenden
• Parameter für Zeiträume und Mandanten einsetzen
• Umgang mit Ergebnissen, Outputs und Folgeaufgaben

Validierung und Qualität

• Prüfschritte vor und nach Transformationen
• Schwellwerte, Zählprüfungen und Statusentscheidungen
• Fehlerhafte Daten kontrolliert stoppen oder isolieren
• Benachrichtigungen und Diagnoseinformationen vorbereiten

Produktionsfähigkeit

• Idempotente Pipeline-Schritte planen
• Wiederanläufe ohne doppelte Verarbeitung
• Zeitfenster und Nachverarbeitung
• Betriebsfreundliche Logs und klare Fehlermeldungen

Praxisübungen

• Erstellung einer mehrstufigen ETL/ELT-Pipeline
• Parametrisierte SQL-Ausführung
• Einbindung von SQL-Dateien aus Namespace-Strukturen
• Validierung eines Pipeline-Ergebnisses
• Retry- und Wiederanlauf-Szenario
• Überarbeitung einer Pipeline nach Betriebsstandards

Voraussetzungen

SQL-Grundlagen, Verständnis von Datenquellen, Dateiformaten und Datenbankzugriffen. Erfahrung mit Datenpipelines ist vorteilhaft.

Einordnung

Das Seminar richtet sich an Datenpipeline-Praxis. Skriptgrundlagen werden nur soweit behandelt, wie sie für Data-Engineering-Workflows notwendig sind.