Seminarüberblick
Dieses Seminar zeigt, wie Datenpipelines mit Kestra strukturiert, überwacht und kontrolliert betrieben werden. Der Schwerpunkt liegt auf ETL/ELT-Mustern, Datenbankzugriffen, Dateiverarbeitung, Wiederanläufen und der Frage, wie aus einzelnen technischen Schritten eine belastbare Pipeline wird.
Inhaltsverzeichnis
- Datenpipeline-Design mit Kestra
- Datenbankzugriffe und SQL-Aufgaben
- Dateien, Artefakte und Namespace-Dateien
- ETL/ELT-Steuerung und Parametrisierung
- Datenqualität, Validierung und Wiederanlauf
- Produktionsmuster für Data Engineering
Zielgruppe
Data Engineers, BI-Teams, Analytics Engineers und technische Projektteams, die Datenpipelines mit klarer Orchestrierung, Parametrisierung und Überwachung aufbauen möchten.
Lernziele
- Datenpipelines als Kestra-Flows sinnvoll strukturieren
- SQL- und Dateischritte kontrolliert orchestrieren
- Parameter, Zeitfenster und Laufvarianten modellieren
- Validierungen und Datenqualitätsprüfungen einbauen
- Fehlerbehandlung und Wiederanlaufkonzepte anwenden
- Wartbare Pipeline-Standards für Teams definieren
Seminarinhalt
Pipeline-Architektur
- Typische ETL- und ELT-Muster
- Aufteilung in Extraktion, Transformation, Prüfung und Bereitstellung
- Namespaces für Datenprodukte und Teams strukturieren
- Labels, Beschreibungen und Verantwortlichkeiten nutzen
Datenzugriff
- Datenbankabfragen als orchestrierte Tasks
- SQL-Dateien aus Namespace-Strukturen verwenden
- Parameter für Zeiträume und Mandanten einsetzen
- Umgang mit Ergebnissen, Outputs und Folgeaufgaben
Validierung und Qualität
- Prüfschritte vor und nach Transformationen
- Schwellwerte, Zählprüfungen und Statusentscheidungen
- Fehlerhafte Daten kontrolliert stoppen oder isolieren
- Benachrichtigungen und Diagnoseinformationen vorbereiten
Produktionsfähigkeit
- Idempotente Pipeline-Schritte planen
- Wiederanläufe ohne doppelte Verarbeitung
- Zeitfenster und Nachverarbeitung
- Betriebsfreundliche Logs und klare Fehlermeldungen
Praxisübungen
- Erstellung einer mehrstufigen ETL/ELT-Pipeline
- Parametrisierte SQL-Ausführung
- Einbindung von SQL-Dateien aus Namespace-Strukturen
- Validierung eines Pipeline-Ergebnisses
- Retry- und Wiederanlauf-Szenario
- Überarbeitung einer Pipeline nach Betriebsstandards
Voraussetzungen
SQL-Grundlagen, Verständnis von Datenquellen, Dateiformaten und Datenbankzugriffen. Erfahrung mit Datenpipelines ist vorteilhaft.
Einordnung
Das Seminar richtet sich an Datenpipeline-Praxis. Skriptgrundlagen werden nur soweit behandelt, wie sie für Data-Engineering-Workflows notwendig sind.
Seminar und Anbieter vergleichen
Öffentliche Schulung
Diese Seminarform ist auch als Präsenzseminar bekannt und bedeutet, dass Sie in unseren Räumlichkeiten von einem Trainer vor Ort geschult werden. Jeder Teilnehmer hat einen Arbeitsplatz mit virtueller Schulungsumgebung. Öffentliche Seminare werden in deutscher Sprache durchgeführt, die Unterlagen sind teilweise in Englisch.
Inhausschulung
Diese Seminarform bietet sich für Unternehmen an, welche gleiche mehrere Teilnehmer gleichzeitig schulen möchten. Der Trainer kommt zu Ihnen ins Haus und unterrichtet in Ihren Räumlichkeiten. Diese Seminare können in Deutsch - bei Firmenseminaren ist auch Englisch möglich gebucht werden.
Webinar
Diese Art der Schulung ist geeignet, wenn Sie die Präsenz eines Trainers nicht benötigen, nicht Reisen können und über das Internet an einer Schulung teilnehmen möchten.
Fachbereichsleiter / Leiter der Trainer / Ansprechpartner
-
Michael Adler
Telefon: + 41 (800) 225127
E-Mail: michael.adler@seminar-experts.ch -
Stefano Conti
Telefon: + 41 (800) 225127
E-Mail: stefano.conti@seminar-experts.ch
Seminardetails
| Dauer: | 3 Tage ca. 6 h/Tag, Beginn 1. Tag: 10:00 Uhr, weitere Tage 09:00 Uhr |
| Preis: |
Öffentlich und Webinar: CHF 1.797 zzgl. MwSt. Inhaus: CHF 5.100 zzgl. MwSt. |
| Teilnehmeranzahl: | min. 2 - max. 8 |
| Teilnehmer: | Data Engineers, BI-Teams, Analytics Engineers, technische Projektteams |
| Voraussetzungen: | SQL-Grundlagen und Verständnis typischer Datenpipeline-Konzepte |
| Standorte: | Basel, Bern, Luzern, Sankt Gallen, Winterthur, Zürich |
| Methoden: | Vortrag, Demonstrationen, praktische Übungen am System |
| Seminararten: | Öffentlich, Webinar, Inhaus, Workshop - Alle Seminare mit Trainer vor Ort, Webinar nur wenn ausdrücklich gewünscht |
| Durchführungsgarantie: | ja, ab 2 Teilnehmern |
| Sprache: | Deutsch - bei Firmenseminaren ist auch Englisch möglich |
| Seminarunterlage: | Dokumentation auf Datenträger oder als Download |
| Teilnahmezertifikat: | ja, selbstverständlich |
| Verpflegung: | Kalt- / Warmgetränke, Mittagessen (wahlweise vegetarisch) |
| Support: | 3 Anrufe im Seminarpreis enthalten |
| Barrierefreier Zugang: | an den meisten Standorten verfügbar |
| Weitere Informationen unter +41 (800) 225127 |
Seminartermine
Die Ergebnissliste kann durch Anklicken der Überschrift neu sortiert werden.
