Seminar Apache Airflow Grundlagen: Workflow-Orchestrierung mit DAGs

Lernziele

• Airflow-Architektur und zentrale Komponenten einordnen (Scheduler, Webserver, Worker, Metadatenbank)
• DAGs, Tasks und Abhängigkeiten korrekt modellieren und typische Scheduling-Fallen vermeiden
• Erste Workflows mit gängigen Operatoren erstellen, ausführen und im UI nachvollziehen
• Grundlegende Diagnose: Logs lesen, Retries/Timeouts verstehen, einfache Fehlerbilder beheben

Zielgruppe

• Teams, die Datenpipelines oder Batch-Prozesse orchestrieren möchten
• Entwicklung und Betrieb, die Airflow als Workflow-Backbone evaluieren oder einführen
• Teilnehmende, die bestehende Airflow-DAGs verstehen und sicher erweitern sollen

Voraussetzungen

• Python-Grundlagen (Funktionen, Module, virtuelle Umgebungen)
• Grundverständnis von Datenprozessen (ETL/ELT, Batch, Abhängigkeiten)
• Container-Grundlagen sind hilfreich, aber nicht zwingend

Inhalte

• Wofür Airflow geeignet ist und wofür nicht: Orchestrierung vs. Verarbeitung
• Begriffe und Modell: DAG, Task, Operator, Sensor, Hook, Connection, Variable, XCom
• Scheduling-Grundlagen: Data Interval, Start Date, Catchup, Backfills, Timezones
• Fehlerbehandlung: Retries, Retry Delay, Timeouts, Trigger Rules (Grundprinzip)
• Airflow UI: Graph/Tree View, Runs, Logs, Task-Instanzen, einfache Diagnose
• Projektstruktur und erste Best Practices für wartbare DAGs

Praxisübungen

1. Lokale Entwicklungsumgebung vorbereiten und ein Beispielprojekt starten
2. Schritt-für-Schritt eine erste DAG erstellen: Tasks definieren, Abhängigkeiten setzen, Zeitplan konfigurieren
3. Parameter, Variablen und Verbindungen nutzen, ohne Code zu hardcodieren
4. Fehler gezielt erzeugen und beheben: Retries, Timeouts, Log-Analyse
5. Typische Muster: Sequenzen, Parallelisierung, einfache Branches

Abgrenzung und Anschluss

Das Seminar legt die Basis für produktive DAG-Entwicklung. Für fortgeschrittene Patterns, moderne APIs und Code-Struktur empfiehlt sich das Developer-Seminar als nächster Schritt.