Seminar Apache Airflow

Hersteller und Einordnung

Apache Airflow ist ein Open-Source-System zur Workflow-Orchestrierung. Das Projekt wird im Umfeld der Apache Software Foundation entwickelt und richtet sich an Data-Teams, die Datenpipelines, Batch-Prozesse und automatisierte Abläufe zuverlässig planen, überwachen und betreiben möchten.

Schwerpunkte der Seminarreihe

• Entwicklung wartbarer DAGs (Python), saubere Projektstruktur und wiederverwendbare Bausteine
• Scheduling- und Ausführungsmodell (Data Intervals, Catchup, Backfills, Retries, SLAs)
• Observability: Logs, Metriken, Alerting, Ursachenanalyse und Performance-Tuning
• Plattformbetrieb: Skalierung, Upgrades, Hochverfügbarkeit und Betriebskonzepte
• Security & Governance: Rechte, Secrets, Auditing und Multi-Tenancy-Grundsätze
• Automatisierung: Testing, CI/CD, Release- und Deployment-Strategien

Seminarportfolio

• Apache Airflow Grundlagen: Workflow-Orchestrierung mit DAGs (1 Tag)
• Apache Airflow Developer: TaskFlow API, Best Practices und Advanced Patterns (2 Tage)
• Apache Airflow Erweiterungen entwickeln: Custom Operators, Hooks und Provider (2 Tage)
• Apache Airflow Testing & CI/CD: Qualität und zuverlässige Deployments (2 Tage)
• Apache Airflow Betrieb & Troubleshooting: Monitoring, Performance, Skalierung (3 Tage)
• Apache Airflow auf Kubernetes: Helm, GitOps, Autoscaling und Observability (4 Tage)
• Apache Airflow Security & Governance: RBAC, Secrets, Compliance (1 Tag)
• Apache Airflow Kompakt: Schnellstart für Data Teams (3 Tage)
• Apache Airflow Intensiv Bootcamp: Entwicklung, Betrieb und Best Practices (5 Tage)

Empfohlene Reihenfolge

1. Apache Airflow Grundlagen
2. Apache Airflow Developer
3. Apache Airflow Testing & CI/CD
4. Apache Airflow Betrieb & Troubleshooting
5. Apache Airflow auf Kubernetes
6. Apache Airflow Security & Governance
7. Apache Airflow Erweiterungen entwickeln

Alternative Lernpfade

• Kompakt (3 Tage): Schneller Einstieg mit Fokus auf die wichtigsten Konzepte, Entwicklungspraxis und grundlegende Betriebsaspekte.
• Intensiv (5 Tage): Durchgängiges Bootcamp, das die Inhalte aller Module zusammenführt – von der ersten DAG bis zum Betriebskonzept.

Technische Hinweise

Die Seminare arbeiten praxisnah mit Beispielprojekten. Eine lokale Arbeitsumgebung mit Python sowie Container-Unterstützung (z. B. Docker) wird empfohlen. Details zur Vorbereitung werden seminarabhängig bereitgestellt.