Seminar Apache Airflow auf Kubernetes: Helm, GitOps, Autoscaling und Observability

Lernziele

• Airflow auf Kubernetes stabil deployen und betreiben (Helm, Konfiguration, Secrets, Storage)
• Skalierung und Hochverfügbarkeit planen: Scheduler/Webserver/Worker, Ressourcen und Autoscaling
• Observability in Clusterumgebungen umsetzen: Logs, Metriken, Traces als Konzept, Alerting
• Upgrade- und Betriebsprozesse im GitOps-Stil strukturieren

Zielgruppe

• Kubernetes- und Plattformteams, die Airflow als Plattformdienst anbieten
• DevOps/SRE, die Airflow-Workloads in Cluster-Umgebungen integrieren
• Teams mit Bedarf an Standardisierung (Namespaces, Rollen, Policies, Mandantenfähigkeit)

Voraussetzungen

• Kubernetes-Grundlagen (Pods, Deployments, Services, Ingress, ConfigMaps/Secrets)
• Airflow-Basiswissen; Betriebskenntnisse sind vorteilhaft

Inhalte

• Architekturvarianten auf Kubernetes:
  • Komponenten-Topologie, Zuständigkeiten, Ausfallszenarien
  • Executor-Optionen im Cluster und Auswahlkriterien
• Deployment mit Helm:
  • Values-Struktur, Umgebungsvariablen, Konfigurationslayer
  • Versionierung von Charts und Images, reproduzierbare Releases
• Security-Basics im Cluster:
  • RBAC im Clusterkontext, Service Accounts, Secret-Handling
  • Network Policies und Trennung von Umgebungen (Dev/Staging/Prod)
• Storage und Daten:
  • Persistenzkonzepte, Logs/Artefakte, Zugriffsmuster von Workern
  • Metadatenbank: Betriebskonzept, Backups, Migrationen
• Skalierung und Performance:
  • Ressourcenrequests/-limits, Autoscaling-Strategien als Konzept
  • Pools/Queues/Parallelität im Zusammenspiel mit Clusterressourcen
• Observability:
  • Log-Aggregation, Metriken, Alerting, SLO-Denke (Konzept)
  • Dashboard- und Troubleshooting-Workflows
• GitOps und Betrieb:
  • Konfigurationsmanagement, Review-Prozesse, sichere Rollouts
  • Upgrade-Strategien, Wartungsfenster, Rollback-Prinzipien

Praxisübungen

1. Schritt-für-Schritt Helm-Deployment: Basiswerte, Konfiguration, erste Inbetriebnahme
2. Secrets- und Config-Setup: sichere Übergabe von Verbindungsdaten und Variablen
3. Skalierungslab: Ressourcenprofile definieren und Engpässe identifizieren
4. Observability-Lab: Log- und Metrikpfad aufbauen, Alarmregeln ableiten
5. Upgrade-Drill: Release-Plan erstellen, Rollout testen, Rollback-Kriterien definieren

Anschluss

Für Governance- und Compliance-Fragen ergänzt das Security & Governance-Seminar die Kubernetes-Inhalte um Richtlinien, Auditability und organisatorische Controls.