Seminar Stackable Intensivseminar – Datenintegration, Streaming und Orchestrierung

Inhaltsübersicht

• Einordnung und Einsatzszenarien
• Lernziele
• Zielgruppe und Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Arbeitsweise und Dokumentation

Einordnung und Einsatzszenarien

Bündelt die Seminare zu Datenaufnahme, Ereignisverarbeitung, Workflow-Steuerung und Echtzeitanalyse in einem durchgängigen Praxisprojekt.

Im Mittelpunkt steht integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper. Die Übungen orientieren sich an einem realistischen Kubernetes-Cluster und berücksichtigen Konfiguration, Sicherheit, Beobachtbarkeit und wiederholbare Betriebsabläufe. Produktfunktionen werden nicht isoliert betrachtet, sondern in ihre Abhängigkeiten innerhalb einer modularen Datenplattform eingeordnet.

Lernziele

• die Architektur und den Lebenszyklus von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper fachlich einordnen
• benötigte Operatoren, Custom Resources, Konfigurationen und Abhängigkeiten nachvollziehbar auswählen
• Bereitstellung und Änderungen schrittweise durchführen und anhand technischer Zustände verifizieren
• Identitäten, Verbindungen, Secrets und Berechtigungen entsprechend dem jeweiligen Schutzbedarf gestalten
• Metriken, Logs, Events und Statusinformationen für den laufenden Betrieb auswerten
• Störungen mit einem reproduzierbaren Diagnoseverfahren eingrenzen und dokumentieren

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineers, Streaming Engineers, Plattformadministration, DevOps und technische Lösungsarchitektur.

Voraussetzungen: Grundkenntnisse in Kubernetes, Linux, Containern, YAML und verteilten Datensystemen; praktische Erfahrung mit einer Kommandozeile ist hilfreich.

Seminarinhalte

Architektur, Verantwortlichkeiten und Einsatzgrenzen

1. Schritt 1: Geschäftliche und technische Anforderungen für integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper erfassen und priorisieren.
2. Schritt 2: Beteiligte Plattformkomponenten, Datenpfade, Schnittstellen und Fehlerdomänen in einem Architekturmodell abgrenzen.
3. Schritt 3: Operatoren, Rollen, Custom Resources und gemeinsame Dienste den vorgesehenen Verantwortlichkeiten zuordnen.
4. Schritt 4: Akzeptanzkriterien für Bereitstellung, Sicherheit, Leistung und Betriebsfähigkeit festlegen.

Plattformgrundlagen, Operatoren und Discovery

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Plattformgrundlagen, Operatoren und Discovery“ im Kontext von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Plattformgrundlagen, Operatoren und Discovery“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

NiFi-Datenflüsse und belastbare Fehlerpfade

1. Schritt 1: Anforderungen und erwartetes Verhalten für „NiFi-Datenflüsse und belastbare Fehlerpfade“ im Kontext von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „NiFi-Datenflüsse und belastbare Fehlerpfade“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Kafka-Topics, Produzenten, Konsumenten und Sicherheit

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Kafka-Topics, Produzenten, Konsumenten und Sicherheit“ im Kontext von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Kafka-Topics, Produzenten, Konsumenten und Sicherheit“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Airflow-DAGs und zeit- oder ereignisgesteuerte Verarbeitung

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Airflow-DAGs und zeit- oder ereignisgesteuerte Verarbeitung“ im Kontext von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Airflow-DAGs und zeit- oder ereignisgesteuerte Verarbeitung“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Druid-Ingestion und Echtzeitanalyse

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Druid-Ingestion und Echtzeitanalyse“ im Kontext von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Druid-Ingestion und Echtzeitanalyse“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Superset-Dashboards, Monitoring und Betriebsübergabe

1. Schritt 1: Anforderungen und erwartetes Verhalten für „Superset-Dashboards, Monitoring und Betriebsübergabe“ im Kontext von integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper bestimmen.
2. Schritt 2: Benötigte Kubernetes-Ressourcen, Konfigurationswerte, Abhängigkeiten und Sicherheitsvorgaben für „Superset-Dashboards, Monitoring und Betriebsübergabe“ festlegen.
3. Schritt 3: Konfiguration kontrolliert anwenden, Status und technische Wirkung mit geeigneten Prüfungen verifizieren.
4. Schritt 4: Abweichungen analysieren, Betriebsgrenzen dokumentieren und einen reproduzierbaren Prüf- oder Wiederholungsablauf erstellen.

Betriebsprüfung und systematische Fehleranalyse

1. Schritt 1: Sollzustand, Istzustand und letzte Änderungen anhand von Custom Resources, Conditions und Kubernetes-Events vergleichen.
2. Schritt 2: Produkt-, Operator- und Plattformlogs zeitlich korrelieren und die wahrscheinlichste Fehlerdomäne bestimmen.
3. Schritt 3: Metriken und Kapazitätsdaten gegen definierte Schwellenwerte prüfen und geeignete Korrekturmaßnahmen ableiten.
4. Schritt 4: Fehlerbehebung kontrolliert durchführen, Funktionsprüfung wiederholen und Erkenntnisse in einem Runbook festhalten.

Praxisübungen

• eine lauffähige Beispielkonfiguration für integrierte Datenflüsse mit NiFi, Kafka, Airflow, Druid, Superset und ZooKeeper erstellen und prüfen
• Konfigurationsänderungen versioniert vorbereiten, einspielen und zurücknehmen
• einen Sicherheits- oder Zugriffsfall mit überprüfbaren Identitäten und Berechtigungen umsetzen
• eine absichtlich eingebrachte Störung mit Logs, Metriken, Events und Statusfeldern eingrenzen
• eine kompakte Betriebscheckliste mit Prüfkommandos, Sollwerten und Eskalationskriterien erstellen

Arbeitsweise und Dokumentation

Kurze fachliche Einführungen wechseln mit Demonstrationen und geführten Übungen. Jeder Arbeitsschritt wird zunächst begründet, anschließend umgesetzt, technisch verifiziert und in einer wiederverwendbaren Checkliste dokumentiert. Konfigurationen werden so aufgebaut, dass Varianten für Entwicklung, Test und Produktion nachvollziehbar abgeleitet werden können.