Seminar Apache Flink CDC, Connectoren und Datenintegration

Dieses Seminar konzentriert sich auf die Praxis der Datenanbindung mit Apache Flink. Im Mittelpunkt stehen kontinuierliche Datenflüsse zwischen Datenbanken, Event-Plattformen, Dateisystemen und Zielsystemen, ohne den üblichen ETL-Wasserkopf aus Batch-Jobs, Zwischenablagen und nächtlichen Sonderfahrten.

Zielsetzung

Vermittelt wird, wie robuste Quell- und Zielanbindungen geplant, umgesetzt und betrieben werden. Dazu gehören Konsistenz, Schemaänderungen, Fehlertoleranz, Wiederanlauf, Datenqualität und die saubere Trennung zwischen Transport, Transformation und fachlicher Logik.

Zielgruppe

Gedacht ist das Seminar für Teams, die Flink als Integrations- und Streaming-ETL-Plattform einsetzen oder bestehende Datenflüsse von Batch auf kontinuierliche Verarbeitung umstellen wollen.

Schwerpunkte

• Überblick über Connector-Konzepte in Apache Flink und Auswahl geeigneter Anbindungsstrategien
• Arbeiten mit Nachrichten- und Datensystemen wie Kafka, JDBC-basierten Quellen und Senken sowie dateibasierten Zuflüssen
• Einführung in Change Data Capture mit Apache Flink CDC und typische Muster für kontinuierliche Replikation
• Umgang mit Schemaentwicklung, Datenformaten, Changelog-Strömen und idempotenten Zielsystemen
• End-to-End-Betrachtung von Genauigkeit, Fehlertoleranz, Wiederanlauf und Nebenwirkungen externer Systeme
• Aufbau nachvollziehbarer Streaming-ETL-Strecken mit fachlicher Transformation, Validierung und Materialisierung

Praxisanteil

Anhand mehrerer Laborübungen werden Quell- und Zielsysteme angebunden, CDC-Strecken entworfen und Fehlerbilder gezielt provoziert. Der Schwerpunkt liegt auf einem realistischen Ende-zu-Ende-Aufbau statt auf Folienakrobatik.