Seminar Debezium – Debezium Engine und Embedded Integration

Das Seminar behandelt Debezium Engine als eingebettete CDC-Laufzeit für eigene Java-Anwendungen. Statt eines vollständigen Kafka-Connect-Clusters wird ein kontrollierter Application-Lifecycle aufgebaut, der Connector-Konfiguration, Offset- und Schemahistorie, Ereignisverarbeitung, Backpressure, Fehlerbehandlung und geordnetes Herunterfahren umfasst.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Einsatzgrenzen von Debezium Engine gegenüber Kafka Connect und Debezium Server bewerten.
• Eine asynchrone Engine-Instanz sicher initialisieren und beenden.
• Offset- und Schemahistorie dauerhaft und wiederanlauffähig speichern.
• Ereignisse mit kontrollierter Parallelität, Backpressure und Fehlerbehandlung verarbeiten.
• Eine eingebettete CDC-Anwendung testen, beobachten und paketieren.

Schrittweise Seminarinhalte

1. Architektur und Einsatzentscheidung

Schwerpunkt: Embedded Library, Prozessgrenze, Connector, Event Consumer, eigener Sink, Skalierung, Fehlertoleranz und Betriebsverantwortung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Architektur und Einsatzentscheidung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Embedded Library, Prozessgrenze, Connector, Event Consumer, eigener Sink, Skalierung, Fehlertoleranz und Betriebsverantwortung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine belastbare Entscheidung zwischen Engine, Server und Kafka Connect dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Engine-Lifecycle und Basiskonfiguration

Schwerpunkt: Builder, Connector-Eigenschaften, Executor, Callback, Start, Stop, Shutdown Hook und Ressourcenfreigabe.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Engine-Lifecycle und Basiskonfiguration“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Builder, Connector-Eigenschaften, Executor, Callback, Start, Stop, Shutdown Hook und Ressourcenfreigabe modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine reproduzierbar startende und sauber stoppende Engine-Anwendung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Offset- und Schemahistorien-Speicher

Schwerpunkt: File, JDBC, Kafka, Redis, Persistenz, Transaktion, Backup, Wiederanlauf und Konsistenz.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Offset- und Schemahistorien-Speicher“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von File, JDBC, Kafka, Redis, Persistenz, Transaktion, Backup, Wiederanlauf und Konsistenz modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein dauerhaftes Store-Konzept mit getesteter Neustartkontinuität dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Asynchrone Verarbeitung und Backpressure

Schwerpunkt: Batch, Record Committer, Threading, Reihenfolge, Queue, Durchsatz, langsamer Sink und kontrollierte Drosselung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Asynchrone Verarbeitung und Backpressure“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Batch, Record Committer, Threading, Reihenfolge, Queue, Durchsatz, langsamer Sink und kontrollierte Drosselung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen verlustfreien Verarbeitungsfluss mit definiertem Rückstauverhalten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Eventformat, Transformation und Serialisierung

Schwerpunkt: ChangeEvent, Key, Value, Header, SMT, Filter, JSON, Avro, Protobuf und benutzerdefinierte Abbildung.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Eventformat, Transformation und Serialisierung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von ChangeEvent, Key, Value, Header, SMT, Filter, JSON, Avro, Protobuf und benutzerdefinierte Abbildung modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein stabiler interner Ereignisvertrag für die Zielanwendung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Fehlerbehandlung und Wiederanlauf

Schwerpunkt: Connectorfehler, Consumerfehler, Retry, Dead Letter, Teilverarbeitung, Shutdown, Offset Commit und Duplikate.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Fehlerbehandlung und Wiederanlauf“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Connectorfehler, Consumerfehler, Retry, Dead Letter, Teilverarbeitung, Shutdown, Offset Commit und Duplikate modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten Fehler- und Wiederanlaufpfad dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Packaging, Tests und Observability

Schwerpunkt: Quarkus oder Java Runtime, Konfiguration, Secrets, Container, Health, Metriken, Logging, Integrationstest und Deployment.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Packaging, Tests und Observability“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Quarkus oder Java Runtime, Konfiguration, Secrets, Container, Health, Metriken, Logging, Integrationstest und Deployment modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine produktionsnahe eingebettete CDC-Anwendung mit Abnahmetests dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Implementierung einer Engine-Anwendung mit kontrolliertem Start und Shutdown.
• Wechsel von dateibasiertem zu persistentem Offset- und Schemahistorien-Speicher.
• Simulation eines langsamen Sinks mit Backpressure, Retry und Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: Java- und Quarkus-Entwicklung, Integrationsentwicklung, Plattformengineering, Softwarearchitektur und DevOps.

Voraussetzungen: Gute Java-Kenntnisse, Grundlagen in Datenbanken und ereignisbasierter Verarbeitung; Debezium-Grundlagen sind empfohlen.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.