Seminar Debezium – Performance, Skalierung und Exactly-once-Verarbeitung

Das Seminar behandelt Leistungsfähigkeit und Liefersemantik als messbares Ende-zu-Ende-System. Quelllog, Connector, Kafka Connect, Producer, Topic, Consumer und Zielsystem werden gemeinsam dimensioniert. Exactly-once wird gegenüber At-least-once eingeordnet und nur dort eingesetzt, wo technische Voraussetzungen und Betriebsfolgen beherrscht werden.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Workload, Latenz, Durchsatz und Rückstau anhand belastbarer Messgrößen beschreiben.
• Connector-Queue, Batches, Snapshotparameter und Quellretention abstimmen.
• Kafka-Connect-, Producer- und Topic-Konfiguration leistungsorientiert auslegen.
• Exactly-once-Voraussetzungen und Grenzen korrekt bewerten.
• Last-, Soak-, Failover- und Kapazitätstests durchführen und auswerten.

Schrittweise Seminarinhalte

1. Workload-Modell und Baseline

Schwerpunkt: Änderungsrate, Datensatzgröße, Tabellenzahl, Transaktion, Burst, Latenzziel, Durchsatz, Lag und Fehlerbudget.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Workload-Modell und Baseline“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Änderungsrate, Datensatzgröße, Tabellenzahl, Transaktion, Burst, Latenzziel, Durchsatz, Lag und Fehlerbudget modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein messbares Leistungs- und Kapazitätsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Quellsystem, Logretention und Capture-Kosten

Schwerpunkt: Binlog, WAL, Redo, CDC Tables, Oplog, Logfenster, I/O, CPU, Locking, Netzwerk und Snapshotlast.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Quellsystem, Logretention und Capture-Kosten“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Binlog, WAL, Redo, CDC Tables, Oplog, Logfenster, I/O, CPU, Locking, Netzwerk und Snapshotlast modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine abgestimmte Quell- und Retention-Baseline dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Connector-Queue, Batch und Polling

Schwerpunkt: Max Queue, Max Batch, Poll Interval, Fetch Size, Heartbeat, Snapshot Chunk, Memory und Backpressure.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Connector-Queue, Batch und Polling“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Max Queue, Max Batch, Poll Interval, Fetch Size, Heartbeat, Snapshot Chunk, Memory und Backpressure modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine gemessene Connector-Tuningkonfiguration dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Kafka Connect und Producer Tuning

Schwerpunkt: Worker, Tasks, Heap, GC, Producer Batch, Compression, Acks, In-flight, Transactions und interne Topics.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Kafka Connect und Producer Tuning“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Worker, Tasks, Heap, GC, Producer Batch, Compression, Acks, In-flight, Transactions und interne Topics modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine belastbare Worker- und Producer-Auslegung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Topics, Partitionierung und Consumer-Skalierung

Schwerpunkt: Topicanzahl, Partition Key, Reihenfolge, Partitionen, Replikation, Retention, Kompaktierung und Consumergruppen.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Topics, Partitionierung und Consumer-Skalierung“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Topicanzahl, Partition Key, Reihenfolge, Partitionen, Replikation, Retention, Kompaktierung und Consumergruppen modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein skalierbares Topic- und Parallelitätsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Snapshots und große Transaktionen

Schwerpunkt: Initial- und inkrementeller Snapshot, Chunking, Parallelität, lange Transaktion, Queue-Blockade, Timeout und Betriebsfenster.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Snapshots und große Transaktionen“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Initial- und inkrementeller Snapshot, Chunking, Parallelität, lange Transaktion, Queue-Blockade, Timeout und Betriebsfenster modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine kontrollierte Strategie für Lastspitzen und Backfills dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Exactly-once und Delivery-Semantik

Schwerpunkt: At-least-once, Duplikate, Kafka Transactions, Kafka-Connect-Transaktionsunterstützung, Worker- und Connectorvoraussetzungen, Grenzen und Consumerfolgen.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Exactly-once und Delivery-Semantik“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von At-least-once, Duplikate, Kafka Transactions, Kafka-Connect-Transaktionsunterstützung, Worker- und Connectorvoraussetzungen, Grenzen und Consumerfolgen modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine begründete Semantikentscheidung mit Prüfplan dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

8. Lasttest, Failover und Kapazitätsfreigabe

Schwerpunkt: Load Test, Soak Test, Burst, Connectorrestart, Workerfailover, Lagkurve, Ressourcen, Sättigung und Abnahmeschwelle.

1. Ausgangslage, Voraussetzungen und Zielkriterien für den Themenblock „Lasttest, Failover und Kapazitätsfreigabe“ erfassen und fachlich abgrenzen.
2. Relevante Komponenten, Datenobjekte, Rollen und Abhängigkeiten anhand von Load Test, Soak Test, Burst, Connectorrestart, Workerfailover, Lagkurve, Ressourcen, Sättigung und Abnahmeschwelle modellieren und priorisieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem schrittweise umsetzen und jede Änderung nachvollziehbar protokollieren.
4. Funktion, Reihenfolge, Berechtigungen, Protokollierung, Wiederanlauf und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen wiederholbaren Performance- und Freigabebericht dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Aufbau eines Workload-Modells und Festlegung von SLOs für eine CDC-Pipeline.
• Messung und Anpassung von Queue-, Batch- und Producerparametern.
• Vergleich von At-least-once und Exactly-once unter Restart- und Failoverbedingungen.

Zielgruppe und Voraussetzungen

Zielgruppe: Performance Engineering, Kafka- und Plattformbetrieb, Datenbankadministration, SRE, Data Engineering und Architektur.

Voraussetzungen: Praktische Debezium- und Kafka-Connect-Erfahrung sowie Grundkenntnisse in Performanceanalyse und Datenbanklogs.

Didaktik und Arbeitsweise

Fachimpulse werden unmittelbar durch Demonstrationen, nachvollziehbare Konfigurationsschritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangswerten, Prüfpunkten und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als wiederholbarer technischer Standard eingesetzt werden können.