Seminar Aiven for Apache Kafka – MirrorMaker 2 und Multi-Region

Das Seminar entwickelt Replikationsstrecken für Migration, Disaster Recovery und geografisch verteilte Kafka-Nutzung. Entscheidend sind nicht nur kopierte Nachrichten, sondern Offsetübersetzung, Namensregeln, Schleifenvermeidung und ein getesteter Umschaltprozess.

Inhaltsverzeichnis

1. Einordnung und Nutzen
2. Zielgruppe
3. Voraussetzungen
4. Lernziele
5. Seminarinhalte
6. Tag 1: Replikationsarchitektur und Aufbau
7. Tag 2: Konsistenz, Monitoring und Umschaltung
8. Praxisübungen

Einordnung und Nutzen

Aiven for Apache Kafka MirrorMaker 2 wird als Managed Service bereitgestellt und mit Aiven- sowie externen Kafka-Clustern verbunden. Replication Flows, Cluster Aliases, Topicfilter, interne Topics, Berechtigungen, Active-Passive, Active-Active, Exactly-once-Replikation, Monitoring und Failover-Übungen werden praktisch umgesetzt.

Zielgruppe

• Cloud- und Plattformadministration
• DevOps- und Site-Reliability-Engineering
• Technische Architektur und Betrieb
• Kafka- und Disaster-Recovery-Architektur
• Verantwortliche für Multi-Region-Datenplattformen

Voraussetzungen

• Grundkenntnisse zu Cloud-Diensten, Netzwerken und Datenbanken
• Sicherer Umgang mit Browser und Kommandozeile
• Für Übungen ein freigegebenes Aiven-Projekt oder eine vorbereitete Schulungsumgebung
• Gute Kafka-Grundkenntnisse einschließlich Topics, ACLs und Consumer Offsets

Lernziele

• MirrorMaker 2 als Aiven-Service bereitstellen und Cluster anbinden
• Replication Flows mit sicheren Filtern und eindeutigen Aliases definieren
• Active-Passive- und Active-Active-Muster sachgerecht auswählen
• ACLs, interne Topics, Offset- und Heartbeat-Daten berücksichtigen
• Replikationslag, Fehler und Offset-Synchronisation überwachen
• Failover, Rückkehr und Migration mit einem getesteten Runbook durchführen

Seminarinhalte

Jeder Arbeitsschritt wird praktisch umgesetzt, mit einem kurzen Funktionstest geprüft und als wiederholbarer Betriebsablauf dokumentiert.

Tag 1: Replikationsarchitektur und Aufbau

Der erste Tag erstellt eine funktionierende, abgesicherte Replikationsstrecke.

1. Schritt 1: Anwendungsfall und Topologie festlegen. Praktisches Arbeitsergebnis: Migration, Disaster Recovery, Datenlokalität und aktive Nutzung nach RPO, RTO, Schreibort und zulässigem Datenfluss unterschieden.
2. Schritt 2: MirrorMaker-2-Service bereitstellen. Praktisches Arbeitsergebnis: Cloud, Region, Plan und Service benannt, Quell- sowie Zielcluster integriert und unveränderliche Cluster Aliases bewusst gewählt.
3. Schritt 3: Replication Flow definieren. Praktisches Arbeitsergebnis: Richtung, Topic-Include- und Exclude-Regeln, Präfixverhalten und Konfigurationsübernahme festgelegt und mit Testtopics verifiziert.
4. Schritt 4: Berechtigungen und interne Topics absichern. Praktisches Arbeitsergebnis: READ-, WRITE-, CREATE- und DESCRIBE-Rechte für Nutz- und interne Topics minimal vergeben und mit Negativtests geprüft.
5. Schritt 5: Active-Passive und Active-Active vergleichen. Praktisches Arbeitsergebnis: einseitige DR-Replikation und bidirektionale Replikation hinsichtlich Topicnamen, Konflikten, Schleifen und Clientverantwortung bewertet.

Tag 2: Konsistenz, Monitoring und Umschaltung

Der zweite Tag macht die Replikation messbar und im Störungsfall handlungsfähig.

1. Schritt 1: Replikationsfortschritt überwachen. Praktisches Arbeitsergebnis: Connect-Status, Taskzustände, Heartbeats, Topicfortschritt und End-to-End-Lag in einem Diagnoseablauf zusammengeführt.
2. Schritt 2: Offsetübersetzung und Consumerwechsel prüfen. Praktisches Arbeitsergebnis: Checkpoint- und Offset-Synchronisation nachvollzogen und ein Testkonsument kontrolliert auf das Zielcluster umgestellt.
3. Schritt 3: Exactly-once-Replikation bewerten. Praktisches Arbeitsergebnis: transaktionale Replikation aktiviert beziehungsweise fachlich bewertet und mit Duplikat- sowie Vollständigkeitsprüfungen getestet.
4. Schritt 4: Failover und Rückkehr durchführen. Praktisches Arbeitsergebnis: Produzentenstopp, Kontrolle des Replikationsrückstands, DNS- beziehungsweise Konfigurationsumschaltung, Consumerstart und Nachprüfung in festgelegter Reihenfolge erprobt.
5. Schritt 5: Störungen und bekannte Grenzfälle bearbeiten. Praktisches Arbeitsergebnis: fehlende Topicreplikation, unzureichende ACLs, negative beziehungsweise unplausible Lagwerte und fehlerhafte Filter systematisch diagnostiziert.

Praxisübungen

• Aufbau einer Active-Passive-Replikation zwischen zwei Schulungsclustern
• Topicfilter mit bewusster Ein- und Ausschlussregel
• ACL-Negativtest für ein internes MirrorMaker-Topic
• Messung von Replikationslag und Offset-Synchronisation
• Dokumentierte Failover- und Failback-Übung mit Datenvollständigkeitskontrolle