Seminar Aiven for Apache Kafka – Inkless Kafka, Tiered Storage und Kapazitätsplanung

Das Seminar behandelt die Speicher- und Skalierungsentscheidungen moderner Aiven-Kafka-Umgebungen. Ziel ist eine belastbare Auswahl zwischen Classic, Inkless, klassischen Topics, diskless Topics und Tiered Storage.

Inhaltsverzeichnis

1. Einordnung und Nutzen
2. Zielgruppe
3. Voraussetzungen
4. Lernziele
5. Seminarinhalte
6. Tag 1: Speicherarchitekturen und Topicentscheidung
7. Tag 2: Dimensionierung, Tests und Migrationsplanung
8. Praxisübungen

Einordnung und Nutzen

Inkless Kafka mit objektbasiertem Speicherpfad wird Classic Kafka gegenübergestellt. Durchsatzbasierte Dimensionierung, Topictypen, unveränderliche Topictypwahl, Aufbewahrung, Latenz, Rack Awareness, Skalierung, Kosten- und Nutzungsmetriken sowie Migrationsentscheidungen werden anhand mehrerer Lastprofile bearbeitet.

Zielgruppe

• Cloud- und Plattformadministration
• DevOps- und Site-Reliability-Engineering
• Technische Architektur und Betrieb
• Kafka-Plattformarchitektur
• FinOps und Kapazitätsmanagement für Streaming-Plattformen

Voraussetzungen

• Grundkenntnisse zu Cloud-Diensten, Netzwerken und Datenbanken
• Sicherer Umgang mit Browser und Kommandozeile
• Für Übungen ein freigegebenes Aiven-Projekt oder eine vorbereitete Schulungsumgebung
• Praktische Kafka-Grundkenntnisse
• Grundkenntnisse zu Objektspeicher, Durchsatz und Latenz

Lernziele

• Classic- und Inkless-Services anhand technischer und wirtschaftlicher Kriterien auswählen
• Klassische und diskless Topics passend zum Zugriffsmuster einsetzen
• Tiered Storage und objektbasierten Speicherpfad korrekt einordnen
• Durchsatz, Retention, Partitionen und Clientverhalten gemeinsam dimensionieren
• Skalierungs- und Migrationsentscheidungen mit messbaren Prüfkriterien absichern

Seminarinhalte

Jeder Arbeitsschritt wird praktisch umgesetzt, mit einem kurzen Funktionstest geprüft und als wiederholbarer Betriebsablauf dokumentiert.

Tag 1: Speicherarchitekturen und Topicentscheidung

Der erste Tag trennt Marketingbegriffe von den tatsächlichen Datenpfaden und Betriebsfolgen.

1. Schritt 1: Classic und Inkless gegenüberstellen. Praktisches Arbeitsergebnis: lokaler Brokerspeicher, managed remote storage, Objektzugriff, planbasierte und durchsatzbasierte Dimensionierung in einer Entscheidungsmatrix verglichen.
2. Schritt 2: Topictypen im Inkless-Service verstehen. Praktisches Arbeitsergebnis: klassische und diskless Topics im gemeinsamen KRaft-Metadatenmodell eingeordnet und ihre unterschiedlichen Speicher- sowie Zugriffspfade nachverfolgt.
3. Schritt 3: Topictyp anhand des Workloads wählen. Praktisches Arbeitsergebnis: Hot-Data-Latenz, langfristige Retention, Wiederlesen, Durchsatz, Nachrichtengröße und Kosten für mehrere Beispielworkloads bewertet.
4. Schritt 4: Unveränderliche Entscheidungen absichern. Praktisches Arbeitsergebnis: berücksichtigt, dass der Topictyp nach der Erstellung nicht geändert werden kann, und deshalb ein Vorabtest mit Abnahmekriterien entworfen.
5. Schritt 5: Tiered Storage fachlich abgrenzen. Praktisches Arbeitsergebnis: Classic-Tiered-Storage und Inkless-Speicherpfade hinsichtlich Aktivierung, lokaler Datenhaltung, Retention und Betriebsüberwachung sauber unterschieden.

Tag 2: Dimensionierung, Tests und Migrationsplanung

Der zweite Tag übersetzt die Architektur in Zahlen, Tests und einen kontrollierten Umstieg.

1. Schritt 1: Lastprofil quantifizieren. Praktisches Arbeitsergebnis: Spitzen- und Durchschnittsdurchsatz, Nachrichtenrate, Nachrichtengröße, Partitionen, Produzentenbestätigung, Konsumentenparallelität und Wiederlesevolumen erfasst.
2. Schritt 2: Kapazität und Aufbewahrung berechnen. Praktisches Arbeitsergebnis: Datenvolumen aus Rate und Retention abgeleitet, Sicherheitsreserven dokumentiert und technische Grenzen gegen Kostenwirkung abgewogen.
3. Schritt 3: Performance-Test entwerfen. Praktisches Arbeitsergebnis: Produzenten-, Konsumenten- und Wiederleseszenarien mit Warm-up, Messfenster, Latenzperzentilen, Fehlerquote und Vergleichbarkeit festgelegt.
4. Schritt 4: Zonennähe und Clientpfad optimieren. Praktisches Arbeitsergebnis: Preferred Zones beziehungsweise Rack Awareness, Netzwerkdistanz und Clientverteilung geprüft und auf Latenz sowie zonenübergreifenden Verkehr bezogen.
5. Schritt 5: Migration und Rückfall planen. Praktisches Arbeitsergebnis: Topicneuanlage, Datenreplikation, Clientumschaltung, Offsetbehandlung, Parallelbetrieb und Abbruchkriterien in einen phasenweisen Migrationsplan überführt.

Praxisübungen

• Entscheidungsmatrix für drei reale Kafka-Workloads
• Berechnung von Durchsatz-, Retention- und Wiederleseanforderungen
• Anlage und Vergleich eines klassischen und eines diskless Topics in einer vorbereiteten Umgebung
• Entwurf eines reproduzierbaren Performance- und Kostentests
• Migrationsplan von einem bestehenden Topic auf eine neue Speicherarchitektur