Seminar RisingWave – Datenaufnahme mit Kafka und Message Queues

Nachrichtenplattformen liefern hohe Datenraten, unterschiedliche Formate und wechselnde Qualitätsniveaus. Die Schulung entwickelt daraus eine kontrollierte Aufnahme in RisingWave mit eindeutigen Schemas, nachvollziehbaren Startpositionen und belastbarer Fehlerbehandlung.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Kafka- und weitere Message-Queue-Quellen passend zum Datenvertrag konfigurieren
• Formate, Schlüssel, Zeitangaben und Schemaentwicklung sicher verarbeiten
• Partitionierung, Startposition und Durchsatz gezielt steuern
• Fehlerhafte Nachrichten erkennen, eingrenzen und betrieblich behandeln

Zielgruppe

Data Engineers, Integrationsentwicklung, Plattformteams, Streaming-Architektur und technische Anwendungsbetreuung.

Voraussetzungen

Grundkenntnisse von SQL und ereignisorientierter Datenverarbeitung. Praktische Kafka-Erfahrung ist hilfreich, aber nicht zwingend.

Seminarinhalte

1. Schritt 1: Datenvertrag und Ereignismodell prüfen

   Schlüssel, Nutzlast, Zeitstempel, Änderungsart, Pflichtfelder und Qualitätsregeln werden vor der technischen Anbindung eindeutig festgelegt.

2. Schritt 2: Kafka-Verbindung konfigurieren

   Broker, Topic, Authentifizierung, Verschlüsselung, Consumer-Eigenschaften und Netzwerkpfade werden als wiederverwendbare Verbindung eingerichtet.

3. Schritt 3: Quelle und Startposition anlegen

   Topic, Partitionen, Offset-Strategie, Consumer-Verhalten und Wiederanlaufpunkt werden passend zum fachlichen Szenario definiert.

4. Schritt 4: JSON, Avro und Protobuf verarbeiten

   Explizite Schemas, optionale Felder, verschachtelte Strukturen, Schema Registry und Typabbildungen werden verglichen und praktisch eingesetzt.

5. Schritt 5: Schlüssel und Änderungssemantik modellieren

   Append-only-Ereignisse, Upserts, Tombstones und Änderungsprotokolle werden in geeignete Tabellen- und Materialized-View-Modelle überführt.

6. Schritt 6: Ereigniszeit und Metadaten nutzen

   Payload-Zeit, Broker-Zeit, Partition, Offset und Header werden für Nachvollziehbarkeit, Zeitfenster und Fehleranalyse verfügbar gemacht.

7. Schritt 7: Weitere Queue-Systeme einordnen

   Pulsar, Kinesis, Pub/Sub, NATS und MQTT werden anhand von Bereitstellungsmodell, Zustellung, Partitionierung und Connector-Konfiguration verglichen.

8. Schritt 8: Fehlerhafte Nachrichten behandeln

   Parsingfehler, fehlende Felder, unbekannte Typen und inkompatible Schemata werden erkannt, isoliert und mit einem definierten Korrekturweg versehen.

9. Schritt 9: Durchsatz und Rückstau kontrollieren

   Partitionen, Parallelität, Nachrichtengröße, Quelleingangsrate und nachgelagerte Verarbeitung werden gemeinsam gemessen und abgestimmt.

10. Schritt 10: Ende-zu-Ende-Aufnahme validieren

    Eingangsmenge, Offsets, Schlüsselverteilung, Zeitstempel und fachliche Summen werden zwischen Broker und Materialized View abgeglichen.

Praxisübungen

• Eine Kafka-Quelle mit JSON-Nutzlast und Ereigniszeit einrichten
• Eine Avro- oder Protobuf-Quelle mit zentral verwaltetem Schema anbinden
• Upsert- und Tombstone-Ereignisse in ein konsistentes Zielmodell überführen
• Eine absichtlich fehlerhafte Nachricht diagnostizieren und den Wiederanlauf prüfen

Methodik

Ein durchgängiger Datenstrom wird schrittweise von der Nachricht bis zur validierten Materialized View aufgebaut. Jede Konfigurationsentscheidung wird mit Messwerten und Kontrollabfragen überprüft. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage sind erforderlich, um mehrere Nachrichtenformate, Schlüssel- und Änderungsmodelle, Fehlerfälle sowie eine belastbare Durchsatz- und Offsetkontrolle praktisch zu bearbeiten.