Seminar RisingWave – Datenbereitstellung mit Sinks und Subscriptions

Ergebnisse einer Streaming-Pipeline müssen kontrolliert an Anwendungen, Broker, Datenbanken und Lakehouse-Systeme ausgeliefert werden. Die Schulung behandelt Sinks und Subscriptions als eigenständige Verträge mit Liefersemantik, Schema, Rückstau und Wiederanlauf.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Passende Ausgabemuster für Anwendungen und Zielsysteme auswählen
• Sinks mit belastbaren Schlüsseln, Schemas und Lieferzusagen konfigurieren
• Subscriptions für fortlaufende Änderungsabnahme einsetzen
• Rückstau, Fehler, Wiederholung und Datenabgleich Ende zu Ende beherrschen

Zielgruppe

Data Engineers, Integrationsentwicklung, Backend-Entwicklung, Analytics Engineering und Plattformbetrieb.

Voraussetzungen

Sichere SQL-Grundkenntnisse und Verständnis von Materialized Views, Schlüsseln und ereignisorientierter Verarbeitung.

Seminarinhalte

1. Schritt 1: Ausgabemuster auswählen

   Direkte Abfrage, Sink, Subscription und anwendungsseitiges Polling werden nach Latenz, Kopplung, Änderungsbedarf und Betriebsverantwortung unterschieden.

2. Schritt 2: Datenvertrag für das Ziel definieren

   Schlüssel, Spalten, Änderungssemantik, Nullwerte, Zeitangaben, Löschungen und Schemaentwicklung werden vor der technischen Umsetzung festgelegt.

3. Schritt 3: Kafka-Sink konfigurieren

   Topic, Schlüssel, Format, Connector-Eigenschaften und gewünschte Änderungsdarstellung werden aus einer Materialized View abgeleitet.

4. Schritt 4: Datenbank-Sinks einrichten

   Zieltabellen, Primärschlüssel, Upserts, Transaktionen, Batch-Größe und Konfliktverhalten werden für relationale Systeme abgestimmt.

5. Schritt 5: Iceberg-Ausgabe einordnen

   Tabellenformat, Katalog, Speicher, Commit-Verhalten, Partitionierung und spätere analytische Nutzung werden als Lakehouse-Ziel betrachtet.

6. Schritt 6: Liefersemantik bewerten

   At-least-once, mögliche Duplikate, Idempotenz und genau definierte Wiederholungsregeln werden zwischen Quelle, RisingWave und Zielsystem geprüft.

7. Schritt 7: Subscriptions anlegen

   Fortlaufende Änderungen werden ab einem definierten Startpunkt abgenommen, bestätigt und in einem Consumer reproduzierbar verarbeitet.

8. Schritt 8: Anwendungsconsumer entwerfen

   Offsetverwaltung, Wiederanlauf, Parallelität, Fehlerisolierung und fachliche Idempotenz werden für einen robusten Subscription-Consumer umgesetzt.

9. Schritt 9: Rückstau und Zielausfälle behandeln

   Sink-Latenz, fehlende Zielverbindung, begrenzte Zielkapazität und anwachsende Warteschlangen werden überwacht und nach Runbook bearbeitet.

10. Schritt 10: Auslieferung abstimmen

    Quellmenge, Materialized-View-Stand, Sink-Fortschritt, Zielzeilen und fachliche Kontrollsummen werden zu einer Abnahmekette verbunden.

Praxisübungen

• Eine Materialized View über einen Kafka-Sink ausgeben
• Eine relationale Zieltabelle mit Upsert-Schlüssel und Fehlerprüfung anbinden
• Eine Subscription mit Wiederanlaufposition konsumieren
• Einen Zielausfall simulieren und Rückstau sowie Datenabgleich prüfen

Methodik

Die Übungen beginnen mit einem expliziten Datenvertrag und enden mit einer kontrollierten Störung. Technische Lieferzustände werden stets durch fachliche Prüfsummen ergänzt. Die gewählte Seminardauer beträgt 2 Tage. Zwei Tage sind notwendig, weil mehrere Zieltypen, Subscription-Consumer, Liefersemantik, Zielausfall und Ende-zu-Ende-Abstimmung praktisch bearbeitet werden müssen.