Seminar Apache NiFi – Change Data Capture und Datenbankintegration

Datenbankintegration wird als zustandsbehafteter Prozess mit eindeutiger Fortschrittskontrolle behandelt. Neben Extraktion und Laden stehen Wiederholbarkeit und fachliche Vollständigkeit im Vordergrund.

Inhaltsübersicht

• Einordnung und Zielsetzung
• Zielgruppe und Voraussetzungen
• Lernziele
• JDBC und Connection Pooling
• Voll- und Deltaextraktion
• CDC-Architektur
• Records und Schema
• Schreiben und Idempotenz
• Fehler und Reconciliation
• Leistung und Betriebsübergabe
• Praxisübungen
• Anwendungsszenarien

Einordnung und Zielsetzung

Drei Tage sind notwendig, weil Verbindung, inkrementelle Extraktion, CDC-Muster, Record-Verarbeitung und transaktionale Fehlerfälle in mehreren Datenbankzyklen getestet werden.

Zielgruppe

Data Engineering, Datenintegration, Datenbankadministration, ETL-Entwicklung und technische Architektur.

Voraussetzungen

NiFi-Grundkenntnisse, SQL-Grundlagen sowie Verständnis relationaler Schlüssel und Transaktionen.

Lernziele

• JDBC-Pools sicher konfigurieren.
• Voll-, Delta- und CDC-Muster unterscheiden.
• Inkrementelle Abfragen mit State aufbauen.
• Records schemaorientiert transformieren.
• Idempotenz und Transaktionsgrenzen planen.
• Quelle und Ziel technisch abstimmen.

Seminarinhalte

1. JDBC und Connection Pooling

Treiber, Pooling und Geheimnisse werden als wiederverwendbare Dienste bereitgestellt.

1. Schritt 1: JDBC-Treiber und Zielversion prüfen.
2. Schritt 2: Connection Pool mit minimalen Rechten anlegen.
3. Schritt 3: Zugangsdaten als sensitive Parameter einbinden.
4. Schritt 4: Timeout und Transaktionsverhalten testen.
5. Schritt 5: DNS-, Port-, Treiber- und Loginfehler unterscheiden.

2. Voll- und Deltaextraktion

Das Extraktionsmuster folgt Datenmenge, Änderungsrate und verfügbaren Schlüsseln.

1. Schritt 1: Quelltabelle auf Schlüssel und Änderungszeit untersuchen.
2. Schritt 2: Vollabzug als Baseline erstellen.
3. Schritt 3: Deltaabfrage mit Maximalwert oder Zeitfenster konfigurieren.
4. Schritt 4: Persistierten Prozessorzustand kontrollieren.
5. Schritt 5: Neustart und Rücksetzung testen.

3. CDC-Architektur

Polling, Log-basierte Ereignisse und brokervermittelte CDC werden vergleichbar gemacht.

1. Schritt 1: Latenz-, Reihenfolge- und Löschanforderungen erfassen.
2. Schritt 2: Geeignetes CDC-Muster auswählen.
3. Schritt 3: Operationstyp, Schlüssel und Quellposition modellieren.
4. Schritt 4: Lücken- und Duplikatprüfung vorsehen.
5. Schritt 5: Wiederanlauf ab bestätigter Position simulieren.

4. Records und Schema

Record-Verarbeitung erhält Datentypen und reduziert unnötiges Splitten.

1. Schritt 1: Reader für Datenbankergebnisse konfigurieren.
2. Schritt 2: Zielschema mit Pflichtfeldern definieren.
3. Schritt 3: Felder umbenennen und typisieren.
4. Schritt 4: Ungültige Records getrennt routen.
5. Schritt 5: Writer und Batchgröße auf das Ziel abstimmen.

5. Schreiben und Idempotenz

Schlüssel, Upsert und Bestätigungszeitpunkt sichern wiederholbare Zielwirkungen.

1. Schritt 1: Insert, Update, Upsert und Delete unterscheiden.
2. Schritt 2: Idempotenzschlüssel festlegen.
3. Schritt 3: Batch- und Transaktionsgrenzen konfigurieren.
4. Schritt 4: Teilfehler und Rollback testen.
5. Schritt 5: Wiederholten Batch auf doppelte Wirkung prüfen.

6. Fehler und Reconciliation

Technische Zustellung und fachliche Vollständigkeit werden getrennt überwacht.

1. Schritt 1: Verbindungs-, Syntax-, Daten- und Constraint-Fehler klassifizieren.
2. Schritt 2: Retry mit Grenze und Wartezeit konfigurieren.
3. Schritt 3: Quarantäne mit Originaldaten aufbauen.
4. Schritt 4: Zählwerte und Schlüsselbereiche vergleichen.
5. Schritt 5: Korrekturlauf und Wiederanlauf dokumentieren.

7. Leistung und Betriebsübergabe

Fetch Size, Fenster, Batch und Parallelität werden anhand messbarer Werte abgestimmt.

1. Schritt 1: Baseline für Rate und Datenbanklast erfassen.
2. Schritt 2: Abfrageplan und Indexnutzung prüfen.
3. Schritt 3: Fetch Size und Batchgröße variieren.
4. Schritt 4: Back Pressure für Zielausfälle setzen.
5. Schritt 5: Betriebskennzahlen und Runbook erstellen.

Praxisübungen

1. Inkrementellen Tabellenabzug mit State aufbauen.
2. CDC-Ereignisse normalisieren.
3. Upsert und Wiederholung testen.
4. Fehlerhafte Records quarantänisieren.
5. Quell- und Zielbestand abstimmen.

Anwendungsszenarien

• Data-Warehouse-Ladung
• Synchronisation von Stamm- und Bewegungsdaten
• CDC-Zuführung in Kafka
• Modernisierung klassischer ETL-Strecken