Seminar Airbyte – Intensivseminar Datenintegration und ELT

Quellen, Ziele, Sync Modes, CDC, Dateien, Data Lakes, Schemaqualität, Typisierung, dbt-Transformationen und Data Activation werden zu einer vollständigen ELT-Lösung verbunden.

Die Schulung verbindet fachliche Einordnung, nachvollziehbare Konfiguration, systematische Prüfung und praktische Übungen an einer durchgängigen Arbeitsumgebung.

Inhaltsübersicht

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Datenintegrationsanforderungen in geeignete Airbyte-Pipelines übersetzen
• Kataloge, Streams, Felder, Namespaces und Sync Modes sicher konfigurieren
• Inkrementelle und CDC-basierte Replikation kontrolliert betreiben
• Datei- und Objektspeicherpipelines einschließlich Partitionierung planen
• Schema, Typisierung, Deduplizierung und Qualitätsregeln absichern
• Transformation und Reverse ETL zu einem nachvollziehbaren Datenprodukt verbinden

Zielgruppe

Data Engineers, Analytics Engineers, Data Architects, Data Product Owner, technische Data Stewards und Teams für Warehouse- und Lakehouse-Integration.

Voraussetzungen

Grundkenntnisse von Datenbanken, SQL, Datenmodellen und Datenpipelines. Erfahrung mit einem Warehouse oder Data Lake ist hilfreich.

Seminarinhalte

Modul 1: ELT-Architektur und Datenprodukt

Datenbedarf, Quellsysteme, Zielschichten und Verantwortungen werden vor der Konfiguration geklärt.

1. Schritt 1: Fachliche Nutzung, Aktualität und Schutzbedarf erfassen
2. Schritt 2: Quellen, Zielplattform und nachgelagerte Verbraucher inventarisieren
3. Schritt 3: Roh-, typisierte, transformierte und aktivierte Schichten abgrenzen
4. Schritt 4: Eigentümer, Serviceziele und Datenvertrag festlegen

Modul 2: Quellen, Ziele und Katalog

Die technische Pipeline wird mit minimalen Rechten und begrenztem Datenumfang eingerichtet.

1. Schritt 1: Quell- und Zielvoraussetzungen einschließlich Netzwerk prüfen
2. Schritt 2: Connector-Konfigurationen und Verbindungstests durchführen
3. Schritt 3: Streams, Felder, Schlüssel und Cursor auswählen
4. Schritt 4: Namespace- und Namensregeln für die Zielstruktur anwenden

Modul 3: Sync Modes, Zeitpläne und Zustände

Übertragungsmodus und Takt werden aus Änderungsverhalten und Verbraucheranforderungen abgeleitet.

1. Schritt 1: Vollständige und inkrementelle Modi vergleichen
2. Schritt 2: Append-, Overwrite- und Deduplizierungsverhalten festlegen
3. Schritt 3: Zeitplan und Abhängigkeit zu Transformationen bestimmen
4. Schritt 4: State, Wiederholung und Rücksetzung in Testläufen prüfen

Modul 4: CDC und hochfrequente Änderungen

Logbasierte Replikation wird von Quellvorbereitung bis Wiederanlauf beherrscht.

1. Schritt 1: Datenbankrechte, Replikationsmechanismus und Aufbewahrung prüfen
2. Schritt 2: Initialladung und Übergabepunkt in den Änderungsstrom planen
3. Schritt 3: Löschungen, Rückstand und Schemaänderung simulieren
4. Schritt 4: Vollständigkeit und Latenz mit Quell-Ziel-Abgleichen messen

Modul 5: Dateien, Objektspeicher und Data Lake

Strukturierte Dateien werden inkrementell erkannt und in nachvollziehbare Partitionen überführt.

1. Schritt 1: Format, Kodierung, Schema und Kompression validieren
2. Schritt 2: Objektspeicherzugriff und minimale Rechte konfigurieren
3. Schritt 3: Dateierkennung, Wiederholung und verspätete Dateien testen
4. Schritt 4: Partitionierung, Namensregeln und Aufbewahrung festlegen

Modul 6: Schemaänderungen und Typisierung

Strukturänderungen werden kontrolliert erkannt und in nutzbare Zieltypen überführt.

1. Schritt 1: Katalogstände vergleichen und Änderungsklassen bilden
2. Schritt 2: Typkonvertierungen und Grenzwerte testen
3. Schritt 3: Automatische und manuelle Reaktion je Änderung definieren
4. Schritt 4: Inkompatible Änderungen mit Rücknahme oder Migration behandeln

Modul 7: Deduplizierung und Datenqualität

Schlüssel, Cursor und Qualitätsregeln sichern die fachliche Verwendbarkeit.

1. Schritt 1: Primärschlüssel und Aktualitätsfelder auf Stabilität prüfen
2. Schritt 2: Deduplizierung mit Gleichständen und verspäteten Daten testen
3. Schritt 3: Pflichtfelder, Wertebereiche und Aktualitätskontrollen automatisieren
4. Schritt 4: Abgelehnte Datensätze klassifizieren und gezielt nachladen

Modul 8: Transformationen mit dbt und ELT-Schichten

Rohdaten werden über versionierte Modelle in fachlich nutzbare Strukturen überführt.

1. Schritt 1: Staging-, Kern- und Bereitstellungsmodelle planen
2. Schritt 2: Quellen und Modelle mit Tests und Dokumentation definieren
3. Schritt 3: Ausführung an erfolgreiche Replikation koppeln
4. Schritt 4: Schemaänderungen und fehlerhafte Modelle mit CI-Prüfungen abfangen

Modul 9: Data Activation und Reverse ETL

Aufbereitete Daten werden kontrolliert in operative Systeme zurückgespielt.

1. Schritt 1: Aktivierungszweck, Schlüssel und Zielaktion festlegen
2. Schritt 2: Feldzuordnung und Datenminimierung prüfen
3. Schritt 3: Testlauf mit Neu-, Änderungs- und Ablehnungsfällen durchführen
4. Schritt 4: Wirksamkeit, Fehlerkorrektur und Stilllegung dokumentieren

Modul 10: End-to-End-Betrieb und Abnahme

Alle Schichten werden mit gemeinsamen Kontrollen und Betriebsabläufen freigegeben.

1. Schritt 1: Laufzeiten, Datenmengen, Qualitätswerte und Abhängigkeiten überwachen
2. Schritt 2: Fehler- und Wiederanlaufszenario über mehrere Schichten testen
3. Schritt 3: Abnahme anhand Datenvertrag und fachlicher Stichproben durchführen
4. Schritt 4: Runbook, Eigentümerschaft und Änderungsverfahren übergeben

Praxisübungen

1. Entwurf einer ELT-Zielarchitektur mit Roh-, Qualitäts-, Transformations- und Aktivierungsschicht
2. Aufbau einer Pipeline mit Katalogauswahl, Sync Mode und dokumentierter Zielstruktur
3. Durchführung einer CDC-Initialladung mit simuliertem Rückstand und Wiederanlauf
4. Einrichtung einer dateibasierten Data-Lake-Pipeline mit Partitionierung
5. Test von Schemaänderung, Typisierung, Deduplizierung und Rejected Records
6. Kopplung einer dbt-Transformation und einer Reverse-ETL-Aktivierung mit End-to-End-Abnahme

Methodik

Kurze fachliche Einführungen wechseln mit Demonstrationen, geführten Konfigurationsschritten, eigenständigen Übungen, Fehleranalysen und dokumentierten Abnahmekontrollen. Ergebnisse werden anhand technischer Prüfpunkte und fachlicher Stichproben bewertet.