Seminar DataHub Intensiv: Integration, APIs und Erweiterung

Der technische Integrationspfad führt von belastbaren Identitäten und Metadatenstrukturen über Standardkonnektoren bis zur eigenen Erweiterung. Die einzelnen Verfahren werden nicht isoliert, sondern als gemeinsame Lieferkette betrachtet.

Lernziele

• DataHub-Architektur, Entitäten, Aspekte und Änderungsmodelle sicher einordnen
• Ingestion-Pipelines mit CLI, Recipes, Zustand und Monitoring betreiben
• dbt, Airflow und OpenLineage ohne Identitätsbrüche integrieren
• APIs und SDKs für Abfragen und kontrollierte Änderungen einsetzen
• Custom Sources, Transformer und Actions produktionsreif entwickeln

Zielgruppe

Data Engineers, Python-Entwickler, Analytics Engineers, Plattformingenieure und Integrationsarchitekten.

Voraussetzungen

Sichere Python-Grundlagen, Erfahrung mit APIs, YAML, Datenpipelines und Kommandozeile. Kenntnisse in dbt oder Airflow sind hilfreich.

Inhaltsübersicht

1. Kapitel 1: Tag 1: Architektur und Metadatenmodell
2. Kapitel 2: Tag 2: Ingestion und Betrieb
3. Kapitel 3: Tag 3: dbt, Airflow und OpenLineage
4. Kapitel 4: Tag 4: APIs und SDKs
5. Kapitel 5: Tag 5: Custom Sources und Actions
6. Kapitel 6: Integrierte technische Abnahme

Kapitel 1: Tag 1: Architektur und Metadatenmodell

Inhaltsübersicht dieses Kapitels: Komponenten und Datenflüsse erfassen; Entitäten und Aspekte modellieren; Identitätsregeln festlegen.

Schritt 1: Komponenten und Datenflüsse erfassen

Frontend, Metadata Service, Graph, Suche, Ereignisverarbeitung und Ingestion werden mit Schnittstellen und Verantwortlichkeiten kartiert. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Entitäten und Aspekte modellieren

URNs, Entitätstypen, Aspekte, Beziehungen und Änderungsoperationen werden an konkreten Metadatenfällen unterschieden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Identitätsregeln festlegen

Plattform, Instanz, Umgebung und Objektpfad werden zu einer stabilen, quellenübergreifenden Identitätsstrategie verbunden. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: Tag 2: Ingestion und Betrieb

Inhaltsübersicht dieses Kapitels: Recipe aufbauen; Zustand und Löschung steuern; Pipeline überwachen.

Schritt 1: Recipe aufbauen

Konnektor, Filter, Secrets, Transformer und Ziel werden in einer versionierbaren Konfiguration umgesetzt und vor dem Lauf validiert. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Zustand und Löschung steuern

Bestandsvergleich, Soft-Delete, Wiederaufnahme und Schutz vor unbeabsichtigter Massenlöschung werden praktisch erprobt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Pipeline überwachen

Dauer, Entitätszahlen, Warnungen, Fehler und Frische werden mit Sollwerten versehen und in ein Wiederanlaufverfahren überführt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: Tag 3: dbt, Airflow und OpenLineage

Inhaltsübersicht dieses Kapitels: dbt-Metadaten integrieren; Airflow-Kontext anbinden; OpenLineage harmonisieren.

Schritt 1: dbt-Metadaten integrieren

Modelle, Quellen, Tests, Dokumentation und Spaltenbeziehungen werden aus den relevanten Artefakten abgebildet. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Airflow-Kontext anbinden

DAGs, Tasks, Runs und Datenassets werden mit konsistenten Identitäten und kontrollierten Laufzeitinformationen verknüpft. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: OpenLineage harmonisieren

Namespaces, Jobs, Datasets und Ereignisse werden so zugeordnet, dass bestehende Assets ergänzt statt dupliziert werden. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: Tag 4: APIs und SDKs

Inhaltsübersicht dieses Kapitels: Abfrageschnittstelle auswählen; Metadaten lesen und ändern; Automatisierung absichern.

Schritt 1: Abfrageschnittstelle auswählen

GraphQL, REST und SDK-Funktionen werden nach Abfrageform, Änderungsfall, Typisierung und Betriebsanforderung verglichen. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Metadaten lesen und ändern

Assets, Beziehungen und Aspekte werden paginiert abgefragt und mit minimalen, idempotenten Änderungsoperationen aktualisiert. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Automatisierung absichern

Authentifizierung, Berechtigungen, Retry, Rate Limits, Fehlerbehandlung, Protokollierung und Tests werden in eine robuste Client-Struktur eingebaut. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: Tag 5: Custom Sources und Actions

Inhaltsübersicht dieses Kapitels: Eigene Quelle implementieren; Anreicherung entwickeln; Action automatisieren.

Schritt 1: Eigene Quelle implementieren

Eine proprietäre Quelle wird gelesen, auf stabile Entitäten abgebildet und mit prüfbaren Metadatenvorschlägen ausgegeben. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Anreicherung entwickeln

Transformer ergänzen oder normalisieren Metadaten nach transparenten Regeln und schützen kuratierte Informationen. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Action automatisieren

Ein Ereignisfilter und ein sicherer Seiteneffekt werden mit Wiederholschutz, Fehlerstrategie und Betriebsmetriken umgesetzt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 6: Integrierte technische Abnahme

Inhaltsübersicht dieses Kapitels: Gesamtkette ausführen; Konsistenz prüfen; Betrieb übergeben.

Schritt 1: Gesamtkette ausführen

Standardquelle, proprietäre Quelle, Orchestrierung, Transformation und API-Automatisierung werden in definierter Reihenfolge ausgeführt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Konsistenz prüfen

Asset-Zahlen, Identitäten, Metadatenabdeckung, Lineage, Duplikate und Ereignisverarbeitung werden gegen eine Abnahmematrix geprüft. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Betrieb übergeben

Konfiguration, Secrets, Monitoring, Verantwortlichkeit, Rollback und bekannte Grenzen werden in einem technischen Übergabepaket dokumentiert. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. Modellierung einer quellenübergreifenden Identitätsstrategie
2. Aufbau einer zustandsbehafteten Ingestion-Pipeline
3. End-to-End-Integration von dbt-, Airflow- und OpenLineage-Metadaten
4. Entwicklung eines robusten API-Clients
5. Implementierung einer Custom Source und einer ereignisgesteuerten Action

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Architekturarbeit, Konfiguration, Live-Coding, eigenständige Implementierung und technische Abnahme werden in einer durchgängigen Integrationsstrecke verbunden. Tägliche Reviews verhindern Identitäts- und Betriebsfehler.