Seminar DataHub Ingestion mit CLI, Recipes und Managed Ingestion

Zuverlässige Metadaten beginnen mit einer kontrollierten Ingestion. Das Seminar verbindet Konfiguration, Identitätsmodell, Laufzeitverhalten und Betrieb zu einem reproduzierbaren Aufnahmeprozess.

Lernziele

• Quellen und Konnektoren anhand technischer und fachlicher Anforderungen planen
• CLI und Recipes sicher konfigurieren und validieren
• Secrets, Filter, Plattforminstanzen und Umgebungen korrekt abbilden
• Profiling, Transformer und zustandsbehaftete Verarbeitung kontrollieren
• Zeitplanung, Monitoring, Fehleranalyse und Wiederanlauf standardisieren

Zielgruppe

Data Engineers, Plattformadministratoren, Metadateningenieure, DevOps-Teams und technische Data Stewards mit Verantwortung für Datenquellen.

Voraussetzungen

Grundkenntnisse in YAML, Kommandozeile, Authentifizierung und Datenbankschnittstellen. Erfahrung mit Python oder Containerumgebungen ist hilfreich.

Inhaltsübersicht

1. Kapitel 1: Ingestion-Architektur und Quellanalyse
2. Kapitel 2: CLI und Recipe-Grundlagen
3. Kapitel 3: Secrets, Filter und erste Aufnahme
4. Kapitel 4: Profiling, Transformer und Zustand
5. Kapitel 5: Managed Ingestion und Zeitplanung
6. Kapitel 6: Monitoring und Fehlerbehandlung

Kapitel 1: Ingestion-Architektur und Quellanalyse

Inhaltsübersicht dieses Kapitels: Metadatenbedarf bestimmen; Konnektor bewerten; Identitätsmodell festlegen.

Schritt 1: Metadatenbedarf bestimmen

Benötigte Entitäten, Schema, Lineage, Nutzungsdaten, Profiling, Eigentümerschaft und Änderungsfrequenz werden je Quellsystem festgelegt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Konnektor bewerten

Unterstützte Funktionen, Berechtigungen, API- oder Datenbankzugriff, Skalierbarkeit und bekannte Einschränkungen werden gegen die Anforderungen geprüft. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Identitätsmodell festlegen

Plattform, Plattforminstanz, Umgebung und Quellschlüssel werden so definiert, dass Assets über Wiederholungsläufe und mehrere Umgebungen stabil bleiben. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 2: CLI und Recipe-Grundlagen

Inhaltsübersicht dieses Kapitels: Laufzeit vorbereiten; Recipe strukturieren; Konfiguration validieren.

Schritt 1: Laufzeit vorbereiten

CLI-Version, Python-Umgebung, Plugins, Netzwerkzugriff und Zertifikate werden reproduzierbar installiert und geprüft. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Recipe strukturieren

Source, Source-Konfiguration, Pipeline-Name, Transformer, Sink und Laufzeitoptionen werden in einer lesbaren und versionierbaren Konfiguration angeordnet. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Konfiguration validieren

Syntax, erforderliche Felder, Konnektorverfügbarkeit und Verbindung werden vor dem ersten vollständigen Lauf getrennt getestet. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 3: Secrets, Filter und erste Aufnahme

Inhaltsübersicht dieses Kapitels: Secrets auslagern; Quellumfang filtern; Erstlauf kontrollieren.

Schritt 1: Secrets auslagern

Kennwörter, Tokens und Schlüssel werden außerhalb der Recipe verwaltet, mit minimalen Berechtigungen versehen und auf Rotierbarkeit geprüft. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Quellumfang filtern

Datenbanken, Schemas, Tabellen und weitere Objekte werden mit Include- und Exclude-Regeln kontrolliert eingegrenzt. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Erstlauf kontrollieren

Laufprotokoll, erzeugte Entitäten, Fehler, Warnungen und unerwartete Asset-Zahlen werden gegen eine vorher definierte Erwartung geprüft. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 4: Profiling, Transformer und Zustand

Inhaltsübersicht dieses Kapitels: Profiling dimensionieren; Metadaten transformieren; Zustandsbehaftete Ingestion steuern.

Schritt 1: Profiling dimensionieren

Spaltenstatistiken, Stichproben, Laufzeit und Quellbelastung werden abgewogen und für sensible oder große Datenbestände begrenzt. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Metadaten transformieren

Eigentümer, Tags, Domains und Bezeichnungen werden regelbasiert ergänzt, wobei manuelle Kuratierung und automatisierte Angaben klar priorisiert werden. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Zustandsbehaftete Ingestion steuern

Vorheriger und aktueller Bestand werden verglichen; Soft-Delete, Wiederauftauchen und Schutz vor massenhafter unbeabsichtigter Löschung werden erprobt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 5: Managed Ingestion und Zeitplanung

Inhaltsübersicht dieses Kapitels: Ausführungsmodell auswählen; Zeitplan und Abhängigkeiten festlegen; Berechtigungen zuordnen.

Schritt 1: Ausführungsmodell auswählen

CLI, Orchestrierung und Managed Ingestion werden nach Sicherheitsgrenze, Betriebsverantwortung, Skalierbarkeit und Beobachtbarkeit verglichen. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Zeitplan und Abhängigkeiten festlegen

Lauffrequenz, Quellverfügbarkeit, Reihenfolge, Überschneidungsschutz und Wartungsfenster werden verbindlich konfiguriert. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Berechtigungen zuordnen

Erstellung, Bearbeitung, Ausführung und Einsicht in Verbindungen oder Jobs werden nach dem Prinzip der minimalen Rechte geregelt. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Kapitel 6: Monitoring und Fehlerbehandlung

Inhaltsübersicht dieses Kapitels: Erfolgskriterien überwachen; Fehler systematisch isolieren; Wiederanlauf dokumentieren.

Schritt 1: Erfolgskriterien überwachen

Laufstatus, Dauer, Entitätszahlen, Warnungen, Fehlerquote und Metadatenfrische werden mit erwarteten Bandbreiten verglichen. Vor der Umsetzung werden Voraussetzungen, betroffene Objekte und erwartete Ergebnisse festgehalten. Die Ausführung erfolgt in einer abgegrenzten Übungsumgebung und endet mit einer dokumentierten Soll-Ist-Prüfung.

Schritt 2: Fehler systematisch isolieren

Authentifizierung, Netzwerk, Quellberechtigung, Schemaänderung, Mapping und Plattformannahme werden in einer festen Diagnosefolge geprüft. Konfiguration, Zuständigkeit und mögliche Fehlerbilder werden ausdrücklich berücksichtigt. Das Ergebnis wird mit technischen und fachlichen Prüfkriterien bewertet und als wiederverwendbarer Arbeitsschritt dokumentiert.

Schritt 3: Wiederanlauf dokumentieren

Retry, Teilwiederholung, Vollabgleich, Zustandsrücksetzung und Eskalation werden mit Risiken und Freigabeschritten in ein Runbook aufgenommen. Abweichungen werden nicht durch pauschale Wiederholung verdeckt, sondern nach Ursache, Auswirkung und Korrekturweg eingeordnet. Eine abschließende Kontrolle bestätigt, dass der Arbeitsschritt reproduzierbar ausgeführt werden kann.

Praxisübungen

Inhaltsübersicht dieses Kapitels: Anwendung, Prüfung und Dokumentation der behandelten Arbeitsschritte.

1. Bewertung eines Konnektors und Entwurf des Identitätsmodells
2. Erstellung und Validierung einer vollständigen Ingestion-Recipe
3. Konfiguration von Filtern, Secrets, Profiling und Transformern
4. Simulation einer Zustandsänderung mit kontrollierter Löschprüfung
5. Aufbau eines Zeitplans sowie eines Diagnose- und Wiederanlauf-Runbooks

Methodik

Inhaltsübersicht dieses Kapitels: Vermittlungsform, Übungsorganisation und Qualitätssicherung.

Konfigurationsdemonstrationen, eigenständige CLI-Übungen, kontrollierte Fehlerfälle und Betriebsreviews werden über drei Tage zu einer vollständigen Ingestion-Pipeline verbunden.