Seminar Marquez API, Betrieb und Automatisierung

Zielsetzung

Das Seminar vertieft Marquez als Backend für OpenLineage-Metadaten. Im Mittelpunkt stehen API-Strukturen, Datenmodell, Automatisierung, Import- und Exportprozesse, Betriebsaufgaben und wiederholbare Abläufe für Entwicklungs-, Test- und Produktionsumgebungen.

Inhaltsübersicht

• Marquez-Architektur mit API, Weboberfläche, Datenbank und OpenLineage-Endpunkt
• REST-orientierte Arbeitsweise mit Jobs, Runs, Datasets, Namespaces und Facets
• Automatisierte Erzeugung, Validierung und Prüfung von Lineage-Events
• Betriebsroutinen für Konfiguration, Monitoring, Backups und Datenpflege
• Fehleranalyse bei unvollständiger, doppelter oder falsch benannter Lineage

Seminarinhalte

1. Schritt 1: Architektur einordnen
   Die Komponenten von Marquez werden systematisch zerlegt: API-Service, Web-UI, Persistenzschicht, OpenLineage-Endpunkt und interne Metadatenstrukturen. Daraus entsteht ein klares Bild, welche Komponente welche Verantwortung trägt.
2. Schritt 2: API-Objekte lesen
   Namespaces, Jobs, Runs, Datasets und Facets werden anhand typischer JSON-Strukturen analysiert. Besonderes Gewicht liegt auf stabilen Namenskonventionen, da unsaubere Namen später zu unübersichtlichen Lineage-Graphen führen.
3. Schritt 3: Events erzeugen
   START-, COMPLETE-, FAIL- und ABORT-Ereignisse werden modelliert und gegen die erwarteten Datenstrukturen geprüft. Die Übungen zeigen, welche Informationen zwingend erforderlich sind und welche Informationen als Facets ergänzt werden.
4. Schritt 4: Automatisierung aufbauen
   Wiederholbare Skripte für Testdaten, Smoke-Tests, Importläufe und Statusabfragen werden erstellt. Der Schwerpunkt liegt auf kontrollierbaren Abläufen statt einmaliger Handarbeit im Stil von „läuft auf meinem Rechner“. Der Klassiker bleibt unangenehm.
5. Schritt 5: Betrieb absichern
   Konfiguration, Logging, Datenbankzugriff, Sicherung und Wiederherstellung werden behandelt. Zusätzlich werden typische Störungen nachgestellt: fehlende Felder, doppelte Runs, falsche Zeitstempel, falsche Namespaces und nicht sichtbare Abhängigkeiten.
6. Schritt 6: Übergabe vorbereiten
   Zum Abschluss entsteht ein Betriebs- und Automatisierungsleitfaden mit Prüfschritten, Namensregeln, API-Konventionen und Mindestanforderungen für produktionsnahe Integrationen.

Praktische Übungen

• Erstellen eines vollständigen Lineage-Ereignisses mit Eingabe- und Ausgabedatasets
• Abfragen von Jobs, Runs und Datasets über die API
• Aufbau eines kleinen Testdaten-Sets für wiederholbare Integrationsprüfungen
• Analyse fehlerhafter Events und Ableitung konkreter Korrekturmaßnahmen
• Entwurf eines Betriebs-Runbooks für Marquez-Umgebungen

Zielgruppe

Data Engineers, Plattformadministration, DevOps-Teams, technische Data Stewards und Verantwortliche für Metadatenplattformen.

Voraussetzungen

Grundkenntnisse in HTTP, JSON, Docker, Datenbankbetrieb und Data-Engineering-Prozessen.