Seminar Magda Minions und automatisierte Metadatenanreicherung

Das Seminar behandelt ereignisgesteuerte Metadatenanreicherung mit Magda Minions. Qualitätsbewertung, Linkprüfung, Formatnormalisierung oder organisationsspezifische Prüfungen werden als idempotente Dienste entworfen, implementiert, containerisiert und überwacht.

Inhaltsübersicht

1. Anreicherungsfall auswählen
2. Ereignis- und Aspect-Design
3. Minion implementieren
4. Fehlerbehandlung und Wiederholung
5. Container und Einbindung
6. Qualität und Betrieb
7. Praxisübungen und Voraussetzungen

Zielgruppe

Softwareentwicklung, Datenengineering, Data Quality Engineering, Plattformengineering und technische Data Governance.

Lernziele

• Geeignete Anreicherungs- und Prüfaufgaben als Minion identifizieren.
• Ereignisse filtern und Ziel-Aspects sauber modellieren.
• Idempotente, fehlertolerante Verarbeitung implementieren.
• Minion als Container bereitstellen und in Magda einbinden.
• Qualität, Laufzeit, Fehler und Wiederholungen überwachen.

Seminarinhalte

1. Anreicherungsfall auswählen

1. Schritt 1: Manuelle oder wiederkehrende Qualitätsaufgaben erfassen.
2. Schritt 2: Ereignisauslöser, benötigte Eingangsdaten und Ergebnis bestimmen.
3. Schritt 3: Nutzen, Kosten und Fehlerrisiko der Automatisierung bewerten.

2. Ereignis- und Aspect-Design

1. Schritt 1: Relevante Record- und Aspect-Änderungen filtern.
2. Schritt 2: Ziel-Aspect mit Schema und Verantwortlichkeit definieren.
3. Schritt 3: Überschreibung, Versionierung und Zusammenführung von Ergebnissen planen.

3. Minion implementieren

1. Schritt 1: Dienstgrundgerüst und Konfiguration anlegen.
2. Schritt 2: Eingangsdaten lesen, Prüfung ausführen und Ergebnis schreiben.
3. Schritt 3: Idempotenz und Schutz vor Verarbeitungsschleifen sicherstellen.

4. Fehlerbehandlung und Wiederholung

1. Schritt 1: Zeitüberschreitungen, nicht erreichbare Ressourcen und ungültige Daten behandeln.
2. Schritt 2: Wiederholungsstrategie und dauerhafte Fehlerkennzeichnung festlegen.
3. Schritt 3: Protokolle mit Record- und Ereignisbezug strukturieren.

5. Container und Einbindung

1. Schritt 1: Minion als Container bauen und lokal prüfen.
2. Schritt 2: Ressourcen, Geheimnisse und Konfiguration für Kubernetes definieren.
3. Schritt 3: Einbindung starten und End-to-End-Verarbeitung validieren.

6. Qualität und Betrieb

1. Schritt 1: Metriken für Durchsatz, Laufzeit, Fehlerquote und Ergebnisqualität definieren.
2. Schritt 2: Alarmierung und manuelle Nachbearbeitung festlegen.
3. Schritt 3: Änderungs-, Test- und Freigabeverfahren dokumentieren.

Praxisübungen

• Entwurf eines Minions zur Link- oder Formatprüfung.
• Implementierung einer idempotenten Anreicherung in ein eigenes Aspect.
• Containerisierung und Einbindung in eine Schulungsinstanz.
• Simulation von Zeitüberschreitung, Wiederholung und dauerhaftem Fehler.

Voraussetzungen

Programmierkenntnisse, HTTP und JSON sowie Grundkenntnisse zu Containern, Registry Records und Aspects.