Seminar Magda Connectors und Datenquellenintegration

Das Seminar behandelt die föderierte Übernahme von Metadaten aus bestehenden Datenquellen. Vorhandene Connectors werden konfiguriert, Harvesting-Läufe kontrolliert und ein eigener Connector als wiederholbarer Container-Job entwickelt, getestet und in Magda eingebunden.

Inhaltsübersicht

1. Integrationsanalyse
2. Vorhandene Connectors einsetzen
3. Mapping und Normalisierung
4. Eigenen Connector entwickeln
5. Containerisierung und Ausführung
6. Qualität und Betrieb
7. Praxisübungen und Voraussetzungen

Zielgruppe

Datenengineering, Softwareentwicklung, Integrationsarchitektur, Plattformbetrieb und Open-Data-Teams.

Lernziele

• Datenquellen und Metadatenformate für eine föderierte Übernahme bewerten.
• Vorhandene Connectors konfigurieren, ausführen und überwachen.
• Quellmetadaten in Records und Aspects transformieren.
• Einen eigenen Connector robust implementieren und containerisieren.
• Wiederholung, Löschung, Fehlerbehandlung und Betriebsübergabe planen.

Seminarinhalte

1. Integrationsanalyse

1. Schritt 1: Quellsystem, Zugriff, Änderungsmodell und Datenvolumen erfassen.
2. Schritt 2: Geeigneten Harvesting-Rhythmus und Delta-Strategie festlegen.
3. Schritt 3: Ziel-Aspects und Identitätsregeln für Datensätze und Distributionen bestimmen.

2. Vorhandene Connectors einsetzen

1. Schritt 1: Connector-Konfiguration und Zugangsdaten vorbereiten.
2. Schritt 2: Einmaligen Import ausführen und erzeugte Registry-Records prüfen.
3. Schritt 3: Wiederholungslauf, Aktualisierung und Entfernung veralteter Einträge testen.

3. Mapping und Normalisierung

1. Schritt 1: Quellfelder auf Magda-Aspects abbilden.
2. Schritt 2: Formate, Organisationen, Lizenzen und Zeitangaben normalisieren.
3. Schritt 3: Unvollständige oder widersprüchliche Metadaten mit Regeln behandeln.

4. Eigenen Connector entwickeln

1. Schritt 1: Connector-Grundgerüst und Konfigurationsschema anlegen.
2. Schritt 2: Abruf, Transformation und Registry-Schreibvorgang implementieren.
3. Schritt 3: Paginierung, Zeitüberschreitungen und Wiederholungen ergänzen.

5. Containerisierung und Ausführung

1. Schritt 1: Connector als Container bauen und lokal testen.
2. Schritt 2: Job-Konfiguration und Geheimnisübergabe für Kubernetes vorbereiten.
3. Schritt 3: Ausführung, Ressourcenverbrauch und Abschlussstatus prüfen.

6. Qualität und Betrieb

1. Schritt 1: Metriken und Protokolle für Importmenge, Fehler und Laufzeit definieren.
2. Schritt 2: Fehlerhafte Quellen und Teilimporte kontrolliert behandeln.
3. Schritt 3: Betriebs-, Freigabe- und Änderungsverfahren dokumentieren.

Praxisübungen

• Konfiguration eines vorhandenen Harvesters für eine Beispieldatenquelle.
• Entwurf und Prüfung eines Metadaten-Mappings.
• Implementierung eines eigenen einfachen Connectors.
• Container-Job mit Wiederholung, Protokollierung und Fehlerbehandlung.

Voraussetzungen

HTTP- und JSON-Kenntnisse, sichere Nutzung einer Programmiersprache sowie Grundkenntnisse zu Containern und Magda Registry.