Seminar Eclipse EDC – Federated Catalog und Datenauffindbarkeit

Das Seminar behandelt die datenraumweite Auffindbarkeit von Datenangeboten. Ein Federated Catalog wird als eigenständige, leselastige Komponente geplant, mit Teilnehmerquellen versorgt, sicher gecrawlt, mit Such- und Aktualitätsregeln versehen und für skalierbaren Betrieb überwacht.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Aufgabe und Grenzen eines Federated Catalog erklären.
• Crawler, Teilnehmerquellen und Cache konsistent konfigurieren.
• Metadatenqualität, Aktualität und Mehrmandantenfähigkeit beherrschen.
• DCP-geschützte Katalogabfragen und Participant Contexts einordnen.
• Suchleistung, Fehlerfälle und Betriebskennzahlen testen.

Schrittweise Seminarinhalte

1. Discovery-Architektur

Schwerpunkt: dezentrale Teilnehmerkataloge, Crawling, lokaler Cache, Such-API, Registrierungsquellen, Trust und Leselast.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Discovery-Architektur“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von dezentrale Teilnehmerkataloge, Crawling, lokaler Cache, Such-API, Registrierungsquellen, Trust und Leselast modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Discovery- und Komponentenmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Teilnehmerquellen und Crawler

Schwerpunkt: Teilnehmerlisten, Resolver, Endpunkte, Crawl-Intervalle, Parallelität, Timeouts, Retry und Ausschlüsse.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Teilnehmerquellen und Crawler“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von Teilnehmerlisten, Resolver, Endpunkte, Crawl-Intervalle, Parallelität, Timeouts, Retry und Ausschlüsse modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten Crawler- und Teilnehmerprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Katalogabruf und DCP

Schwerpunkt: DSP Catalog Request, Participant Identity, DCP-Token, Credentials, Trust Anchors, Fehlerantworten und Erreichbarkeit.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Katalogabruf und DCP“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von DSP Catalog Request, Participant Identity, DCP-Token, Credentials, Trust Anchors, Fehlerantworten und Erreichbarkeit modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen abgesicherten Katalogabruf dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Cache, Datenmodell und Aktualität

Schwerpunkt: DCAT-Daten, Dataset-Identität, Provider-Zuordnung, Ablauf, Löschung, Dubletten, Stale Data und Reconciliation.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Cache, Datenmodell und Aktualität“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von DCAT-Daten, Dataset-Identität, Provider-Zuordnung, Ablauf, Löschung, Dubletten, Stale Data und Reconciliation modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein nachvollziehbares Cache- und Aktualitätsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Such-API und Abfragen

Schwerpunkt: Filter, Sortierung, Paging, Volltext- oder Attributsuche, Ergebnisbegrenzung, API-Sicherheit und Antwortzeiten.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Such-API und Abfragen“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von Filter, Sortierung, Paging, Volltext- oder Attributsuche, Ergebnisbegrenzung, API-Sicherheit und Antwortzeiten modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen wiederverwendbaren Such- und Abfragekatalog dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Skalierung und Deployment

Schwerpunkt: Crawler-Skalierung, Cache-Persistenz, mehrere Instanzen, Locks, Partitionierung, Management Domains und Fehlerdomänen.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Skalierung und Deployment“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von Crawler-Skalierung, Cache-Persistenz, mehrere Instanzen, Locks, Partitionierung, Management Domains und Fehlerdomänen modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein skalierbares Deploymentdesign dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Monitoring und Datenqualitätskontrolle

Schwerpunkt: Crawl-Erfolg, Fehlerrate, Alter der Metadaten, Teilnehmerabdeckung, Cache-Größe, Suchlatenz und Bereinigung.

1. Ausgangslage, Schutzbedarf, Abhängigkeiten und Zielkriterien für den Themenblock „Monitoring und Datenqualitätskontrolle“ erfassen.
2. Relevante Objekte, Rollen, APIs, Zustände und Vertrauensgrenzen anhand von Crawl-Erfolg, Fehlerrate, Alter der Metadaten, Teilnehmerabdeckung, Cache-Größe, Suchlatenz und Bereinigung modellieren.
3. Die erforderliche Konfiguration oder Prozessfolge am Laborsystem beziehungsweise am Architekturmodell schrittweise umsetzen.
4. Funktion, Berechtigungen, Protokollzustände, Protokollierung und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein operatives Monitoring- und Qualitätskonzept dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Aufbau eines Federated Catalog für mehrere vorbereitete Teilnehmer.
• Durchführung von Suchabfragen mit Filtern, Paging und Provider-Zuordnung.
• Simulation nicht erreichbarer Teilnehmer und veralteter Cache-Einträge.

Zielgruppe und Voraussetzungen

Zielgruppe: Datenraumarchitektur, Metadaten- und Katalogteams, EDC-Administration, Plattformbetrieb und Datenproduktmanagement.

Voraussetzungen: EDC-, DSP- und DCAT-Grundkenntnisse sowie Erfahrung mit REST, Caching und verteilten Diensten.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurationsschritte, API-Arbeit, Praxisübungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.