Seminar PoolParty Semantic Suite – Intensiv – Integration, Suche und KI-Anwendungen

Dieses Intensivseminar bündelt die anwendungs- und integrationsorientierten Themen des Portfolios. UnifiedViews, Extractor, Semantic Classifier, Search and Recommender, ADF, APIs und GraphRAG werden zu einer durchgängigen Informationskette verbunden. Ein gemeinsamer Datenbestand wird integriert, semantisch angereichert, suchbar gemacht und für eine geerdete generative Anwendung genutzt.

Inhaltsverzeichnis

1. Zielsetzung
2. Kompetenzziele
3. Seminarinhalte
4. Praxisübungen
5. Zielgruppe und Voraussetzungen
6. Methodik und Qualitätssicherung

Zielsetzung

Ziel ist ein Ende-zu-Ende-Prototyp vom Quellsystem bis zur Such-, Empfehlungs- und GraphRAG-Anwendung. Datenqualität, Relevanz, Fehlerbehandlung, Berechtigungen und Betriebsfähigkeit werden in jeder Stufe geprüft.

Kompetenzziele

• Datenpipeline und semantische Anreicherung durchgängig konfigurieren.
• Klassifikation, Suche, Facetten, Ranking und Empfehlungen kombinieren.
• ADF- und API-basierte Anwendung integrieren.
• GraphRAG-Retrieval, Belege, Evaluation und Sicherheitskontrollen umsetzen.

Seminarinhalte

3.1 UnifiedViews-Pipelines entwerfen

1. Quelle, Ziel, Ausführungsrhythmus, Datenvolumen und Fehlerstrategie erfassen.
2. Pipeline in Extraktion, Transformation, Qualitätsprüfung und Laden zerlegen.
3. Zwischenformate, Identifier und Provenienz über alle Stufen definieren.
4. Minimalen durchgängigen Datenfluss auf dem Canvas modellieren.

3.2 Daten mit DPUs extrahieren

1. Geeignete Extractor DPU für Datei, API oder Graphquelle auswählen.
2. Verbindungsparameter und Eingabepfade ohne produktive Geheimnisse konfigurieren.
3. Testlauf starten und erzeugte Arbeitsdaten kontrollieren.
4. Zeitüberschreitung, leere Quelle und ungültige Eingabe als Fehlerfälle behandeln.

3.3 Daten transformieren und in RDF überführen

1. Tabellarische, JSON- oder XML-Strukturen auf das Zielmodell abbilden.
2. Transformation mit SPARQL, Mapping oder geeigneter DPU umsetzen.
3. URIs, Datentypen, Sprach-Tags und Referenzen konsistent erzeugen.
4. Zwischenergebnis durch Stichproben und maschinelle Checks validieren.

3.4 Qualitätsprüfung und Laden

1. Qualitätsregeln vor dem Laden als eigenständige Pipeline-Stufe definieren.
2. Fehlerhafte Datensätze isolieren und nachvollziehbar protokollieren.
3. Valide Daten in Zielgraph oder nachgelagerten Dienst laden.
4. Sollzahlen, Delta, Identifikatoren und exemplarische Beziehungen nach dem Laden prüfen.

3.5 Corpus Management und Dokumentvorbereitung

1. Repräsentative Dokumente, Formate, Sprachen und Metadaten für das Corpus auswählen.
2. Dokumente bereinigen, Dubletten behandeln und fachlich ungeeignete Inhalte aussortieren.
3. Corpus mit nachvollziehbarer Struktur und versioniertem Datenstand anlegen.
4. Stichprobe auf Textqualität, Zeichensatz, Metadaten und Extraktionsfähigkeit prüfen.

3.6 Extractor-Konfiguration

1. Relevante Taxonomien, Sprachen und Dokumentfelder für die Extraktion auswählen.
2. Regeln für Begriffserkennung, zusammengesetzte Begriffe und Kontext festlegen.
3. Testdokumente verarbeiten und erkannte Konzepte samt Fundstellen untersuchen.
4. Konfiguration iterativ anpassen und Änderungen mit Vergleichsdokumenten verifizieren.

3.7 Scoring, Schwellenwerte und Disambiguierung

1. Scores für Relevanz, Häufigkeit, Position und semantischen Kontext unterscheiden.
2. Schwellenwerte anhand positiver und negativer Beispieldokumente kalibrieren.
3. Mehrdeutige Begriffe über Kontext, Hierarchie und Ausschlussregeln behandeln.
4. Precision und Recall stichprobenbasiert vergleichen und Entscheidung dokumentieren.

3.8 Training Boxes und Trainingsdaten

1. Kategorien, Dokumentklassen und Abgrenzungskriterien definieren.
2. Training Box anlegen und repräsentative, ausgewogene Dokumente hinzufügen.
3. Dokumentqualität, Dubletten und fehlerhafte Vorzuordnungen prüfen.
4. Trainingsstand versionieren und für spätere Vergleiche dokumentieren.

3.9 Test Classifier und Qualitätsmessung

1. Unabhängigen Testbestand mit realistischen Dokumenten zusammenstellen.
2. Test Classifier konfigurieren und Klassifikation durchführen.
3. Treffer, Fehlklassifikationen und nicht zugeordnete Dokumente analysieren.
4. Akzeptanzschwellen pro Kategorie festlegen und kritische Klassen nachtrainieren.

3.10 Semantische Sucharchitektur

1. Suchquellen, Dokumentmodell, Taxonomien, Nutzerrollen und Suchziele erfassen.
2. Indexierung, Annotation, semantische Expansion, Facetten und Ranking als Verarbeitungskette entwerfen.
3. Suchräume und Zugriffsbeschränkungen für unterschiedliche Informationsbestände trennen.
4. Testkatalog mit Navigations-, Fakten-, Explorations- und Nulltrefferfragen erstellen.

3.11 Indexierung und Dokumentmodell

1. Dokumentfelder, Identifier, Volltext, Metadaten und semantische Annotationen festlegen.
2. Indexaufbau mit kleinem Datenbestand konfigurieren und ausführen.
3. Indexstatus, Feldbelegung und fehlerhafte Dokumente kontrollieren.
4. Re-Indexierung, Teilaktualisierung und Taxonomieänderungen im Betrieb planen.

3.12 Semantische Expansion und Ranking

1. Bevorzugte Labels, Synonyme, Ober- und Unterbegriffe als Sucherweiterung bewerten.
2. Expansionsregeln je Suchmodus und Nutzeraufgabe konfigurieren.
3. Rankingfaktoren für Texttreffer, Metadaten und semantische Nähe kalibrieren.
4. Relevanztests mit dokumentierten Suchfragen und Bewertungsmaßstab durchführen.

3.13 Recommender konfigurieren

1. Empfehlungsziel, Kontextsignale, zulässige Dokumenträume und Ausschlüsse definieren.
2. Konzeptbasierte Ähnlichkeit und Interaktionssignale in einer Konfiguration kombinieren.
3. Empfehlungen mit repräsentativen Startdokumenten testen und begründen.
4. Diversität, Aktualität, Zugriffsrechte und Nullfälle in die Abnahme einbeziehen.

3.14 Application Development Framework einordnen

1. ADF-Komponenten, Konfiguration, Datenquellen und Bereitstellungsmodell erfassen.
2. Anwendungsfall in Suche, Exploration, Recommendation oder semantische Navigation zerlegen.
3. Benötigte APIs, Indizes, Taxonomien und Benutzerinteraktionen zuordnen.
4. Technische Randbedingungen und ein minimales Anwendungsinkrement definieren.

3.15 API-Zugriff und Authentisierung

1. Benötigte API-Familie, Basisendpunkt, Benutzerrolle und Berechtigungsumfang bestimmen.
2. Authentisierungsverfahren in einer geschützten Testumgebung konfigurieren.
3. Ersten lesenden Aufruf ausführen und Status, Header sowie Antwortstruktur prüfen.
4. Fehler für fehlende Berechtigung, ungültige Parameter und abgelaufene Sitzung kontrolliert behandeln.

3.16 Integrationsmuster und Synchronisation

1. Lesender Abruf, ereignisbasierte Aktualisierung, Batch-Synchronisation und Spiegelung vergleichen.
2. Master-System, Identifikatoren, Konfliktregeln und Aktualisierungsrichtung festlegen.
3. Minimalen Ende-zu-Ende-Fluss mit Protokollierung und Wiederholbarkeit umsetzen.
4. Datenverlust, Dubletten, Race Conditions und Schemaänderungen mit Negativtests prüfen.

3.17 GraphRAG- und Semantic-RAG-Architektur

1. Fragetypen, Wissensquellen, Antwortgrenzen und Nachweisanforderungen erfassen.
2. Taxonomie, Wissensgraph, semantische Suche und Sprachmodell als getrennte Schichten modellieren.
3. Retrieval-, Kontextbildungs-, Generierungs- und Prüfpfad definieren.
4. Risiken durch fehlende Quellen, veraltete Daten, Rechte und mehrdeutige Begriffe bewerten.

3.18 Retrieval und Grounding konfigurieren

1. Semantische Expansion, Filter, Graphpfade und Ranking für die Fragetypen festlegen.
2. Kontextmenge so begrenzen, dass Relevanz und Nachvollziehbarkeit erhalten bleiben.
3. Antwortbelege mit Dokument- und Graphidentifikatoren in der Pipeline mitführen.
4. Nulltreffer, widersprüchliche Belege und unzureichende Evidenz explizit behandeln.

3.19 Evaluation und Governance für generative KI

1. Testset nach Fachdomäne, Risiko, Fragetyp und Nutzerrolle zusammenstellen.
2. Kriterien für Belegtreue, Vollständigkeit, Relevanz und erlaubte Ablehnung definieren.
3. Antworten fachlich bewerten und Fehlerursache Retrieval, Daten, Modell oder Prompt zuordnen.
4. Freigabe, Monitoring, Feedback und erneute Prüfung nach Änderungen organisieren.

Praxisübungen

4.1 Daten- und Anreicherungspipeline realisieren

1. Quelle extrahieren und in RDF transformieren.
2. Qualitätsgate und Ladeprozess konfigurieren.
3. Dokumente mit Taxonomiekonzepten anreichern.

4.2 Suche und Anwendung aufbauen

1. Index, Facetten und semantische Expansion konfigurieren.
2. Empfehlungen und Klassifikationsfall testen.
3. ADF- oder API-Anwendung in eine Beispieloberfläche integrieren.

4.3 GraphRAG-Prototyp prüfen

1. Testfragen und erwartete Belege festlegen.
2. Retrieval und Kontextbildung konfigurieren.
3. Antwortqualität, Rechte, Nullfälle und Prompt-Risiken bewerten.

Zielgruppe und Voraussetzungen

Zielgruppe: Solution Architecture, Data Engineering, Search Engineering, AI Engineering, Softwareentwicklung, Knowledge Engineering und technische Produktverantwortung.

Voraussetzungen: Grundkenntnisse in Datenintegration, APIs und Suchsystemen. Für die Übungen sind technisches Verständnis und Erfahrung mit strukturierten Daten erforderlich.

Methodik und Qualitätssicherung

Die Vermittlung kombiniert strukturierte Fachimpulse, Demonstrationen, moderierte Modellierungs- oder Konfigurationsschritte und praktische Übungen. Jeder Arbeitsblock endet mit einer prüfbaren Zwischenkontrolle.

• Ausgangszustand und Lernziel werden vor jedem Arbeitsauftrag festgelegt.
• Konfigurationen und Modelle werden schrittweise aufgebaut und dokumentiert.
• Positiv-, Negativ- und Grenzfälle werden anhand definierter Kriterien geprüft.
• Abweichungen werden analysiert, korrigiert und in einer erneuten Prüfung bestätigt.