Seminar KI-Agenten mit RAG – Unternehmenswissen sicher nutzen

Beschreibung

Ein Wissensagent benötigt mehr als eine Vektordatenbank und einen umfangreichen Prompt. Die Qualität beginnt mit gepflegten Dokumenten, einer nachvollziehbaren Suchstrecke und einer Zugriffskontrolle, die vor der Übergabe von Inhalten an das Modell greift. Das Seminar entwickelt diesen Datenfluss von der Dokumentaufnahme bis zur überprüfbaren Antwort.

Eine vorbereitete Sammlung aus technischen Anweisungen und internen Serviceinformationen bildet das Praxisprojekt. Dokumentversionen, Metadaten und unterschiedliche Benutzerrollen werden von Anfang an berücksichtigt. Die Suche wird zunächst getrennt von der Antwortgenerierung getestet. Anschließend erhält der Agent ein begrenztes Recherchewerkzeug und klare Regeln für Rückfragen, fehlende Belege und einen kontrollierten Abbruch. Ein großer Teil der Übungen dient der Fehleranalyse und der Bewertung von Änderungen an der Suchkonfiguration.

Der Agent arbeitet im Beispiel mit allgemeinen Serviceinformationen und zusätzlich geschützten technischen Anweisungen. Zwei Rollen erhalten unterschiedliche Sicht auf denselben Dokumentbestand. Eine richtige Antwort muss daher sowohl inhaltlich passen als auch auf zulässigen Treffern beruhen. Zur Übung gehören umbenannte Dokumente, veraltete Anweisungen und eine vollständig gelöschte Information. Die Verarbeitung dieser Änderungen zeigt, dass Wissensqualität und Zugriffssteuerung laufende Aufgaben sind und nicht mit der ersten erfolgreichen Indizierung enden.

Seminarziele

• Dokumente mit passenden Metadaten und Gültigkeitsinformationen aufbereiten.
• Retrieval-Qualität unabhängig von der sprachlichen Antwort beurteilen.
• Zugriffsrechte vor der Kontextbildung zuverlässig berücksichtigen.
• Einen Wissensagenten mit überprüfbaren Fundstellen und Rückfrageverhalten implementieren.

Seminarinhalte

• Dokumentaufnahme und Datenqualität
• Suche und Trefferbewertung
• Zugriffsschutz und Isolation
• Wissenswerkzeug für den Agenten
• Evaluation und Datenlebenszyklus

Dokumentaufnahme und Datenqualität

• Dateien extrahieren, bereinigen und in nachvollziehbare Abschnitte zerlegen.
• Dokumentkennung, Version, Fachgebiet und Berechtigungsattribute mitführen.
• Aktualisierung, Löschung und erneute Indizierung als Prozesse gestalten.

Suche und Trefferbewertung

• Embeddings und Vektorsuche mit einer Stichwortsuche vergleichen.
• Filter, hybride Suche und optionale Neugewichtung von Treffern untersuchen.
• Treffermenge, Abschnittsgröße und Kontextbudget anhand von Testfragen einstellen.

Zugriffsschutz und Isolation

• Benutzeridentität außerhalb des Modells ermitteln und verbindlich weitergeben.
• Zugriffsfilter vor der Rückgabe von Treffern im Suchdienst durchsetzen.
• Metadaten, Zwischenspeicher und Protokolle auf unerlaubte Offenlegung prüfen.

Wissenswerkzeug für den Agenten

• Eine Suchfunktion mit begrenzten Parametern und strukturierten Treffern bereitstellen.
• Interne Dokumentkennungen und Fundstellen für die Antwortprüfung mitführen.
• Rückfragen, widersprüchliche Informationen und fehlende Treffer behandeln.

Evaluation und Datenlebenszyklus

• Einen Testkatalog mit erwarteten Fundstellen und berechtigten Rollen anlegen.
• Retrieval-Treffer, Belegtreue und Antwortnützlichkeit getrennt bewerten.
• Dokumentänderungen und Löschung gegen Suche, Kontext und Cache testen.

Praxisübungen

1. Einen synthetischen Dokumentbestand mit Versions- und Berechtigungsmerkmalen aufbereiten und indizieren.
2. Semantische Suche und eine ergänzende Stichwortsuche anhand desselben Fragenkatalogs vergleichen.
3. Zwei Benutzerrollen einrichten und nachweisen, dass geschützte Abschnitte nicht in den jeweils unzulässigen Modellkontext gelangen.
4. Ein Recherchewerkzeug in einen vorhandenen Agenten integrieren und Verhalten bei leeren oder widersprüchlichen Treffern prüfen.
5. Ein Dokument aktualisieren und ein weiteres löschen; anschließend Suchergebnisse, Zwischenspeicher und Antworten kontrollieren.

Arbeitsumgebung

Vorbereitete Python-Umgebung, Vektor- und Suchdienst, Modell- und Embedding-Endpunkt sowie ein kleiner synthetischer Dokumentbestand mit Rollenmodell. Installation einer vollständigen Dokumentenplattform ist nicht vorgesehen.