Seminar Weaviate RAG und generative Suche

Dieses praxisorientierte Seminar behandelt Retrieval-Augmented Generation, Dokumentvorbereitung, Chunking, Vektorisierung, Hybrid Retrieval, Reranking, Single- und Grouped-Task, Prompt-Design, Quellenbindung, Evaluation und Produktionsbetrieb. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• RAG-Zielbild und Qualitätskriterien
• Dokumentaufbereitung
• Collection und Vektorisierung
• Retrieval-Pipeline
• Generative Suche
• Evaluation
• Produktionsbetrieb
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen RAG-Zielbild und Qualitätskriterien, Retrieval-Pipeline und Produktionsbetrieb strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. RAG-Zielbild und Qualitätskriterien

Schwerpunkt: Fragetypen, Wissensquellen, Aktualität, Antwortgrenzen, Quellenanforderung, Latenz, Kosten und Datenschutz.

1. Anforderungen für RAG-Zielbild und Qualitätskriterien erfassen: Fragetypen, Wissensquellen, Aktualität, Antwortgrenzen, Quellenanforderung, Latenz, Kosten und Datenschutz; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. Dokumentaufbereitung

Schwerpunkt: Extraktion, Bereinigung, Chunking, Überlappung, Metadaten, UUIDs, Versionen und Löschstrategie.

1. Anforderungen für Dokumentaufbereitung erfassen: Extraktion, Bereinigung, Chunking, Überlappung, Metadaten, UUIDs, Versionen und Löschstrategie; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Collection und Vektorisierung

Schwerpunkt: Properties, Vektorisierer, Named Vectors, Generativmodell, Modellparameter und technische Verbindung.

1. Anforderungen für Collection und Vektorisierung erfassen: Properties, Vektorisierer, Named Vectors, Generativmodell, Modellparameter und technische Verbindung; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Retrieval-Pipeline

Schwerpunkt: Vektor-, Keyword- und Hybridabfrage, Filter, Kandidatenmenge, Reranking, Distanz- und Score-Grenzen.

1. Anforderungen für Retrieval-Pipeline erfassen: Vektor-, Keyword- und Hybridabfrage, Filter, Kandidatenmenge, Reranking, Distanz- und Score-Grenzen; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Generative Suche

Schwerpunkt: Single Prompt, Grouped Task, Kontextformat, Quellenmarker, Antwortformat, Unsicherheit und leere Treffer.

1. Anforderungen für Generative Suche erfassen: Single Prompt, Grouped Task, Kontextformat, Quellenmarker, Antwortformat, Unsicherheit und leere Treffer; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Evaluation

Schwerpunkt: Retrieval-Relevanz, Antworttreue, Vollständigkeit, Halluzinationen, Testdatensatz, Regression und Freigabeschwellen.

1. Anforderungen für Evaluation erfassen: Retrieval-Relevanz, Antworttreue, Vollständigkeit, Halluzinationen, Testdatensatz, Regression und Freigabeschwellen; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

7. Produktionsbetrieb

Schwerpunkt: Caching, Timeouts, Retry, Modellfehler, Monitoring, Kostenkontrolle, Feedback und Aktualisierung der Wissensbasis.

1. Anforderungen für Produktionsbetrieb erfassen: Caching, Timeouts, Retry, Modellfehler, Monitoring, Kostenkontrolle, Feedback und Aktualisierung der Wissensbasis; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: RAG-Zielbild und Qualitätskriterien – Fragetypen, Wissensquellen, Aktualität, Antwortgrenzen, Quellenanforderung, Latenz, Kosten und Datenschutz in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: Collection und Vektorisierung – Properties, Vektorisierer, Named Vectors, Generativmodell, Modellparameter und technische Verbindung in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Evaluation – Retrieval-Relevanz, Antworttreue, Vollständigkeit, Halluzinationen, Testdatensatz, Regression und Freigabeschwellen in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Produktionsbetrieb – Caching, Timeouts, Retry, Modellfehler, Monitoring, Kostenkontrolle, Feedback und Aktualisierung der Wissensbasis in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

AI Engineers, ML Engineers, Backend-Entwickler, Data Scientists und Teams für Wissensassistenten oder generative Suche.

Voraussetzungen

Grundkenntnisse in Weaviate, Embeddings und generativen Sprachmodellen sowie Programmiererfahrung.