Seminar Weaviate Hybrid Search, BM25 und Reranking

Dieses praxisorientierte Seminar behandelt Keyword-Retrieval mit BM25F, semantische Vektorsuche, Hybrid-Fusion, Alpha-Gewichtung, Suchoperatoren, Kandidatenauswahl, Reranking und messbare Relevanzoptimierung. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• Retrieval-Baselines
• BM25F und Textverarbeitung
• Hybrid-Fusion
• Kandidaten und Abfragekontrolle
• Reranking
• Relevanzoptimierung
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen Retrieval-Baselines, Kandidaten und Abfragekontrolle und Relevanzoptimierung strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. Retrieval-Baselines

Schwerpunkt: Suchintents, Testanfragen, Relevanzurteile, Keyword-Baseline, Vektor-Baseline und Fehlertypen.

1. Anforderungen für Retrieval-Baselines erfassen: Suchintents, Testanfragen, Relevanzurteile, Keyword-Baseline, Vektor-Baseline und Fehlertypen; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. BM25F und Textverarbeitung

Schwerpunkt: suchbare Properties, Tokenisierung, Feldgewichtung, seltene Begriffe, Fachsprache, Operatoren und Explain-Daten.

1. Anforderungen für BM25F und Textverarbeitung erfassen: suchbare Properties, Tokenisierung, Feldgewichtung, seltene Begriffe, Fachsprache, Operatoren und Explain-Daten; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Hybrid-Fusion

Schwerpunkt: Alpha, relative und rangbasierte Fusion, Zielvektor, Properties, Grenzwerte und Ergebnis-Metadaten.

1. Anforderungen für Hybrid-Fusion erfassen: Alpha, relative und rangbasierte Fusion, Zielvektor, Properties, Grenzwerte und Ergebnis-Metadaten; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Kandidaten und Abfragekontrolle

Schwerpunkt: Limit, Autocut, Distanz, Score-Schwellen, Filter, Gruppenbildung und robuste Standardabfragen.

1. Anforderungen für Kandidaten und Abfragekontrolle erfassen: Limit, Autocut, Distanz, Score-Schwellen, Filter, Gruppenbildung und robuste Standardabfragen; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Reranking

Schwerpunkt: Kandidatenmenge, Reranker-Modell, Property-Auswahl, Zusatzinformationen, Latenzbudget und Fehlerbehandlung.

1. Anforderungen für Reranking erfassen: Kandidatenmenge, Reranker-Modell, Property-Auswahl, Zusatzinformationen, Latenzbudget und Fehlerbehandlung; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Relevanzoptimierung

Schwerpunkt: Testkorpus, Kennzahlen, Parametervergleich, Regressionstests, Freigabekriterien und dokumentierte Suchprofile.

1. Anforderungen für Relevanzoptimierung erfassen: Testkorpus, Kennzahlen, Parametervergleich, Regressionstests, Freigabekriterien und dokumentierte Suchprofile; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: Retrieval-Baselines – Suchintents, Testanfragen, Relevanzurteile, Keyword-Baseline, Vektor-Baseline und Fehlertypen in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: BM25F und Textverarbeitung – suchbare Properties, Tokenisierung, Feldgewichtung, seltene Begriffe, Fachsprache, Operatoren und Explain-Daten in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Hybrid-Fusion – Alpha, relative und rangbasierte Fusion, Zielvektor, Properties, Grenzwerte und Ergebnis-Metadaten in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Kandidaten und Abfragekontrolle – Limit, Autocut, Distanz, Score-Schwellen, Filter, Gruppenbildung und robuste Standardabfragen in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

Search Engineers, Backend-Entwickler, Data Scientists, RAG-Teams und technische Produktverantwortliche.

Voraussetzungen

Grundkenntnisse in Weaviate, Vektorsuche und Datenmodellierung.