Seminar Milvus – Full-Text Search und BM25

Das Seminar ergänzt semantische Vektorsuche um lexikalische Volltextsuche mit BM25. Textanalyse, Analyzer-Konfiguration, Sparse-Repräsentationen, Indexierung, Abfrageparameter, Qualitätsmessung und die Verbindung zu Hybrid Search werden praxisnah aufgebaut.

Inhaltsverzeichnis

1. Zielsetzung
2. Lexikalische und semantische Suche
3. Textfelder und Analyzer-Design
4. Schema und BM25-Funktion
5. Abfragen, Filter und Rankingparameter
6. Evaluation und Übergang zu Hybrid Search
7. Praxisprojekt
8. Zielgruppe und Voraussetzungen
9. Arbeitsweise

Zielsetzung

• Unterschiede zwischen semantischer und lexikalischer Suche begründen
• Textfelder, Tokenisierung, Normalisierung und Analyzer fachgerecht konfigurieren
• BM25-basierte Sparse-Repräsentationen in Milvus modellieren und indexieren
• Volltextabfragen, Filter und Suchparameter kontrolliert einsetzen
• Qualität und Einsatzgrenzen mit realistischen Testfragen bewerten

Lexikalische und semantische Suche

BM25 bewertet die Übereinstimmung von Begriffen, während Dense Embeddings semantische Nähe modellieren. Beide Verfahren besitzen unterschiedliche Stärken und Fehlerbilder.

1. Schritt 1: Suchintentionen klassifizieren: Exakte Begriffe, Produktcodes, Eigennamen, Fachtermini, Umschreibungen und kontextuelle Fragen werden unterschieden.
2. Schritt 2: Rankingprinzip verstehen: Termfrequenz, Dokumentlänge, inverse Dokumenthäufigkeit und Dense-Ähnlichkeit werden vergleichbar erläutert.
3. Schritt 3: Einsatzgrenzen bestimmen: Synonyme, Tippfehler, seltene Begriffe, mehrsprachige Inhalte und sehr kurze Texte werden bewertet.

Praxisübung: Vergleich von Dense- und BM25-Ergebnissen für mehrere Suchintentionen.

Textfelder und Analyzer-Design

Die Analyzer-Kette entscheidet, welche Terme im Sparse-Signal verfügbar sind. Sprache und Domäne müssen explizit berücksichtigt werden.

1. Schritt 1: Eingabetext vorbereiten: Unicode, Groß-/Kleinschreibung, Satzzeichen, HTML-Reste und strukturierte Werte werden behandelt.
2. Schritt 2: Tokenisierung wählen: Wortgrenzen, zusammengesetzte Begriffe, Codes, Bindestriche und sprachspezifische Besonderheiten werden getestet.
3. Schritt 3: Normalisierung festlegen: Stopwörter, Stemming, Lemmatization, Synonyme und benutzerdefinierte Filter werden nach Nutzen und Risiko bewertet.

Praxisübung: Entwicklung und Test einer Analyzer-Konfiguration für einen domänenspezifischen Dokumentbestand.

Schema und BM25-Funktion

Textfeld, Sparse-Vektorfeld und Funktion werden konsistent in das Collection-Schema integriert.

1. Schritt 1: Felder modellieren: Primärschlüssel, Originaltext, filterbare Metadaten und Sparse-Ausgabefeld werden definiert.
2. Schritt 2: Funktion konfigurieren: Eingabefeld, Ausgabefeld, Analyzer und BM25-Parameter werden nachvollziehbar gesetzt.
3. Schritt 3: Index erstellen: Geeigneter Sparse-Index, Build-Prozess und Ladezustand werden eingerichtet und kontrolliert.

Praxisübung: Aufbau einer vollständigen BM25-fähigen Collection mit Testdaten.

Abfragen, Filter und Rankingparameter

Volltextsuche wird mit Filterbedingungen und anwendungsgerechter Ergebnisaufbereitung kombiniert.

1. Schritt 1: Querypfad aufbauen: Suchtext, Sparse-Erzeugung, Suchfeld, Top-K und Rückgabefelder werden verbunden.
2. Schritt 2: Filter ergänzen: Sprache, Dokumenttyp, Zeitraum, Berechtigung und Mandant werden in die Abfrage integriert.
3. Schritt 3: Parameter abstimmen: BM25-Parameter, Ergebnisanzahl und Schwellen werden anhand von Trefferqualität und Latenz variiert.

Praxisübung: Implementierung und Messung mehrerer Volltextabfragen mit Metadatenfiltern.

Evaluation und Übergang zu Hybrid Search

BM25 wird mit einer gepflegten Testmenge bewertet. Anschließend wird entschieden, wann lexikalische und semantische Signale zusammengeführt werden sollten.

1. Schritt 1: Testfragen kuratieren: Exakte, seltene, mehrdeutige und semantische Fragen erhalten erwartete relevante Dokumente.
2. Schritt 2: Qualität messen: Recall@K, MRR, nDCG und Fehlerklassen werden für BM25 und Dense Search verglichen.
3. Schritt 3: Hybridbedarf ableiten: Komplementäre Treffer, Rankingkonflikte und geeignete Fusionsverfahren werden identifiziert.

Praxisübung: Erstellung eines Evaluationsberichts mit Empfehlung für BM25 allein oder hybride Suche.

Praxisprojekt

Alle Übungen werden in einer zusammenhängenden Laborumgebung durchgeführt. Ausgangsdaten, Konfiguration, Messwerte und Änderungen werden versioniert dokumentiert. Die technische Abnahme umfasst Funktionsfälle, definierte Fehlerfälle, Qualitätskontrollen und einen reproduzierbaren Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: Search Engineering, AI Engineering, Data Science, Softwareentwicklung, Information Retrieval, Datenarchitektur und fachliche Suchverantwortung.

Voraussetzungen: Grundkenntnisse von Milvus und Suchsystemen; Erfahrung mit Embeddings ist hilfreich, aber nicht zwingend erforderlich.

Arbeitsweise

Fachliche Einordnung, technische Demonstrationen und schrittweise Übungen wechseln sich ab. Jede Konfiguration wird begründet, praktisch geprüft und anhand klarer Erfolgskriterien dokumentiert. Dadurch entsteht eine direkt übertragbare Arbeitsgrundlage für Entwicklung, Architektur oder Betrieb.