Seminar Milvus – Hybrid Search und Reranking

Das Seminar verbindet Dense Embeddings, Sparse beziehungsweise BM25-Signale, mehrere Vektorfelder und Metadatenfilter zu einer kontrollierten Hybrid-Suche. Kandidatenerzeugung, Score-Normalisierung, Fusion, Reranking, Evaluation und Latenzbudgets werden in einem durchgängigen Suchsystem praktisch umgesetzt.

Inhaltsverzeichnis

1. Zielsetzung
2. Retrieval-Signale und Sucharchitektur
3. Dense-, Sparse- und Multi-Vector-Abfragen
4. Score-Normalisierung und Fusion
5. Reranking mit zusätzlichen Modellen
6. Metadaten, Geschäftsregeln und Diversität
7. Evaluation und Fehleranalyse
8. Produktionsreife Hybrid-Pipeline
9. Praxisprojekt
10. Zielgruppe und Voraussetzungen
11. Arbeitsweise

Zielsetzung

• Mehrere Retrieval-Signale anhand ihrer Stärken und Fehlerbilder kombinieren
• Dense-, Sparse- und Multi-Vector-Suchen in Milvus strukturiert aufbauen
• Scores normalisieren und gewichtete oder rangbasierte Fusion korrekt einsetzen
• Cross-Encoder und weitere Reranker in ein begrenztes Latenzbudget integrieren
• Hybrid-Pipelines mit Ground Truth, Offline-Metriken und Fehleranalysen optimieren

Retrieval-Signale und Sucharchitektur

Hybrid Search ist kein einzelner Algorithmus, sondern eine Pipeline aus komplementären Kandidatenquellen und Rankingstufen.

1. Schritt 1: Suchintentionen analysieren: Exakte Begriffe, semantische Umschreibungen, Produktcodes, Eigennamen und multimodale Signale werden klassifiziert.
2. Schritt 2: Kandidatenquellen wählen: Dense-Vektoren, Sparse-Vektoren, BM25, mehrere Embedding-Felder und Filter werden ihren Stärken zugeordnet.
3. Schritt 3: Stufenmodell entwerfen: Recall-orientierte Kandidatenerzeugung, Fusion, Reranking und Ergebnisaufbereitung erhalten klare Schnittstellen.

Praxisübung: Entwurf einer Hybrid-Sucharchitektur für einen heterogenen Dokumentbestand.

Dense-, Sparse- und Multi-Vector-Abfragen

Mehrere Suchpfade werden mit konsistenten Filtern und kontrollierten Kandidatenmengen parallel ausgeführt.

1. Schritt 1: Felder und Indizes vorbereiten: Dense-, Sparse- und weitere Vektorfelder werden mit passender Metrik und Indexstrategie konfiguriert.
2. Schritt 2: Teilabfragen definieren: Suchparameter, Top-K, Filter, Partitionen und Rückgabefelder werden pro Signal festgelegt.
3. Schritt 3: Kandidaten vereinheitlichen: IDs, Scores, Ränge, Herkunft und Metadaten werden in ein gemeinsames Zwischenformat überführt.

Praxisübung: Implementierung paralleler Teilabfragen mit reproduzierbarer Kandidatenzusammenführung.

Score-Normalisierung und Fusion

Scores aus unterschiedlichen Metriken sind nicht direkt vergleichbar. Fusion muss Rangfolge, Skalierung und Ausreißer berücksichtigen.

1. Schritt 1: Scoreverhalten untersuchen: Distanzrichtung, Wertebereich, Verteilung und Query-Abhängigkeit werden für jedes Signal gemessen.
2. Schritt 2: Fusionsverfahren wählen: Gewichtete Score-Fusion und rangbasierte Verfahren werden hinsichtlich Stabilität und Interpretierbarkeit verglichen.
3. Schritt 3: Gewichte abstimmen: Signalgewichte, Kandidatenzahl und Normalisierung werden anhand einer Validierungsmenge optimiert.

Praxisübung: Vergleich mehrerer Fusionsvarianten mit dokumentierter Rankingwirkung.

Reranking mit zusätzlichen Modellen

Ein Reranker bewertet eine kleinere Kandidatenmenge genauer und kann Kontext, Reihenfolge oder mehrere Merkmale berücksichtigen.

1. Schritt 1: Reranker auswählen: Cross-Encoder, ColBERT-ähnliche Verfahren, regelbasierte Signale und domänenspezifische Modelle werden eingeordnet.
2. Schritt 2: Kandidatenbudget setzen: Top-N für Reranking, Batchgröße, Parallelität und Timeout werden an Qualitäts- und Latenzziele angepasst.
3. Schritt 3: Fehlerfälle behandeln: Modellausfall, langsame Antwort, fehlender Text und maximale Eingabelänge erhalten Fallback-Regeln.

Praxisübung: Integration eines Rerankers mit Timeout, Fallback und Vorher-Nachher-Messung.

Metadaten, Geschäftsregeln und Diversität

Fachliche Anforderungen gehen über reine Relevanz hinaus. Berechtigung, Aktualität, Diversität und Deduplizierung werden in die Pipeline eingebaut.

1. Schritt 1: Harte Filter anwenden: Mandant, Zugriffsrecht, Sprache, Status und Gültigkeitszeitraum werden vor oder während der Kandidatensuche erzwungen.
2. Schritt 2: Weiche Signale ergänzen: Aktualität, Qualität, Popularität und Quellenvertrauen werden als nachvollziehbare Rankingmerkmale verwendet.
3. Schritt 3: Ergebnisvielfalt steuern: Nahezu identische Chunks, gleiche Dokumente und einseitige Kategorien werden begrenzt.

Praxisübung: Erweiterung einer Hybrid-Pipeline um Berechtigungsfilter, Deduplizierung und Diversitätsregel.

Evaluation und Fehleranalyse

Optimierungen werden mit repräsentativen Fragen und klaren Metriken statt anhand einzelner Erfolgserlebnisse bewertet.

1. Schritt 1: Ground Truth strukturieren: Query-Klassen, relevante Dokumente, schwierige Negativbeispiele und fachliche Prioritäten werden erfasst.
2. Schritt 2: Stufen messen: Recall der Kandidaten, nDCG, MRR, Precision, Reranker-Gewinn und Latenz werden getrennt ausgewertet.
3. Schritt 3: Fehler kategorisieren: Fehlende Kandidaten, falsche Fusion, Reranker-Fehler, Filterverlust und Datenqualitätsprobleme werden unterschieden.

Praxisübung: Durchführung einer Ablationsanalyse für Dense, Sparse, Fusion und Reranking.

Produktionsreife Hybrid-Pipeline

Die finale Pipeline erhält Konfiguration, Observability, Versionierung und sichere Rollout-Verfahren.

1. Schritt 1: Konfiguration versionieren: Modelle, Analyzer, Gewichte, Top-K, Filter und Rerankerparameter werden als freigabefähige Version geführt.
2. Schritt 2: Telemetrie ergänzen: Teilabfragelatenz, Kandidatenüberlappung, Fallback, Ergebnisverteilung und Qualitätsstichproben werden erfasst.
3. Schritt 3: Rollout absichern: Offline-Abnahme, Shadow Traffic, A/B-Test, schrittweise Aktivierung und Rollback werden geplant.

Praxisübung: Abnahme einer vollständigen Hybrid-Suche mit Qualitäts-, Latenz- und Betriebsprotokoll.

Praxisprojekt

Alle Übungen werden in einer zusammenhängenden Laborumgebung durchgeführt. Ausgangsdaten, Konfiguration, Messwerte und Änderungen werden versioniert dokumentiert. Die technische Abnahme umfasst Funktionsfälle, definierte Fehlerfälle, Qualitätskontrollen und einen reproduzierbaren Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: Search Engineering, AI Engineering, Data Science, Machine Learning Engineering, Softwareentwicklung und technische Produktverantwortung.

Voraussetzungen: Gute Kenntnisse zu Milvus, Embeddings und Similarity Search; Grundlagen zu BM25 beziehungsweise Sparse Search und Python sind hilfreich.

Arbeitsweise

Fachliche Einordnung, technische Demonstrationen und schrittweise Übungen wechseln sich ab. Jede Konfiguration wird begründet, praktisch geprüft und anhand klarer Erfolgskriterien dokumentiert. Dadurch entsteht eine direkt übertragbare Arbeitsgrundlage für Entwicklung, Architektur oder Betrieb.