Seminar Milvus – Intensivseminar RAG, Hybrid Search und multimodale KI

Das Intensivseminar entwickelt eine anspruchsvolle KI-Suchanwendung mit Milvus. Dokument-, Bild- und Audiodaten werden aufgenommen, eingebettet und in mehreren Retrieval-Pfaden durchsucht; Dense, BM25, Hybrid Search, Reranking und RAG werden mit Evaluation, Sicherheit, Performance und Betriebsverfahren verbunden.

Inhaltsverzeichnis

1. Zielsetzung
2. KI-Sucharchitektur und Qualitätsziele
3. Dokument-, Bild- und Audio-Ingestion
4. Embeddingmodelle und Multi-Vector-Schema
5. Dense Retrieval und Metadatenfilter
6. Full-Text Search und BM25
7. Hybrid und Cross-Modal Search
8. Reranking und Kontextaufbau
9. RAG-Antwort und Sicherheitsgrenzen
10. Evaluation, Performance und Betrieb
11. Einordnung in das Seminarprogramm
12. Praxisprojekt
13. Zielgruppe und Voraussetzungen
14. Arbeitsweise

Zielsetzung

• RAG- und multimodale Sucharchitekturen mit klaren Daten- und Qualitätsgrenzen entwerfen
• Text-, Bild- und Audiopipelines einschließlich Embeddings und Versionierung aufbauen
• Dense-, Sparse-, Multi-Vector- und Cross-Modal-Retrieval in Milvus implementieren
• Fusion, Reranking, Kontextaufbau und generative Antwort kontrolliert gestalten
• Qualität, Sicherheit, Latenz, Kosten und laufende Verbesserung praktisch absichern

KI-Sucharchitektur und Qualitätsziele

RAG und multimodale Suche werden als mehrstufiges Retrievalsystem mit getrennten Qualitäts- und Sicherheitsgrenzen entworfen.

1. Schritt 1: Such- und Antwortfälle bestimmen: Fragen, exakte Begriffe, Bildähnlichkeit, Audiosegmente und Cross-Modal-Suche werden klassifiziert.
2. Schritt 2: SLOs und Qualitätsziele setzen: Retrieval-Recall, Faktentreue, Latenz, Kosten, Zugriffstreue und Ablehnungsverhalten werden definiert.
3. Schritt 3: Komponenten abgrenzen: Ingestion, Modelle, Milvus, Retriever, Reranker, Kontextbuilder, Sprachmodell und Anwendung erhalten Schnittstellen.

Praxisübung: Erstellung eines End-to-End-Zielbilds mit Qualitäts- und Sicherheitskontrollen.

Dokument-, Bild- und Audio-Ingestion

Heterogene Quellen werden reproduzierbar extrahiert, segmentiert und mit Herkunftsdaten versehen.

1. Schritt 1: Quellen verarbeiten: Dokumente, Bilder, OCR, Audio, Transkripte und Metadaten werden in ein gemeinsames Pipelineformat überführt.
2. Schritt 2: Segmente bilden: Textchunks, Bildregionen und Audiospannen werden nach Suchgranularität und Kontextbedarf definiert.
3. Schritt 3: Qualität kontrollieren: Dubletten, leere Inhalte, schlechte OCR, beschädigte Medien und veraltete Fassungen werden isoliert.

Praxisübung: Aufbau einer multimodalen Ingestion mit Qualitätsreport und Quarantäne.

Embeddingmodelle und Multi-Vector-Schema

Jede Modalität erhält eine passende Repräsentation; gemeinsame IDs und Metadaten verbinden die Vektorfelder.

1. Schritt 1: Modelle auswählen: Text-, Bild-, Audio- und Cross-Modal-Modelle werden nach Domäne, Dimension, Sprache und Laufzeit bewertet.
2. Schritt 2: Schema modellieren: Dense-, Sparse- und modality-spezifische Felder, Originaltext, Zeitbezug, Rechte und Versionen werden definiert.
3. Schritt 3: Versionierung absichern: Modell, Vorverarbeitung, Chunking und Pipelinefassung werden für Re-Embedding nachvollziehbar gespeichert.

Praxisübung: Implementierung eines Multi-Vector-Schemas mit mehreren Embeddingversionen.

Dense Retrieval und Metadatenfilter

Semantische Kandidatensuche wird mit zwingenden Zugriffs- und Gültigkeitsfiltern kombiniert.

1. Schritt 1: Querytyp erkennen: Text-, Bild- oder Audioquery wird dem passenden Embedding- und Suchpfad zugeordnet.
2. Schritt 2: Dense Search ausführen: Vektorfeld, Metrik, Indexparameter, Top-K und Rückgabefelder werden gesetzt.
3. Schritt 3: Filter erzwingen: Mandant, Rolle, Sprache, Zeitraum, Modalität und Status werden Ende-zu-Ende geprüft.

Praxisübung: Aufbau mehrerer Dense Retriever mit gemeinsamer Zugriffskontrolle.

Full-Text Search und BM25

Lexikalische Suche ergänzt Dense Retrieval für Eigennamen, Codes, seltene Begriffe und exakte Textstellen.

1. Schritt 1: Analyzer entwerfen: Tokenisierung, Normalisierung, Stopwörter und Fachbegriffe werden anhand des Korpus getestet.
2. Schritt 2: Sparse Retrieval aufbauen: Text- und Sparse-Feld, BM25-Funktion, Index und Filter werden integriert.
3. Schritt 3: Fehlerbilder vergleichen: Dense und BM25 werden nach Queryklasse, Recall und Rangposition ausgewertet.

Praxisübung: Implementierung und Evaluation eines BM25-Pfads für Dokumente und Transkripte.

Hybrid und Cross-Modal Search

Kandidaten aus mehreren Feldern und Modalitäten werden zu einer einheitlichen Rangfolge verbunden.

1. Schritt 1: Teilabfragen orchestrieren: Dense Text, BM25, Bild-, Audio- und Cross-Modal-Suche erhalten Kandidatenbudgets und Timeouts.
2. Schritt 2: Scores fusionieren: Normalisierung, gewichtete Fusion und Rangfusion werden gegen unterschiedliche Queryklassen getestet.
3. Schritt 3: Vielfalt steuern: Deduplizierung, Parent-Child-Zusammenführung, Modalitätsbalance und Quellenvielfalt werden angewendet.

Praxisübung: Umsetzung einer Hybridabfrage, die Text-, Bild- und Audioergebnisse gemeinsam rankt.

Reranking und Kontextaufbau

Eine begrenzte Kandidatenmenge wird genauer bewertet und für das Sprachmodell kuratiert.

1. Schritt 1: Reranker integrieren: Cross-Encoder oder modality-spezifische Modelle werden mit Batch, Timeout und Fallback eingesetzt.
2. Schritt 2: Kontextbudget verwalten: Relevanz, Diversität, Dokumentstruktur, Tokenbudget und zeitliche Segmente werden berücksichtigt.
3. Schritt 3: Provenienz erhalten: Quelle, Dokument, Abschnitt, Medienzeit, Modellversion und Zugriffsentscheidung bleiben nachvollziehbar.

Praxisübung: Entwicklung eines Reranking- und Kontextbuilders für gemischte Modalitäten.

RAG-Antwort und Sicherheitsgrenzen

Generative Antworten werden an den bereitgestellten Kontext gebunden und gegen Datenabfluss sowie Prompt Injection geschützt.

1. Schritt 1: Promptvertrag definieren: Aufgabe, erlaubter Kontext, Antwortformat, Unsicherheit und Nichtbeantwortbarkeit werden festgelegt.
2. Schritt 2: Zugriff und Datenschutz prüfen: Berechtigung, Mandant, Löschung, personenbezogene Daten und Protokollierung werden durchgängig behandelt.
3. Schritt 3: Injection begrenzen: Dokumentanweisungen, Toolzugriffe, externe Aktionen und unerlaubte Kontextwechsel werden kontrolliert.

Praxisübung: Red-Team-Test einer RAG-Antwort mit unzulässigem Kontext und Prompt Injection.

Evaluation, Performance und Betrieb

Retrieval, Reranking und Antwort werden getrennt gemessen und als produktiver Service betrieben.

1. Schritt 1: Evaluationsset aufbauen: Text-, Bild-, Audio-, Cross-Modal-, unbeantwortbare und berechtigungskritische Fälle werden kuratiert.
2. Schritt 2: Stufen messen: Recall, nDCG, MRR, Reranker-Gewinn, Faktentreue, Latenz, Kosten und Fallbacks werden ausgewertet.
3. Schritt 3: Betrieb etablieren: Telemetrie, Modellwechsel, Re-Embedding, A/B-Test, Kapazität, Runbooks und Rollback werden vorbereitet.

Praxisübung: End-to-End-Abnahme des KI-Suchprojekts mit Qualitäts-, Sicherheits- und Betriebsbericht.

Einordnung in das Seminarprogramm

Das Format verdichtet die folgenden eigenständigen Themenfelder. Die Vertiefungsseminare bleiben für rollenbezogene Spezialisierung und zusätzliche Übungszeit geeignet.

• Milvus – Embeddings und Vektordaten verstehen
• Milvus – Datenmodellierung, Collections und Schemas
• Milvus – Datenimport, ETL und Bulk Operations
• Milvus – Full-Text Search und BM25
• Milvus – Hybrid Search und Reranking
• Milvus – Multimodale Suche mit Text, Bild und Audio
• Milvus – RAG-Anwendungen entwickeln
• Milvus – Entwicklung und Integrationen mit Python, LangChain und LlamaIndex
• Milvus – Indexierung und Similarity Metrics
• Milvus – Performance Tuning und Benchmarking
• Milvus – Sicherheit, Authentifizierung und RBAC

Praxisprojekt

Alle Übungen werden in einer zusammenhängenden Laborumgebung durchgeführt. Ausgangsdaten, Konfiguration, Messwerte und Änderungen werden versioniert dokumentiert. Die technische Abnahme umfasst Funktionsfälle, definierte Fehlerfälle, Qualitätskontrollen und einen reproduzierbaren Wiederanlauf.

Zielgruppe und Voraussetzungen

Zielgruppe: AI Engineering, Machine Learning Engineering, Search Engineering, Data Engineering, Softwareentwicklung, Computer Vision, Audio Engineering und Solution Architecture.

Voraussetzungen: Gute Kenntnisse zu Python, Embeddings und API-Entwicklung; Grundkenntnisse von Milvus, Sprachmodellen und Retrieval-Evaluation werden vorausgesetzt.

Arbeitsweise

Fachliche Einordnung, technische Demonstrationen und schrittweise Übungen wechseln sich ab. Jede Konfiguration wird begründet, praktisch geprüft und anhand klarer Erfolgskriterien dokumentiert. Dadurch entsteht eine direkt übertragbare Arbeitsgrundlage für Entwicklung, Architektur oder Betrieb.