Seminar Qdrant – Intensivseminar Entwicklung und Retrieval Engineering

Das fünftägige Intensivformat bündelt die entwicklungs- und retrievalorientierten Seminare zu einem durchgängigen Suchprojekt. Vom ersten Vektor und einem sauberen Payload-Schema führt der Lernpfad über API-Integration, Modellwahl und mehrstufige Queries bis zu RAG, Empfehlung und Evaluation.

Die Inhalte werden nicht als lose Funktionssammlung behandelt. Datenmodell, Embeddingvertrag, Filter, Retrieval, Reranking, Anwendungsschnittstelle und Qualitätsmessung werden gemeinsam entwickelt, sodass technische Entscheidungen und ihre Wirkung auf Relevanz, Latenz und Wartbarkeit sichtbar bleiben.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Collections, Vektorfelder, Payloads und Indizes passend zum Fachmodell entwerfen
• REST, gRPC und Client-SDKs in eine robuste Serviceschicht integrieren
• Dense, Sparse, Hybrid, multimodale und mehrvektorielle Retrievalverfahren kombinieren
• Query API, Filter, Fusion, Formula Query und Reranking kontrolliert einsetzen
• RAG- und Empfehlungsanwendungen mit Testsets, Kennzahlen und produktionsnahen Schnittstellen absichern

Zielgruppe

Backend-Entwicklung, Search Engineering, RAG- und GenAI-Entwicklung, Machine-Learning-Engineering, Data Engineering und Solution-Architektur.

Voraussetzungen

Sichere Programmierpraxis, vorzugsweise Python, sowie Grundlagen zu HTTP, JSON, Datenmodellierung, Embeddings und maschinellem Lernen. Erfahrung mit Suchsystemen ist hilfreich.

Seminarinhalte

Tag 1: Grundlagen, Datenmodell und semantische Suche

1. Schritt 1: Suchproblem und Qualitätsziel bestimmen

   Fachliche Anfragen, Datenarten, Ähnlichkeitsbegriff, Filter, Latenz, Aktualität und messbare Relevanzziele werden festgelegt.

2. Schritt 2: Vektoren und Distanzmetriken einordnen

   Embeddingraum, Dimension, Cosine, Dot Product, Euclidean und Modellkonsistenz werden anhand konkreter Beispiele untersucht.

3. Schritt 3: Collection-Schema entwerfen

   Vektorgröße, Distanz, benannte Vektoren, IDs, Payload-Felder, Nullwerte, Arrays und Lebenszyklus werden als stabiler Vertrag modelliert.

4. Schritt 4: Payload-Indizes planen

   Keyword-, Integer-, Float-, Boolean-, Datetime-, Geo-, Text- und Tenant-Indizes werden nur für tatsächlich gefilterte Felder angelegt.

5. Schritt 5: Erste Suchpipeline umsetzen

   Upsert, Search, Query, Filter, Score-Grenze, Payload-Projektion und Ergebnisinterpretation werden an einem kleinen Korpus praktisch verbunden.

Tag 2: APIs, Client-SDKs und Embedding-Pipeline

1. Schritt 6: Schnittstelle und Client auswählen

   REST, gRPC und typisierte SDKs werden nach Latenz, Parallelität, Tooling und Betriebsanforderungen bewertet.

2. Schritt 7: Serviceschicht implementieren

   Verbindung, Authentifizierung, Zeitüberschreitung, Collection-Management, Upsert, Update, Delete und Query werden sauber gekapselt.

3. Schritt 8: Batch-Ingestion robust gestalten

   Stabile IDs, Chunking, Metadaten, Batch-Größe, Parallelität, Teilfehler, Wiederholung und inkrementelle Aktualisierung werden umgesetzt.

4. Schritt 9: Embeddingvertrag festlegen

   Modell, Dimension, Normalisierung, Prefixe, Version, Batchbildung und Vektorfeld werden versionierbar dokumentiert.

5. Schritt 10: FastEmbed und Inference integrieren

   Lokale beziehungsweise servernahe Einbettung, Dense- und Sparse-Modelle, Dokument- und Querypfade sowie Fehlerbehandlung werden praktisch verbunden.

Tag 3: Query API, Filter und Hybrid Retrieval

1. Schritt 11: Query-Familie einsetzen

   Nearest, ID-basierte Suche, Recommendation, Discovery, Scroll, Grouping und Sortierung werden den passenden Fachfällen zugeordnet.

2. Schritt 12: Komplexe Filter formulieren

   Must, Should, Must Not, Range, Nested, Geo, Volltext, tenantbezogene Bedingungen und erforderliche Indizes werden getestet.

3. Schritt 13: Mehrstufige Prefetch-Pipelines bauen

   Dense- und Sparse-Abfragen, getrennte Vektorfelder, Filter und Kandidatenlimits werden in einer Query-Struktur verbunden.

4. Schritt 14: Fusion und Scoring abstimmen

   RRF, DBSF, Formula Query, Payload-Boosts, Aktualitäts- und Distanz-Decay werden transparent und testbar eingesetzt.

5. Schritt 15: Hybridqualität messen

   Dense, Sparse, Fusion und fachliches Scoring werden auf einem gemeinsamen Testset nach Recall, Rangqualität und Latenz verglichen.

Tag 4: Multimodalität, Multivektoren und Reranking

1. Schritt 16: Mehrere Repräsentationen modellieren

   Text, Bild, Metadaten, semantische und lexikalische Signale werden als benannte Vektoren oder getrennte Retrievalpfade angelegt.

2. Schritt 17: Multimodale Suche entwickeln

   Text-zu-Text, Text-zu-Bild, Bild-zu-Bild und kombinierte Anfragen werden mit gemeinsamem Payload- und Filtermodell umgesetzt.

3. Schritt 18: Multivektoren und Late Interaction einsetzen

   Token- oder Segmentvektoren, Vergleichsfunktion, MaxSim und Speicherwirkung werden anhand eines rerankbaren Kandidatensets erprobt.

4. Schritt 19: Reranking integrieren

   Cross-Encoder, Late Interaction oder andere Präzisionsmodelle werden mit Kandidatenlimit, Batchbildung und Zeitbudget verbunden.

5. Schritt 20: Retrievalstufen optimieren

   Recall-orientierte Vorauswahl, präzise Neubewertung, Ergebnisprojektion, Cache und Rückfallstrategie werden als stabile Pipeline dokumentiert.

Tag 5: RAG, Recommendation und Evaluation

1. Schritt 21: RAG-Kontext aufbauen

   Chunk-Auswahl, Deduplizierung, Nachbarschaft, Tokenbudget, Rechtefilter, Quellenmetadaten und Kontextreihenfolge werden umgesetzt.

2. Schritt 22: Retrieval-Service bereitstellen

   Ingestion, Query, Reranking, Kontextpaket, Fehlerbehandlung, Protokollierung und API-Vertrag werden zu einem Ende-zu-Ende-Dienst verbunden.

3. Schritt 23: Recommendation und Discovery ergänzen

   Positive und negative Beispiele, Nutzer- und Objektvektoren, Cold Start, Ausschlüsse und fachliche Filter werden in einen zweiten Anwendungsfall überführt.

4. Schritt 24: Qualität systematisch evaluieren

   Goldfragen, relevante Dokumente, Hit Rate, Recall, MRR, nDCG, Fehlertypen und Relevance Feedback bilden die kontinuierliche Qualitätskontrolle.

5. Schritt 25: Produktionsprototyp abnehmen

   Lasttest, Berechtigungsprüfung, Modell- und Schemaänderung, Monitoringpunkte, Dokumentation und Übergabekriterien schließen das Projekt ab.

Praxisübungen

• Ein vollständiges Collection-, Payload- und Indexschema für einen fachlichen Suchkorpus entwerfen
• Eine robuste Ingestion- und Query-Serviceschicht mit Client-SDK und Embedding-Pipeline implementieren
• Dense, Sparse, Fusion, Formula Query und Filter auf einem gemeinsamen Testset vergleichen
• Eine multimodale oder mehrvektorielle Kandidaten- und Reranking-Pipeline aufbauen
• Einen RAG-Retrieval-Service und eine gefilterte Empfehlungsfunktion mit Evaluation bereitstellen

Methodik

Kurze Fachimpulse werden unmittelbar mit Demonstrationen, angeleiteten Laboraufgaben, Mess- und Kontrollpunkten sowie dokumentierten Praxisübungen verbunden. Jeder Arbeitsschritt endet mit einer technischen Prüfung, einer Einordnung typischer Fehlerbilder und einem wiederverwendbaren Ergebnis für den eigenen Projekt- oder Betriebskontext.