Seminar Qdrant – RAG-Anwendungen und Retrieval-Pipelines

Eine belastbare RAG-Anwendung besteht nicht aus einem einzelnen Top-K-Aufruf. Datenaufnahme, Chunking, Modellvertrag, Filter, Retrieval, Reranking, Kontextbildung, Qualitätsmessung, Sicherheit und Aktualisierung bilden eine zusammenhängende Produktionskette.

Das Seminar entwickelt diese Kette an einem durchgängigen Projekt. Jeder Tag erweitert denselben Prototyp, bis Ingestion, Suche, Kontextbereitstellung, Evaluation und Betrieb reproduzierbar zusammenspielen.

Inhaltsverzeichnis

• Zielsetzung
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Praxisübungen
• Methodik

Zielsetzung

• Datenaufnahme, Chunking und Metadaten für RAG fachgerecht gestalten
• Dense, Sparse und Hybrid Retrieval mit Filtern und Reranking einsetzen
• Kontextpakete nachvollziehbar, begrenzt und quellenbezogen aufbauen
• Retrieval-Qualität mit Testsets, Recall und Rankingkennzahlen messen
• Mandantenfähigkeit, Aktualisierung, Monitoring und Deployment produktionsnah umsetzen

Zielgruppe

RAG- und GenAI-Entwicklung, Backend-Entwicklung, Machine-Learning-Engineering, Data Engineering, Search Engineering und Solution-Architektur.

Voraussetzungen

Sichere Python-Kenntnisse, Qdrant-Grundlagen, Verständnis von Embeddings und grundlegende Erfahrung mit Sprachmodellen und API-Entwicklung.

Seminarinhalte

Tag 1: Datenaufnahme und Wissensmodell

1. Schritt 1: Anwendungsziel und Qualitätskriterien definieren

   Fragetypen, Antwortgrenzen, Aktualität, Berechtigungen, Latenz und messbare Retrieval-Ziele werden festgelegt.

2. Schritt 2: Quellen und Änderungswege erfassen

   Dokumenttypen, führende Systeme, Versionen, Löschung, inkrementelle Updates und Nachvollziehbarkeit werden in einen Datenfluss übersetzt.

3. Schritt 3: Chunking entwickeln

   Abschnittsgrenzen, Überlappung, Tabellen, Metadaten, Dokumenthierarchie und stabile Chunk-IDs werden anhand realer Inhalte erprobt.

4. Schritt 4: Collection- und Payload-Modell anlegen

   Dense, Sparse und optionale Rerank-Vektoren, Mandant, Rechte, Quelle, Version, Zeit und Dokumentstruktur werden modelliert.

5. Schritt 5: Ingestion-Pipeline implementieren

   Extraktion, Bereinigung, Embedding, Batch-Upsert, Fehlerliste, Wiederholung und Fortschrittsmessung werden zu einer reproduzierbaren Strecke verbunden.

Tag 2: Retrieval und Filter

1. Schritt 6: Dense Retrieval als Baseline aufbauen

   Abfrageembedding, Top-K, Score-Verteilung, Payload-Rückgabe und einfache Qualitätsprüfung bilden den Referenzretriever.

2. Schritt 7: Sparse und Hybrid Retrieval ergänzen

   Lexikalische Signale, BM25 beziehungsweise sparse Embeddings, Prefetch und Fusion werden in denselben Query-Vertrag integriert.

3. Schritt 8: Metadaten und Rechte filtern

   Mandant, Benutzergruppe, Dokumentstatus, Sprache, Zeitraum und Quelle werden frühzeitig und indexgestützt eingeschränkt.

4. Schritt 9: Query-Strategien differenzieren

   Kurze Faktenfragen, lange Fachfragen, exakte Begriffe und explorative Anfragen erhalten passende Retriever- und Filterprofile.

5. Schritt 10: Fehlerfälle diagnostizieren

   Zu grobe Chunks, falsches Modell, fehlende Metadaten, ungeeignete Filter und niedriger First-Stage-Recall werden systematisch unterschieden.

Tag 3: Reranking, Kontext und Evaluation

1. Schritt 11: Reranking einführen

   Late Interaction oder Cross Encoder werden auf eine begrenzte Kandidatenmenge angewendet und gegen die Baseline gemessen.

2. Schritt 12: Kontextpakete bauen

   Dubletten, angrenzende Chunks, Dokumenthierarchie, Tokenbudget, Reihenfolge und Quellenmetadaten werden kontrolliert zusammengestellt.

3. Schritt 13: Retrieval-Testset erstellen

   Fragen, relevante Chunks, Negativfälle, fachliche Kategorien und erwartete Filter werden als wiederverwendbarer Goldstandard gepflegt.

4. Schritt 14: Qualitätskennzahlen auswerten

   Recall, Precision, Mean Reciprocal Rank, Normalized Discounted Cumulative Gain, Latenz und Kosten werden pro Query-Klasse verglichen.

5. Schritt 15: Feedback nutzen

   Explizite oder modellgestützte Relevanzsignale werden als kontrollierte Rückkopplung genutzt, ohne die Grundabfrage und Testbarkeit zu verlieren.

Tag 4: Anwendung, Sicherheit und Betrieb

1. Schritt 16: Retrieval-Service kapseln

   Ingestion, Query, Filter, Reranking, Kontext und Ergebnisdiagnose werden als klar versionierte API bereitgestellt.

2. Schritt 17: Aktualisierung und Löschung absichern

   Idempotente Upserts, Re-Embedding, Versionierung, Tombstones, Löschung und Wiederaufbau werden mit der führenden Datenquelle abgestimmt.

3. Schritt 18: Sicherheit und Mandantenfähigkeit umsetzen

   API-Schutz, tenantbezogene Filter, minimale Payload-Rückgabe, Secrets und Protokollierung werden in den Service integriert.

4. Schritt 19: Monitoring etablieren

   Ingestion-Rückstand, Query-Latenz, Filterfehler, Recall-Stichproben, Modellversionen und Collection-Zustand werden beobachtbar gemacht.

5. Schritt 20: Produktivprototyp abnehmen

   Lasttest, Fehlerfall, Backup, Deployment, Konfiguration, Runbook und fachliche Qualitätsfreigabe schließen das Projekt ab.

Praxisübungen

• Eine inkrementelle Ingestion-Pipeline mit stabilen Chunk-IDs aufbauen
• Dense, Hybrid und gererankte Retrieval-Varianten auf einem Testset vergleichen
• Mandanten- und Rechtefilter in allen Query-Pfaden erzwingen
• Einen produktionsnahen Retrieval-Service mit Monitoring und Abnahmetests bereitstellen

Methodik

Kurze Fachimpulse werden unmittelbar mit Demonstrationen, angeleiteten Laboraufgaben, Mess- und Kontrollpunkten sowie dokumentierten Praxisübungen verbunden. Jeder Arbeitsschritt endet mit einer technischen Prüfung, einer Einordnung typischer Fehlerbilder und einem wiederverwendbaren Ergebnis für den eigenen Projekt- oder Betriebskontext.