Seminar FerretDB Vektorsuche und KI-Anwendungen

Zielsetzung

Das Seminar entwickelt semantische Such- und KI-Anwendungen mit der FerretDB-Vektorsuche. Embeddings, Datenmodell, HNSW- und IVF-Indizes, Ähnlichkeitsmaße, Aggregationsabfragen, Qualitätsmessung und die Einbindung in Retrieval- und Empfehlungsszenarien werden praktisch erarbeitet.

Inhaltsübersicht

1. Zielsetzung und Lernziele
2. Teilnehmerkreis und Voraussetzungen
3. Semantische Suche und Embeddings
4. Datenmodell und Vorverarbeitung
5. Ähnlichkeitsmaße
6. HNSW-Index
7. IVF-Index
8. Vektorsuche ausführen
9. Qualitätsmessung
10. Retrieval- und Empfehlungsszenarien
11. Betrieb, Leistung und Sicherheit
12. Praxisübungen und Methodik

Lernziele

• Embeddings und Ähnlichkeitsmaße für semantische Suche fachlich einordnen
• HNSW- und IVF-Indizes mit passenden Parametern erstellen
• Vektorabfragen über die Aggregationspipeline ausführen und auswerten
• Suchqualität, Leistung, Datenpflege und Sicherheitsrisiken eines KI-Szenarios bewerten

Teilnehmerkreis

Softwareentwickler, Data Engineers, KI- und Machine-Learning-Teams, Suchspezialisten, Architekten und Datenbankentwickler.

Voraussetzungen

Gute FerretDB- und Aggregationskenntnisse, grundlegendes Verständnis von Vektoren und APIs. Programmiererfahrung ist erforderlich.

Seminarinhalte

Kapitel 1: Semantische Suche und Embeddings

Inhaltsübersicht des Kapitels: Klassische Schlüsselwortsuche von semantischer Ähnlichkeit unterscheiden; Text, Bild oder Audio in numerische Vektorrepräsentationen überführen; Einheitliches Embedding-Modell und feste Dimensionen für Daten und Anfragen festlegen.

1. Schritt 1: Klassische Schlüsselwortsuche von semantischer Ähnlichkeit unterscheiden
2. Schritt 2: Text, Bild oder Audio in numerische Vektorrepräsentationen überführen
3. Schritt 3: Einheitliches Embedding-Modell und feste Dimensionen für Daten und Anfragen festlegen

Kapitel 2: Datenmodell und Vorverarbeitung

Inhaltsübersicht des Kapitels: Fachdokument, Quelltext und Embedding gemeinsam modellieren; Chunking, Metadaten und Aktualisierungszeitpunkte definieren; Ungültige Dimensionen, fehlende Vektoren und Modellwechsel behandeln.

1. Schritt 1: Fachdokument, Quelltext und Embedding gemeinsam modellieren
2. Schritt 2: Chunking, Metadaten und Aktualisierungszeitpunkte definieren
3. Schritt 3: Ungültige Dimensionen, fehlende Vektoren und Modellwechsel behandeln

Kapitel 3: Ähnlichkeitsmaße

Inhaltsübersicht des Kapitels: Kosinusähnlichkeit, euklidische Distanz und inneres Produkt vergleichen; Metrik passend zum Embedding-Modell und zur Normalisierung auswählen; Erwartete Nachbarschaften mit Referenzbeispielen prüfen.

1. Schritt 1: Kosinusähnlichkeit, euklidische Distanz und inneres Produkt vergleichen
2. Schritt 2: Metrik passend zum Embedding-Modell und zur Normalisierung auswählen
3. Schritt 3: Erwartete Nachbarschaften mit Referenzbeispielen prüfen

Kapitel 4: HNSW-Index

Inhaltsübersicht des Kapitels: HNSW als graphbasierten Index für schnelle Suche einordnen; Dimension, Verbindungsgrad und Konstruktionsaufwand konfigurieren; Speicherbedarf, Aufbauzeit und Suchqualität mit Testdaten messen.

1. Schritt 1: HNSW als graphbasierten Index für schnelle Suche einordnen
2. Schritt 2: Dimension, Verbindungsgrad und Konstruktionsaufwand konfigurieren
3. Schritt 3: Speicherbedarf, Aufbauzeit und Suchqualität mit Testdaten messen

Kapitel 5: IVF-Index

Inhaltsübersicht des Kapitels: IVF als Cluster- und Listenstruktur erklären; Anzahl der Listen aus Datenmenge und Suchanforderung ableiten; Aufbauzeit, Speicher und Trefferqualität mit HNSW vergleichen.

1. Schritt 1: IVF als Cluster- und Listenstruktur erklären
2. Schritt 2: Anzahl der Listen aus Datenmenge und Suchanforderung ableiten
3. Schritt 3: Aufbauzeit, Speicher und Trefferqualität mit HNSW vergleichen

Kapitel 6: Vektorsuche ausführen

Inhaltsübersicht des Kapitels: Suchvektor mit demselben Modell wie die Bestandsdaten erzeugen; Vektor, Pfad, Trefferzahl und Suchparameter in der Aggregationsstufe setzen; Quelldokumente, Scores und Metadaten passend projizieren.

1. Schritt 1: Suchvektor mit demselben Modell wie die Bestandsdaten erzeugen
2. Schritt 2: Vektor, Pfad, Trefferzahl und Suchparameter in der Aggregationsstufe setzen
3. Schritt 3: Quelldokumente, Scores und Metadaten passend projizieren

Kapitel 7: Qualitätsmessung

Inhaltsübersicht des Kapitels: Goldstandard mit relevanten und irrelevanten Treffern erstellen; Precision, Recall, Rangfolge und fachliche Akzeptanz bewerten; Index- und Suchparameter mit reproduzierbaren Experimenten abstimmen.

1. Schritt 1: Goldstandard mit relevanten und irrelevanten Treffern erstellen
2. Schritt 2: Precision, Recall, Rangfolge und fachliche Akzeptanz bewerten
3. Schritt 3: Index- und Suchparameter mit reproduzierbaren Experimenten abstimmen

Kapitel 8: Retrieval- und Empfehlungsszenarien

Inhaltsübersicht des Kapitels: Semantische Suche mit Metadatenfiltern und fachlichen Regeln kombinieren; Retrieval-Schritt für eine generative Anwendung vorbereiten; Empfehlungen und Ähnlichkeitssuche mit erklärbaren Ausgaben versehen.

1. Schritt 1: Semantische Suche mit Metadatenfiltern und fachlichen Regeln kombinieren
2. Schritt 2: Retrieval-Schritt für eine generative Anwendung vorbereiten
3. Schritt 3: Empfehlungen und Ähnlichkeitssuche mit erklärbaren Ausgaben versehen

Kapitel 9: Betrieb, Leistung und Sicherheit

Inhaltsübersicht des Kapitels: Embedding-Neuberechnung und Indexpflege bei Datenänderungen planen; Latenz, Speicher, Datenwachstum und Modellversion überwachen; Sensible Inhalte, Prompt-Injection und unzulässige Datenrückgabe im Gesamtsystem berücksichtigen.

1. Schritt 1: Embedding-Neuberechnung und Indexpflege bei Datenänderungen planen
2. Schritt 2: Latenz, Speicher, Datenwachstum und Modellversion überwachen
3. Schritt 3: Sensible Inhalte, Prompt-Injection und unzulässige Datenrückgabe im Gesamtsystem berücksichtigen

Praxisübungen

• Dokumente mit vorbereiteten Embeddings importieren und ein Vektordatenmodell prüfen
• HNSW- und IVF-Index erstellen und Suchergebnisse vergleichen
• Eine kleine semantische Suche mit Metadatenfilter und Qualitätsbewertung entwickeln

Methodik

Theorie zu Embeddings und Indexstrukturen wird mit einem durchgängigen Suchprojekt verbunden. Parameteränderungen werden anhand von Qualität, Laufzeit und Ressourcenbedarf verglichen.