Seminar Weaviate Embeddings und Vektorisierung

Dieses praxisorientierte Seminar behandelt Embedding-Modellwahl, Sprach- und Domänenanforderungen, integrierte und selbst bereitgestellte Vektoren, Property-Auswahl, Named Vectors, Multi-Vektoren, Qualitätstests und Re-Embedding. Alle Arbeitsschritte werden an einer durchgängigen Referenzumgebung ausgeführt, geprüft und in wiederverwendbaren Arbeitsvorlagen dokumentiert.

Inhaltsübersicht

• Anforderungen und Testmenge
• Modellwahl und Betriebsform
• Vektorisierung in Collections
• Named Vectors und Multi-Vektoren
• Qualität und Tuning
• Re-Embedding und Modellwechsel
• Lernziele und Abnahmekriterien
• Praxisübungen und Betriebsdokumentation

Lernziele

• Anforderungen in den Bereichen Anforderungen und Testmenge, Named Vectors und Multi-Vektoren und Re-Embedding und Modellwechsel strukturiert analysieren und in eine umsetzbare Weaviate-Konfiguration überführen.
• Collections, Daten, Abfragen oder Betriebsparameter nachvollziehbar konfigurieren und mit reproduzierbaren Prüfungen verifizieren.
• Fehlersituationen systematisch eingrenzen, geeignete Diagnoseinformationen erfassen und belastbare Korrekturmaßnahmen ableiten.
• Qualität, Leistung, Sicherheit und Wartbarkeit anhand definierter Kriterien bewerten und die Lösung für den Regelbetrieb dokumentieren.

Schritt-für-Schritt-Inhalte

1. Anforderungen und Testmenge

Schwerpunkt: Sprachen, Fachbegriffe, Dokumentlängen, Modalitäten, Qualität, Latenz, Datenschutz, Kosten und erwartete Treffer.

1. Anforderungen für Anforderungen und Testmenge erfassen: Sprachen, Fachbegriffe, Dokumentlängen, Modalitäten, Qualität, Latenz, Datenschutz, Kosten und erwartete Treffer; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

2. Modellwahl und Betriebsform

Schwerpunkt: API-basierte, lokal betriebene und selbst berechnete Embeddings, Dimension, Kontextlänge und Mehrsprachigkeit.

1. Anforderungen für Modellwahl und Betriebsform erfassen: API-basierte, lokal betriebene und selbst berechnete Embeddings, Dimension, Kontextlänge und Mehrsprachigkeit; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

3. Vektorisierung in Collections

Schwerpunkt: Vektorizer-Konfiguration, Property-Auswahl, Collection-Namen, selbst bereitgestellte Vektoren und Dimensionsprüfung.

1. Anforderungen für Vektorisierung in Collections erfassen: Vektorizer-Konfiguration, Property-Auswahl, Collection-Namen, selbst bereitgestellte Vektoren und Dimensionsprüfung; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

4. Named Vectors und Multi-Vektoren

Schwerpunkt: mehrere semantische Sichten, Zielvektoren, gewichtete Kombinationen, Speicherbedarf und Suchqualität.

1. Anforderungen für Named Vectors und Multi-Vektoren erfassen: mehrere semantische Sichten, Zielvektoren, gewichtete Kombinationen, Speicherbedarf und Suchqualität; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

5. Qualität und Tuning

Schwerpunkt: Suchintents, Relevanzurteile, Retrieval-Metriken, Chunking, Property-Auswahl und Distanzgrenzen.

1. Anforderungen für Qualität und Tuning erfassen: Suchintents, Relevanzurteile, Retrieval-Metriken, Chunking, Property-Auswahl und Distanzgrenzen; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

6. Re-Embedding und Modellwechsel

Schwerpunkt: Migrationsziel, neue Collection, schrittweise Neu-Vektorisierung, Regressionstest, Umschaltung und Rückfall.

1. Anforderungen für Re-Embedding und Modellwechsel erfassen: Migrationsziel, neue Collection, schrittweise Neu-Vektorisierung, Regressionstest, Umschaltung und Rückfall; Zielzustand, Eingaben, Abhängigkeiten und messbare Prüfkriterien in einer Arbeitsvorlage festhalten.
2. Technische Grundlage konfigurieren: passende Collections, Properties, Clients, Modelle, Indizes oder Infrastrukturparameter auswählen und jede Einstellung mit ihrem Zweck dokumentieren.
3. Vorgehen mit repräsentativen Daten ausführen: Ausgangszustand prüfen, Operation schrittweise durchführen, Rückgaben protokollieren und das erwartete Verhalten gegen die Prüfkriterien vergleichen.
4. Fehler- und Grenzfälle untersuchen: ungültige Eingaben, fehlende Berechtigungen, leere Ergebnisse, Zeitüberschreitungen oder Ressourcenengpässe gezielt auslösen und diagnostizieren.
5. Ergebnis absichern: Qualität, Latenz, Ressourcenbedarf, Sicherheit und Wartbarkeit bewerten; Konfiguration und Wiederholungsablauf als wiederverwendbares Runbook festhalten.

Praxisübungen

1. Übung 1: Anforderungen und Testmenge – Sprachen, Fachbegriffe, Dokumentlängen, Modalitäten, Qualität, Latenz, Datenschutz, Kosten und erwartete Treffer in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
2. Übung 2: Modellwahl und Betriebsform – API-basierte, lokal betriebene und selbst berechnete Embeddings, Dimension, Kontextlänge und Mehrsprachigkeit in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
3. Übung 3: Vektorisierung in Collections – Vektorizer-Konfiguration, Property-Auswahl, Collection-Namen, selbst bereitgestellte Vektoren und Dimensionsprüfung in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.
4. Übung 4: Named Vectors und Multi-Vektoren – mehrere semantische Sichten, Zielvektoren, gewichtete Kombinationen, Speicherbedarf und Suchqualität in einer vorbereiteten Referenzumgebung konfigurieren, ausführen, mit Negativtests prüfen und in einem Abnahmeprotokoll dokumentieren.

Zielgruppe

ML Engineers, Data Scientists, Backend-Entwickler, Search Engineers und RAG-Teams.

Voraussetzungen

Grundkenntnisse in Weaviate und grundlegendes Verständnis maschinellen Lernens; Programmiererfahrung ist erforderlich.