Seminar TiDB Vector Search und KI-Anwendungen

TiDB kann relationale Transaktionen, Metadaten und semantische Vektorsuche in einem Datenmodell verbinden. Das Seminar entwickelt daraus kontrollierte Retrieval-Muster für Suche, RAG, Empfehlungen und agentische Anwendungen.

Zwei Tage sind notwendig, um Datenmodell, Embedding-Pipeline, Index und hybride Abfragen praktisch aufzubauen und anschließend Qualität, Performance, Datenschutz und Reindexierung zu bewerten.

Inhaltsverzeichnis

1. Lernziele und fachliche Einordnung
2. Zielgruppe und Voraussetzungen
3. Kapitel 1: Vektordaten und Embedding-Pipeline
4. Kapitel 2: Vektorindex und Ähnlichkeitssuche
5. Kapitel 3: Hybride SQL- und Vektorretrieval-Muster
6. Kapitel 4: Qualität, Performance und Betrieb
7. Praxisübungen und Laborszenarien
8. Didaktik und Arbeitsweise

Lernziele

• Vektordaten und Metadaten transaktionssicher modellieren.
• Vektorindizes und KNN-Abfragen konfigurieren und messen.
• Relationale Filter mit semantischer Suche kombinieren.
• RAG-, Empfehlungs- und Agenten-Memory-Muster umsetzen.
• Qualität, Latenz, Reifegrad und Betrieb kontrollieren.

Zielgruppe und Voraussetzungen

Zielgruppe: AI- und Softwareentwicklung, Data Engineering, Solution Architecture, Datenbankteams und technische Produktentwicklung.

Voraussetzungen: SQL, grundlegende Python- oder Anwendungsentwicklung sowie Verständnis von Embeddings, semantischer Suche oder RAG; TiDB-Grundlagen sind hilfreich.

Kapitel 1: Vektordaten und Embedding-Pipeline

Inhaltsverzeichnis dieses Kapitels

1. Vector-Datentypen und Dimensionen
2. Embedding-Erzeugung und Modellversion
3. Normalisierung, Metadaten und Transaktionsbezug
4. Reifegrad und Grenzen der eingesetzten TiDB-Variante

Schwerpunkt: Vector-Datentypen und Dimensionen, Embedding-Erzeugung und Modellversion, Normalisierung, Metadaten und Transaktionsbezug, Reifegrad und Grenzen der eingesetzten TiDB-Variante.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Vector-Datentypen und Dimensionen und Embedding-Erzeugung und Modellversion dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Vector-Datentypen und Dimensionen, Embedding-Erzeugung und Modellversion, Normalisierung, Metadaten und Transaktionsbezug, Reifegrad und Grenzen der eingesetzten TiDB-Variante in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Normalisierung, Metadaten und Transaktionsbezug und Reifegrad und Grenzen der eingesetzten TiDB-Variante ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein Datenmodell für Vektoren, Metadaten und fachliche Entitäten. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 2: Vektorindex und Ähnlichkeitssuche

Inhaltsverzeichnis dieses Kapitels

1. Indexvoraussetzungen und Aufbau
2. Distanzfunktionen und KNN-Abfragen
3. Filter, Top-K und Schwellenwerte
4. Recall, Latenz und Indexwartung

Schwerpunkt: Indexvoraussetzungen und Aufbau, Distanzfunktionen und KNN-Abfragen, Filter, Top-K und Schwellenwerte, Recall, Latenz und Indexwartung.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Indexvoraussetzungen und Aufbau und Distanzfunktionen und KNN-Abfragen dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Indexvoraussetzungen und Aufbau, Distanzfunktionen und KNN-Abfragen, Filter, Top-K und Schwellenwerte, Recall, Latenz und Indexwartung in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Filter, Top-K und Schwellenwerte und Recall, Latenz und Indexwartung ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht eine getestete Vektorsuche mit Qualitäts- und Performancekriterien. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 3: Hybride SQL- und Vektorretrieval-Muster

Inhaltsverzeichnis dieses Kapitels

1. semantische Suche mit relationalen Filtern
2. Join von Vektortreffern und Transaktionsdaten
3. RAG, Empfehlungen und Agenten-Memory
4. Berechtigungen, Aktualität und Datenqualität

Schwerpunkt: semantische Suche mit relationalen Filtern, Join von Vektortreffern und Transaktionsdaten, RAG, Empfehlungen und Agenten-Memory, Berechtigungen, Aktualität und Datenqualität.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu semantische Suche mit relationalen Filtern und Join von Vektortreffern und Transaktionsdaten dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von semantische Suche mit relationalen Filtern, Join von Vektortreffern und Transaktionsdaten, RAG, Empfehlungen und Agenten-Memory, Berechtigungen, Aktualität und Datenqualität in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere RAG, Empfehlungen und Agenten-Memory und Berechtigungen, Aktualität und Datenqualität ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein Ende-zu-Ende-Retrieval-Muster mit relationaler Kontextanreicherung. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Kapitel 4: Qualität, Performance und Betrieb

Inhaltsverzeichnis dieses Kapitels

1. Ground-Truth-Datensatz und Evaluationsmetriken
2. Indexaufbau, Aktualisierung und Skalierung
3. Monitoring, Fehlerfälle und Kosten
4. Datenschutz, Modellwechsel und Reindexierung

Schwerpunkt: Ground-Truth-Datensatz und Evaluationsmetriken, Indexaufbau, Aktualisierung und Skalierung, Monitoring, Fehlerfälle und Kosten, Datenschutz, Modellwechsel und Reindexierung.

Schritt-für-Schritt-Anleitung

1. Schritt 1: Zielbild und Randbedingungen erfassen

   Für den Themenblock werden Einsatzfall, gewünschte Servicequalität, Daten- und Sicherheitsanforderungen sowie die Abhängigkeiten zu Ground-Truth-Datensatz und Evaluationsmetriken und Indexaufbau, Aktualisierung und Skalierung dokumentiert. Messbare Prüfkriterien verhindern, dass Konfigurationen nur nach Einzelbeobachtungen bewertet werden.

2. Schritt 2: Komponenten und Datenflüsse modellieren

   Rollen, Konfigurationsobjekte, Datenwege, Zustandsübergänge und Fehlergrenzen werden anhand von Ground-Truth-Datensatz und Evaluationsmetriken, Indexaufbau, Aktualisierung und Skalierung, Monitoring, Fehlerfälle und Kosten, Datenschutz, Modellwechsel und Reindexierung in einem technischen Ablaufmodell festgehalten. Verantwortlichkeiten und Voraussetzungen werden jedem Schritt eindeutig zugeordnet.

3. Schritt 3: Konfiguration oder Prozessfolge umsetzen

   Das Laborszenario wird vom definierten Ausgangszustand bis zum funktionsfähigen Ergebnis umgesetzt. SQL, Befehle, Konfigurationswerte oder Manifeste werden versioniert, kommentiert und mit den erwarteten Zwischenständen abgeglichen.

4. Schritt 4: Positiv-, Negativ- und Fehlerfälle prüfen

   Funktion, Konsistenz, Berechtigungen, Performance und Fehlermeldungen werden mit Normalfällen, Grenzwerten und gezielt ausgelösten Störungen getestet. Die Prüfung bezieht insbesondere Monitoring, Fehlerfälle und Kosten und Datenschutz, Modellwechsel und Reindexierung ein.

5. Schritt 5: Betriebsfähigkeit und Wiederholbarkeit herstellen

   Erforderliche Metriken, Logs, Alarmkriterien, Rückfallpunkte und Wartungsschritte werden ergänzt. Abweichungen zwischen Soll und Ist werden als konkrete Korrekturmaßnahmen dokumentiert.

6. Schritt 6: Arbeitsergebnis standardisieren

   Als verbindliches Arbeitsergebnis entsteht ein Betriebs- und Evaluationsverfahren für produktive Vektorsuche. Das Ergebnis wird mit Abnahmekriterien, Zuständigkeiten und einem Termin für die nächste Überprüfung versehen.

Praxisübungen und Laborszenarien

• Embeddings mit fachlichen Metadaten in TiDB speichern.
• Einen Vektorindex aufbauen und Ähnlichkeitssuche evaluieren.
• Semantische Treffer mit relationalen Filtern und Transaktionsdaten verbinden.
• Ein kleines RAG- oder Empfehlungsbeispiel mit Qualitätsmessung umsetzen.
• Reindexierung, Modellwechsel und Datenschutzkontrollen als Runbook dokumentieren.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, kontrollierte Fehlerfälle und dokumentierte Prüfpunkte vertieft. Jede Übung beginnt mit einem definierten Ausgangszustand und endet mit messbaren Abnahmekriterien, damit die erarbeiteten Vorgehensweisen als wiederholbare Standards nutzbar bleiben.