Seminar LLMOps: Qualität, Monitoring und Kosten souveräner KI

Eine erreichbare KI-Anwendung kann gleichzeitig fachlich schlechtere Antworten liefern oder ihre vorgesehenen Kosten überschreiten. Das Seminar verbindet deshalb Verfügbarkeit, Leistung und fachliche Qualität in einem gemeinsamen Betriebsmodell. Es zeigt, welche Messgrößen entscheidungsrelevant sind und wie diese erhoben werden können, ohne unnötig sensible Inhalte zu protokollieren.

Ausgangspunkt ist eine bereits laufende Anwendung mit europäischem Modellendpunkt. Änderungen an Modell, Prompt, Retrieval oder Parametern werden versioniert und vor ihrer Freigabe mit einem festen Testsatz verglichen. Anfragen, Ressourcenverbrauch und Ergebnisqualität bilden die Grundlage für Lastgrenzen und Kapazitätsentscheidungen. Ein kontrolliertes Rückfallverfahren ergänzt die Beobachtung durch konkrete Handlungsfähigkeit.

Zielgruppe

KI-Betrieb, DevOps, Site Reliability Engineering, Plattformteams, technische Produktverantwortliche und Qualitätsmanagement mit technischem Schwerpunkt.

Voraussetzungen

Erfahrung mit einer laufenden LLM-Anwendung, Grundlagen von Linux beziehungsweise Containern sowie Verständnis von APIs, Metriken und einfachen Testskripten.

Inhaltsübersicht

• Betriebsziele und Messgrößen
• Datensparsame Beobachtung
• Qualität und Versionierung
• Kosten und Kapazität
• Freigabe und Rückfall
• Betriebsübung

Seminarinhalte

Betriebsziele und Messgrößen

• Verfügbarkeit, Fehlerrate, Latenz bis zum ersten Token und Gesamtlaufzeit auf den Anwendungsfall beziehen.
• Anfragevolumen, Warteschlangen und fachliche Qualitätskriterien getrennt erfassen.
• Serviceziele und Eskalationsschwellen mit den verantwortlichen Fachbereichen abstimmen.

Datensparsame Beobachtung

• Metriken, technische Ereignisse und Ablaufspuren nach ihrem Diagnosezweck auswählen.
• Gesprächsinhalte, Dokumente und personenbezogene Merkmale nur im freigegebenen Umfang erfassen.
• Berechtigungen, Maskierung und Aufbewahrung der Betriebsdaten kontrollieren.

Qualität und Versionierung

• Modelle, Prompts, Retrieval-Einstellungen und Anwendungsstände gemeinsam versionieren.
• Einen festen Regressionstestsatz mit fachlichen Akzeptanzschwellen einsetzen.
• Veränderungen der Eingangsdaten und der Ergebnisqualität erkennen und zur Prüfung weitergeben.

Kosten und Kapazität

• GPU-Zeit, Auslastung, Speicher, Plattformbetrieb und administrativen Aufwand in ein Kostenmodell aufnehmen.
• Kosten je erfolgreicher Aufgabe statt ausschließlich je Token vergleichen.
• Parallelität, Kontextgrenzen, Caching und Lastbegrenzung auf Qualität und Kostenwirkung prüfen.

Freigabe und Rückfall

• Einen Modell- oder Promptwechsel anhand unveränderter Testfälle bewerten.
• Kontrollierte Einführung, Beobachtungsfenster und Abbruchkriterien festlegen.
• Vorherige Konfigurationen wiederherstellen und die fachliche Funktion erneut prüfen.

Betriebsübung

• Eine kontrollierte Qualitäts- oder Leistungsverschlechterung aus Messwerten erkennen.
• Die Ursache zwischen Modell, Daten, Retrieval und Infrastruktur eingrenzen.
• Maßnahmen und offene Nacharbeiten in einer verständlichen Betriebsanweisung festhalten.

Praxisübungen

1. Für einen vorhandenen Dokumentenassistenten ein kleines Dashboard mit fachlich sinnvollen Betriebskennzahlen entwerfen.
2. Einen festen Fragenkatalog gegen zwei Konfigurationen ausführen und eine Freigabe anhand vorher bestimmter Schwellen bewerten.
3. Kosten je erfolgreich bearbeiteter Aufgabe aus vorbereiteten Last- und Betriebsdaten berechnen.
4. Eine fehlerhafte Änderung erkennen, zurücknehmen und das Wiedererreichen der akzeptierten Qualität überprüfen.

Schulungsumgebung

Der Kunde stellt eine betriebsbereite KI-Testanwendung, Zugriff auf technische Metriken und freigegebene Testdaten bereit. Monitoring-Oberfläche, Modellendpunkt und einfache Testskripte sind vorbereitet. Eingriffe und Rückfallübungen erfolgen ausschließlich in der Schulungsumgebung.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.