Seminar Intensivseminar: Souveräne KI – Infrastruktur, Sicherheit und LLMOps

Dieses Intensivseminar verbindet die Kernthemen der Einzelseminare Kubernetes-Plattformbetrieb, KI-Sicherheit und LLMOps. Im Mittelpunkt steht ein gemeinsamer Betriebsfall: Ein europäisches Sprachmodell soll mit kontrollierten Ressourcen bereitstehen, eine geschützte Anwendung versorgen und nach Änderungen weiterhin fachlich und technisch zuverlässig funktionieren.

Die vorhandene Laborplattform ermöglicht eine Konzentration auf Konfiguration, Nachweise und Diagnose. Die Übungen behandeln Zugriffe, Dokumentenrechte, Modellartefakte, Last, Qualitätsänderungen und Wiederanlauf. Sämtliche Schutz- und Störungstests erfolgen in einer isolierten Umgebung. Die vollständige Tiefe der drei Einzelseminare wird zugunsten eines zusammenhängenden Betriebsablaufs verdichtet.

Zielgruppe

Erfahrene Kubernetes-Administration, Plattform-Engineering, DevOps, Site Reliability Engineering und Security Engineering.

Voraussetzungen

Sichere Kubernetes-, Linux- und Containerkenntnisse sowie Erfahrung mit Inferenzdiensten, Netzwerkzugriffen und Monitoring. Die Grundinstallation von Clustern und LLM-Diensten wird beherrscht.

Inhaltsübersicht

• KI-Plattform und Modellbereitstellung
• Identitäten, Netzwerk und Datenkontrolle
• Sicherheitsprüfung der Anwendungskette
• LLMOps und Kapazitätssteuerung
• Änderung, Störung und Wiederherstellung

Seminarinhalte

KI-Plattform und Modellbereitstellung

• Vorhandenen Cluster, GPU-Ressourcen, persistente Ablage und Modellartefakte inventarisieren.
• Einen geprüften Inferenzdienst deklarativ bereitstellen und Bereitschafts- sowie Funktionstests ausführen.
• Scheduling, Kontextgrenzen und Parallelität mit real verfügbaren Ressourcen abstimmen.

Identitäten, Netzwerk und Datenkontrolle

• Dienstkonten, RBAC, geschützte Zugänge und Netzwerkrichtlinien konfigurieren.
• Dokumenten- und Mandantentrennung gemeinsam mit Anwendung, Index und Cache prüfen.
• Ausgehende Verbindungen, Secrets, technische Protokolle und Aufbewahrung auf notwendige Zwecke begrenzen.

Sicherheitsprüfung der Anwendungskette

• Ein Bedrohungsmodell entlang der tatsächlichen Daten- und Werkzeugflüsse erstellen.
• Prompt-Injection, übermäßige Rechte und fehlerhafte Werkzeugparameter in der autorisierten Laborumgebung testen.
• Befunde priorisieren, Schutzmaßnahmen nachbessern und die betroffenen Negativtests wiederholen.

LLMOps und Kapazitätssteuerung

• Verfügbarkeit, Latenz, Ressourcenbedarf und fachliche Qualität mit geeigneten Messgrößen beobachten.
• Datensparsame Diagnoseinformationen und einen festen Regressionstestsatz einsetzen.
• Kosten je erfolgreicher Aufgabe, Lastgrenzen und betriebliche Eskalationsschwellen aus Messwerten ableiten.

Änderung, Störung und Wiederherstellung

• Eine neue Konfiguration kontrolliert einführen und mit fachlichen sowie technischen Tests bewerten.
• Ausfall, Qualitätsverschlechterung oder Ressourcenknappheit simulieren und systematisch eingrenzen.
• Rollback, Wiederherstellung und dokumentierte Betriebsübergabe an einem zusammenhängenden Fall durchführen.

Praxisübungen

1. Einen Inferenzdienst auf dem vorbereiteten Cluster ausrollen und seine Ressourcen- und Netzwerkgrenzen mit Messungen prüfen.
2. Einen nicht berechtigten Dokumentzugriff und eine unzulässige Werkzeugaktion durch technische Maßnahmen abweisen.
3. Eine kontrollierte Sicherheitsprüfung ausführen, Befunde beheben und den Schutz mit identischen Testfällen erneut nachweisen.
4. Qualitäts- und Leistungsdaten auswerten und eine begründete Kapazitäts- beziehungsweise Freigabeentscheidung treffen.
5. Eine problematische Änderung zurücknehmen und den Wiederanlauf der gesamten Beispielanwendung mit festen Kriterien abnehmen.

Schulungsumgebung

Der Kunde stellt einen vollständig vorbereiteten Kubernetes-Schulungscluster mit Modellartefakten, GPU-Ressourcen, Monitoring, RAG-Testanwendung und getrennten Testidentitäten bereit. Schutz- und Ausfallversuche sind für diese Umgebung freigegeben. Produktive Anwendungen sind von den Übungen getrennt.

Zusammengefasste Einzelseminare

• KI-Plattformen mit Kubernetes souverän betreiben
• KI-Sicherheit und Datenschutz für lokale KI-Systeme
• LLMOps: Qualität, Monitoring und Kosten souveräner KI

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.