Seminar KI-Sicherheit und Datenschutz für lokale KI-Systeme

Auch ein vollständig lokal ausgeführtes Sprachmodell kann Teil einer unsicheren Anwendung sein. Entscheidende Risiken liegen häufig in zu weit reichenden Dokumentenrechten, ungeschützten Schnittstellen, ungeprüften Werkzeugaufrufen und Protokollen mit sensiblen Inhalten. Das Seminar untersucht die gesamte Anwendungskette und legt für jede Schutzmaßnahme einen überprüfbaren Zweck fest.

An einer isolierten RAG- und Agentenlaborumgebung werden Fehlkonfigurationen und manipulative Eingaben kontrolliert nachgestellt. Der Schwerpunkt liegt auf wirksamen technischen Grenzen: Berechtigungen werden außerhalb des Modells durchgesetzt, ausgehende Verbindungen begrenzt und ändernde Aktionen freigegeben. Prompt-Regeln und Moderationsmodelle werden als ergänzende Komponenten eingeordnet und durch Negativtests überprüft.

Zielgruppe

Informationssicherheit, Security Engineering, Administration, Anwendungsentwicklung und technische Datenschutzkoordination.

Voraussetzungen

Kenntnisse von Netzwerken, HTTP, Identitäten und Berechtigungen; Grundverständnis von Sprachmodellen und RAG-Anwendungen. Python-Grundkenntnisse sind hilfreich.

Inhaltsübersicht

• Bedrohungsmodell und Datenflüsse
• Identitäten und Dokumentenrechte
• Prompt-Injection und Werkzeugmissbrauch
• Datenschutz im technischen Betrieb
• Lieferkette und Betriebsabsicherung
• Schutztests und Vorfallbearbeitung

Seminarinhalte

Bedrohungsmodell und Datenflüsse

• Schutzbedürftige Daten, Identitäten und administrative Zugänge erfassen.
• Eingaben, Dokumente, Werkzeugantworten und Modellartefakte als unterschiedliche Vertrauensbereiche behandeln.
• Angriffsflächen und realistische Missbrauchsszenarien für den konkreten Anwendungsfall priorisieren.

Identitäten und Dokumentenrechte

• Authentisierung, Dienstkonten und Rechtevergabe vom Benutzer bis zum Suchindex überprüfen.
• Mandanten- und Dokumentfilter in der vertrauenswürdigen Anwendungsschicht erzwingen.
• Sitzungen, Caches, temporäre Dateien und Exportfunktionen auf ungewollte Datenweitergabe prüfen.

Prompt-Injection und Werkzeugmissbrauch

• Direkte und indirekte Manipulationsversuche mit freigegebenen Testdaten nachstellen.
• Werkzeugparameter, erlaubte Ziele und fachliche Aktionsgrenzen unabhängig vom Modell validieren.
• Menschliche Freigaben, Abbruchbedingungen und serverseitige Schutzmaßnahmen gezielt testen.

Datenschutz im technischen Betrieb

• Protokollierung, Aufbewahrung, Löschung und Zugriff auf Gesprächsdaten konfigurieren.
• Notwendige Diagnosedaten von fachlichen Inhalten trennen und sensible Felder minimieren.
• Dokumentenlöschung und Rechteentzug bis in Index, Cache und Sicherungskonzept nachvollziehen.

Lieferkette und Betriebsabsicherung

• Modelle, Bibliotheken und Container aus freigegebenen Bezugswegen mit festen Versionen verwalten.
• Netzwerkzugriffe und optionale Telemetrie prüfen; Geheimnisse getrennt von Anwendungskonfigurationen speichern.
• Aktualisierungen, Schwachstellenbehandlung und Wiederherstellung in betriebliche Abläufe einordnen.

Schutztests und Vorfallbearbeitung

• Negative Testfälle für Datenzugriff, Manipulation und Werkzeugaktionen wiederholbar ausführen.
• Befunde nach Auswirkung, Ausnutzbarkeit und vorhandenen Gegenmaßnahmen priorisieren.
• Ein fiktives Sicherheitsereignis mit Eindämmung, Beweissicherung und gezielter Nachprüfung bearbeiten.

Praxisübungen

1. Eine Testanwendung anhand eines Datenflussbildes untersuchen und die zentralen Vertrauensgrenzen dokumentieren.
2. Den Zugriff auf fremde Dokumente mit zwei getrennten Benutzerprofilen prüfen und eine zu weit reichende Berechtigung korrigieren.
3. Eine manipulierte Dokumentpassage einspielen und testen, ob sie unzulässige Werkzeugaktionen auslösen kann.
4. Sensible Inhalte in Protokollen identifizieren, die Datenerfassung anpassen und die verbleibende Diagnosefähigkeit kontrollieren.
5. Einen synthetischen Vorfall bearbeiten und nach der Korrektur sämtliche betroffenen Negativtests wiederholen.

Schulungsumgebung

Der Kunde stellt eine ausdrücklich für Schutztests freigegebene, isolierte KI-Laborumgebung mit synthetischen Dokumenten, Testidentitäten und simulierten Werkzeugen bereit. Produktionsdaten und produktive Geschäftssysteme werden für die Angriffssimulationen nicht verwendet.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.