Seminar KI-Agenten – Sicherheit und kontrollierte Ausführung

Beschreibung

Sobald ein KI-Agent Werkzeuge aufruft, werden Modellfehler zu einem möglichen Problem der Anwendungssicherheit. Das Seminar untersucht deshalb Datenzugriff, Aktionsausführung und Identitäten als zusammenhängendes System. Eine Modellanweisung kann ein gewünschtes Verhalten beschreiben; eine verbindliche Sicherheitsgrenze entsteht jedoch erst durch Kontrollen in den beteiligten Diensten.

An einer vorbereiteten Testanwendung werden fremde Dokumentinhalte, Werkzeugbeschreibungen und Benutzereingaben als potenziell unzuverlässige Daten untersucht. Die praktischen Gegenmaßnahmen umfassen minimale Berechtigungen, strikte Eingabevalidierung, Netzwerkbegrenzung und nachvollziehbare Freigaben. Alle Übungen bleiben auf synthetische Daten und isolierte Testdienste beschränkt. Die Ergebnisse werden in konkrete technische Abnahmekriterien für die untersuchte Anwendung übersetzt.

Der Servicefall enthält zwei Benutzerrollen und unterschiedlich geschützte Vorgänge. Fremde Texte versuchen in der Übung, die vorgegebene Aufgabe zu verändern; der entscheidende Nachweis ist jedoch das Verhalten der Ausführungsschicht. Ein nicht berechtigter Aufruf muss dort scheitern, selbst wenn der Agent ihn vorschlägt. Zusätzlich wird ein freigegebener Änderungsvorschlag nachträglich verändert. Die Prüfung untersucht, ob die Anwendung den alten Freigabestand erkennt und die inzwischen abweichende Aktion zuverlässig zurückweist.

Seminarziele

• Vertrauensgrenzen und besonders folgenreiche Aktionen identifizieren.
• Berechtigungsprüfungen außerhalb der Modellentscheidung durchsetzen.
• Freigaben und Isolation gegen konkrete Fehler- und Missbrauchsfälle prüfen.
• Eine technische Abnahme mit verbleibenden Risiken und Betriebsmaßnahmen formulieren.

Seminarinhalte

• Bedrohungsmodell für Agenten
• Identität und minimale Rechte
• Werkzeuge und Ausführungsgrenzen
• Freigaben und sichere Datenbehandlung
• Prüfung und Reaktion

Bedrohungsmodell für Agenten

• Eingaben, Dokumente, Werkzeuge und Zielsysteme als getrennte Vertrauensbereiche erfassen.
• Manipulation von Anweisungen in fremden Inhalten und Werkzeugmetadaten verstehen.
• Datenoffenlegung, unzulässige Aktionen und Ressourcenverbrauch priorisieren.

Identität und minimale Rechte

• Benutzeridentität an Vorgänge binden und Werkzeugrechte serverseitig prüfen.
• Dienstkonten, kurzlebige Zugangsdaten und getrennte Leserechte verwenden.
• Objektbezogene Berechtigungen vor Datenrückgabe und Änderung kontrollieren.

Werkzeuge und Ausführungsgrenzen

• Werkzeugauswahl und Parameter mit Zulassungslisten und Schemata begrenzen.
• Beliebige Shell-, Datei- und Netzwerkzugriffe durch begrenzte Funktionen ersetzen.
• Laufzeit, Aufrufanzahl, Ausgaben und externe Verbindungen beschränken.

Freigaben und sichere Datenbehandlung

• Eine Freigabe an konkrete Aktionsdaten, Identität und Gültigkeit binden.
• Geänderte Parameter nach Freigabe erkennen und erneut prüfen.
• Geheimnisse aus Prompts, Antworten, Protokollen und Fehlermeldungen entfernen.

Prüfung und Reaktion

• Manipulierte Testdokumente und unzulässige Aufrufe in einer isolierten Umgebung prüfen.
• Kontrollversagen mit beobachtbaren Ereignissen und Gegenmaßnahmen verknüpfen.
• Werkzeuge sperren, Zugangsdaten wechseln und einen Vorgang sicher abbrechen.

Praxisübungen

1. Das Datenflussbild einer vorbereiteten Anwendung um Identitäten, Vertrauensgrenzen und mögliche Seiteneffekte ergänzen.
2. Mit harmlosen manipulierten Testinhalten prüfen, ob unzulässige Werkzeugaufrufe technisch verhindert werden.
3. Eine objektbezogene Rechteprüfung und eine Parameterzulassung im Werkzeugdienst ergänzen.
4. Eine Änderung nach bereits erteilter Freigabe simulieren und die Ausführung des veränderten Vorschlags verhindern.
5. Netzwerk- und Laufzeitbegrenzungen prüfen und aus den Befunden konkrete Abnahmetests ableiten.

Arbeitsumgebung

Isolierte Test-VM mit vorbereitetem Agenten, lokalen Werkzeugdiensten, synthetischen Dokumenten und eingeschränkten Konten. Produktive Zugangsdaten und reale Kundendaten werden für die Übungen nicht benötigt.