Seminar Agentic AI Engineering – Security, Guardrails und Human-in-the-Loop

Das Aufbauseminar behandelt Sicherheit als durchgängige Systemeigenschaft agentischer Anwendungen. Aktuelle GenAI- und Agentenrisiken, Identität und Autorität von Softwareagenten, Berechtigungen, Inhaltskontrollen, Aktionsfreigaben und Laufzeitüberwachung werden zu einer mehrschichtigen Schutzarchitektur verbunden. Die Teilnehmenden entwerfen Kontrollen, die nicht nur unerwünschte Texte filtern, sondern auch Datenflüsse, Tool-Aufrufe, Zustandsänderungen und menschliche Entscheidungen nachvollziehbar begrenzen.

Einordnung und Nutzen

Agentische Systeme verbinden probabilistische Modellentscheidungen mit deterministischen Softwarekomponenten. Deshalb behandelt das Seminar Architektur, Implementierung, Sicherheitsgrenzen und überprüfbare Qualität gemeinsam. Technische Entscheidungen werden an realistischen Fehlerszenarien und nicht nur am erfolgreichen Idealablauf bewertet.

Zielgruppe

Security Architects, AppSec- und Plattformteams, erfahrene AI Engineers sowie Verantwortliche für risikoreiche Agentenanwendungen.

Voraussetzungen

Praxis mit Agenten, APIs, Authentifizierung und grundlegender Anwendungssicherheit.

Seminarinhalte

• OWASP-GenAI- und agentenspezifische Risiken systematisch einordnen
• Assets, Vertrauensgrenzen, Agentenidentität und delegierte Autorität modellieren
• Prompt Injection, Memory Poisoning und unsichere Ausgaben abwehren
• Tool-Schemas, Allow-Lists, Parameterprüfung und Policy Enforcement
• Least Privilege, Delegation, Scopes und kurzlebige Credentials
• MCP-, A2A- und Supply-Chain-Vertrauen absichern
• Datenklassifikation, Mandantentrennung und Egress-Kontrollen
• Guardrails vor, während und nach Modell- und Tool-Aufrufen
• Risk-based Approvals und verständliche Human-in-the-Loop-Dialoge
• Manipulationssichere Logs, Monitoring und Incident Response
• Sicherheits-Evaluationssätze, Red-Team-Fälle und Release Gates
• Fallback, Kill Switch, Recovery und kontrollierte Degradierung

Praxisprojekt

Im Abschlusslabor wird ein Agent mit sensiblen Werkzeugen schrittweise gehärtet. Die Teilnehmenden implementieren Policy Checks, risikobasierte Freigaben, Geheimnisschutz, Audit Trail und automatisierte Angriffstests.

Lernziele

Die Teilnehmenden entwerfen Kontrollen, die nicht nur unerwünschte Texte filtern, sondern auch Datenflüsse, Tool-Aufrufe, Zustandsänderungen und menschliche Entscheidungen nachvollziehbar begrenzen. Außerdem können die Teilnehmenden Architekturentscheidungen begründen, typische Fehlerbilder diagnostizieren und geeignete Tests sowie Kontrollpunkte für den eigenen Einsatzkontext festlegen.

Arbeitsweise

Kurze Theorieblöcke wechseln mit Demonstrationen, Entwurfsaufgaben und Übungen am System. Zwischenergebnisse werden gemeinsam überprüft; Alternativen, Grenzen und betriebliche Auswirkungen werden transparent diskutiert. Das Praxisprojekt verbindet die Einzelthemen zu einer konsistenten Lösung.