Seminar AgentOps CI/CD, Releases und Experimentmanagement

Änderungen an Modellen, Prompts, Werkzeugen oder Daten können das Verhalten eines Agenten grundlegend verändern, obwohl der Anwendungscode unverändert bleibt. Eine belastbare Delivery-Pipeline muss deshalb technische Tests, fachliche Evaluationen, Sicherheitsprüfungen und Betriebsgrenzen zusammenführen.

Nutzen

Teilnehmende können eine durchgängige Pipeline für Agentenänderungen entwerfen und umsetzen. Releases werden anhand nachvollziehbarer Evidenz freigegeben, stufenweise ausgerollt, im Betrieb verglichen und bei Qualitätsverlust kontrolliert zurückgenommen.

Lernziele

• alle verhaltensbestimmenden Agentenartefakte reproduzierbar versionieren
• Offline-Evaluationen, Sicherheitsprüfungen und Lasttests als Pipeline-Gates einbinden
• Baselines, Experimente und Freigabeschwellen belastbar vergleichen
• Shadow-, Canary- und schrittweise Rollouts mit automatischem Rollback planen

Für wen ist das Seminar geeignet?

AI Engineers, Softwareentwicklerinnen und Softwareentwickler, Plattformteams, DevOps- und MLOps-Fachkräfte, Release Manager sowie technische Product Owner.

Voraussetzungen

Erfahrung mit Git und CI/CD; Grundkenntnisse agentischer Anwendungen und automatisierter Tests.

Seminarinhalte

Versionierbare Release-Einheit

• Code, Agent Graph, Systeminstruktionen, Tool-Schemas, Modellparameter und Policies
• MCP-Fähigkeiten, A2A Agent Cards, Protokollversionen und Kompatibilitätsregeln
• Abhängigkeiten, Container, Konfiguration und Infrastruktur als Code
• Provenienz, Änderungsnachweis und reproduzierbare Evaluation

Pipeline-Stufen

• Linting, Unit- und Vertragstests
• Offline-Evaluation gegen kuratierte und adversariale Datensätze
• Security Scan, Kostenbudget, Latenz- und Stabilitätstest
• Freigabebericht und signierte Release-Metadaten

Experimente und Vergleichbarkeit

• Baseline, Kandidat und kontrollierte Variablen
• Prompt-, Modell-, Retriever- und Tool-Varianten
• Konfidenz, Stichprobengröße, Varianz und praktische Signifikanz

Rollout und Rücknahme

• Shadow Traffic und Replay ohne Seiteneffekte
• Canary nach Mandant, Use Case oder Risikoklasse
• Feature Flags, Champion-Challenger und progressive Freigabe
• Rollback von Code, Prompt, Modell und Datenstand

Betriebsübergabe

• Release Notes, Known Issues und SLO-Auswirkungen
• Dashboards und Alarme für neue Versionen
• Beobachtungsfenster, Verantwortlichkeiten und Abbruchkriterien

Praxisanteil

Eine Beispielanwendung erhält eine mehrstufige Pipeline. Ein absichtlich verschlechterter Kandidat wird durch Evaluations- und Kosten-Gates gestoppt; anschließend wird ein freigegebener Kandidat als Canary ausgerollt und anhand definierter Kriterien bewertet.