Seminar AgentOps Intensiv Tests und Evaluation

Agenten sind probabilistische Softwaresysteme mit dynamischer Werkzeugwahl und veränderlichen Trajektorien. Zuverlässige Qualität entsteht erst durch ein Testportfolio, das deterministische Verträge, simulierte Umgebungen, statistische Evaluation und menschliche Facheinschätzung verbindet.

Nutzen

Teilnehmende erstellen eine vollständige Qualitätssicherungsarchitektur für Agenten. Dazu gehören Testpyramide, isolierte Tool-Tests, realistische Szenarien, kuratierte Datensätze, kalibrierte Bewerter, Multi-Agent-Prüfungen und automatisierte Freigabeschwellen.

Lernziele

• eine risikobasierte Teststrategie für agentische Systeme entwickeln
• Modelle, Tools, Retrieval, Memory und externe Systeme kontrolliert simulieren
• Ergebnis und Trajektorie mit geeigneten Metriken und Rubriken bewerten
• LLM-as-a-Judge gegen menschliche Bewertungen kalibrieren
• Multi-Agent-Kommunikation, Übergaben und Abbruchbedingungen prüfen

Für wen ist das Seminar geeignet?

AI Engineers, QA- und Testautomatisierungsteams, Data Scientists, Softwareentwicklerinnen und Softwareentwickler sowie fachliche Qualitätsverantwortliche.

Voraussetzungen

Praxiskenntnisse in Python, APIs und automatisierten Tests; Grundverständnis von LLMs, Tool Calling und agentischen Workflows.

Seminarinhalte

Tag 1: Teststrategie und Komponenten

• Fehlermodelle, Risikoklassen und Testabdeckung
• Deterministische Tests für Parser, Router, Policies und Zustandslogik
• Tool-Verträge, Schemafehler, Berechtigungen und Seiteneffekte
• Mocks, Fakes, Record-and-Replay und Sandbox

Tag 2: Szenarien und Simulation

• Single- und Multi-Turn-Fälle
• Synthetic Users und zustandsbehaftete Umgebungen
• Fehler-, Last-, Latenz- und Chaos-Injektion
• Reproduzierbarkeit, Seeds, Wiederholungen und Flakiness

Tag 3: Datensätze und Evaluatoren

• Golden Set, Grenzfälle, Produktionsfehler und adversariale Beispiele
• Textuelle und multimodale Eingaben sowie Datei-Anhänge
• Exakte Checks, Regeln, Fachfunktionen und modellgestützte Bewerter
• Outcome-, Step-, State- und Trajectory-Metriken
• Rubriken, strukturierte Scores und Begründungen

Tag 4: Kalibrierung und Multi-Agent-Evaluation

• Human Review und Übereinstimmung
• Judge-Bias, Kontamination und Robustheit
• RAG-Groundedness, Retrieval- und Memory-Qualität
• Routing, Delegation, Handoffs, A2A-Tasks und gemeinsame Zustände
• Schleifen, Ping-Pong, Deadlocks und Fehlerfortpflanzung

Tag 5: Regression und Freigabe

• Baseline, Kandidat, Segmentierung und Fehlercluster
• Konfidenz, Schwellenwerte und Risikogewichtung
• Parallelisierung, Caching und Kostenkontrolle
• CI-Gates, Berichte und Freigabeentscheidung

Praxisanteil

Für einen Agenten mit Werkzeugen und Delegation entsteht eine ausführbare Testsuite. Sie umfasst isolierte Komponenten, simulierte Dialoge, Trajektorienbewertung, kalibrierten Judge, Multi-Agent-Fehlerfälle und ein automatisches Release-Gate.