Seminar Agentic AI Engineering – Observability, Tracing und Kostenkontrolle

Dieses Seminar macht das Verhalten mehrstufiger Agenten in Entwicklung und Produktion transparent. Traces, Logs und Metriken werden zu einem konsistenten Telemetriemodell verbunden, das Qualität, Latenz, Tokenverbrauch, Tool-Ausführung und Sicherheitsereignisse erklärt. Die Teilnehmenden instrumentieren Agenten mit korrelierten Spans, definieren aussagekräftige Dashboards und Warnungen und analysieren Fehler, ohne vertrauliche Prompts oder Nutzerdaten unkontrolliert zu speichern.

Einordnung und Nutzen

Agentische Systeme verbinden probabilistische Modellentscheidungen mit deterministischen Softwarekomponenten. Deshalb behandelt das Seminar Architektur, Implementierung, Sicherheitsgrenzen und überprüfbare Qualität gemeinsam. Technische Entscheidungen werden an realistischen Fehlerszenarien und nicht nur am erfolgreichen Idealablauf bewertet.

Zielgruppe

AI Engineers, SREs, MLOps- und Plattformteams sowie FinOps- und Betriebsverantwortliche.

Voraussetzungen

Grundlagen von Observability, APIs und Agentenworkflows; Programmierkenntnisse für Instrumentierungsübungen.

Seminarinhalte

• Telemetry-Anforderungen aus Betrieb, Qualität und Governance ableiten
• Agentenlauf, Modellaufruf, Tool, Handoff und Retrieval als Spans modellieren
• Aktuelle OpenTelemetry-GenAI-Signale und Attribute konsistent einsetzen
• Trace-Kontext über Queues, MCP, A2A, Services und Agentengrenzen propagieren
• Token, Latenz, Fehler, Retries und Task Success korrelieren
• Prompt-, Tool- und Inhaltsaufzeichnung datensparsam konfigurieren
• Dashboards, SLOs, Alerting und Stichprobenstrategien entwerfen
• Kostenbudgets, Modellrouting, Caching und Ausreißeranalyse
• Traces für Debugging, Evaluation und Incident Reviews nutzen

Praxisprojekt

Ein mehrstufiger Agent wird durchgängig instrumentiert. Die Teilnehmenden bauen ein Betriebsdashboard, finden gezielt eingebaute Latenz- und Kostentreiber und definieren Alarmgrenzen für fehlerhafte Tool-Schleifen.

Lernziele

Die Teilnehmenden instrumentieren Agenten mit korrelierten Spans, definieren aussagekräftige Dashboards und Warnungen und analysieren Fehler, ohne vertrauliche Prompts oder Nutzerdaten unkontrolliert zu speichern. Außerdem können die Teilnehmenden Architekturentscheidungen begründen, typische Fehlerbilder diagnostizieren und geeignete Tests sowie Kontrollpunkte für den eigenen Einsatzkontext festlegen.

Arbeitsweise

Kurze Theorieblöcke wechseln mit Demonstrationen, Entwurfsaufgaben und Übungen am System. Zwischenergebnisse werden gemeinsam überprüft; Alternativen, Grenzen und betriebliche Auswirkungen werden transparent diskutiert. Das Praxisprojekt verbindet die Einzelthemen zu einer konsistenten Lösung.