Seminar AgentOps Tracing und OpenTelemetry

Bei einem Agenten ist die Endantwort nur der letzte Punkt einer oft langen Entscheidungskette. Tracing macht sichtbar, welche Schritte ausgeführt, welche Werkzeuge gewählt, welche Daten genutzt und wo Zeit, Kosten oder Fehler entstanden sind.

Nutzen

Teilnehmende instrumentieren einen mehrstufigen Agenten und betreiben eine robuste Telemetrie-Pipeline. Dabei werden aktuelle GenAI-Konventionen, OpenInference, W3C-Trace-Kontext, Protokollgrenzen, Datenschutz, Sampling, Korrelation und Diagnose praktisch miteinander verbunden.

Lernziele

• ein Trace-Modell für Agentenlauf, Modell, Tool, Retrieval, Memory, MCP und A2A entwerfen
• manuelle und automatische Instrumentierung mit OpenTelemetry anwenden
• Kontext über Prozesse, Queues, A2A-HTTP-Aufrufe und asynchrone Aufgaben weitergeben
• sensible Inhalte durch Redaction, Datenminimierung und Zugriffsregeln schützen
• Traces mit Logs, Metriken, Evaluationsscores und Release-Versionen korrelieren

Für wen ist das Seminar geeignet?

AI Engineers, Softwareentwicklerinnen und Softwareentwickler, SRE-, Plattform- und Observability-Teams.

Voraussetzungen

Grundkenntnisse in Python oder einer vergleichbaren Sprache, APIs und verteilten Anwendungen; erste Erfahrung mit Telemetrie ist hilfreich.

Seminarinhalte

Trace-Modell für Agenten

• Trace, Span, Event, Link, Resource und Baggage
• Root Span für Auftrag, Sitzung oder Agent Run
• Invoke-Agent-, Modell-, Execute-Tool-, Retrieval-, Memory-, Guardrail- und Handoff-Spans
• MCP-Werkzeugaufrufe sowie A2A-Task- und Sitzungsbezug
• Status, Fehler, Abbruch und benutzerdefinierte Ereignisse

Semantik und Attribute

• Aktuelle OpenTelemetry-GenAI-Semantik im eigenständigen Semantikpaket
• OpenInference als ergänzende, OpenTelemetry-kompatible Konvention
• Einheitliche Namen für Agent, Workflow, Modell, Provider und Operation
• Tool-Name, Call-ID, Ergebnisstatus und Latenz
• Token, Finish Reason, Evaluationsscore und Release-Kontext
• Versionspinning, Schema-Mapping und Erweiterungen ohne unkontrollierte Kardinalität

Instrumentierung

• SDK und automatische Instrumentierung
• Manuelle Spans für Orchestrierung und Fachlogik
• W3C-Trace-Kontext über HTTP und A2A-Grenzen
• MCP über Standardfehlerausgabe oder OpenTelemetry statt veralteter Protokoll-Logs
• Kontextweitergabe in asynchronen und langlaufenden Abläufen
• Flush, Fehlerbehandlung und geringer Laufzeiteinfluss

Collector und OTLP

• Receiver, Processor, Exporter und Pipeline
• Batching, Queue, Retry und Pufferung
• Routing zu mehreren Backends und Umgebungen
• Transformation und Attributfilterung

Datenschutz und Betrieb

• Inhalte gegenüber Metadaten und Hashes
• Redaction von Prompts, Antworten, Tool-Argumenten und Dokumenten
• Head-, Tail- und regelbasiertes Sampling
• Aufbewahrung, Rollen, Mandanten und Audit

Praxisanteil

Ein Agent mit Retrieval, MCP-Werkzeug und A2A-Delegation wird instrumentiert. Die Telemetrie läuft über einen Collector, sensible Werte werden entfernt, Fehlerpfade gezielt gesampelt und mit Evaluationsscore, Task-ID und Release-Version korreliert.