Seminar AgentOps Plattformen auswählen und integrieren

AgentOps-Funktionen verteilen sich häufig auf APM, OpenTelemetry, Evaluationsframeworks, Promptverwaltung, Modell-Gateways und spezialisierte LLM-Observability-Plattformen. Ohne Zielarchitektur entstehen doppelte Telemetrie, Dateninseln und schwer austauschbare Integrationen.

Nutzen

Teilnehmende können Anforderungen gewichten, Plattformen vergleichbar bewerten und eine entkoppelte Integrationsarchitektur planen. Datenschutz, Betriebsmodell, Skalierung, Kosten, Offenheit und Exit-Fähigkeit werden dabei gleichrangig berücksichtigt.

Lernziele

• Funktionsgruppen und Verantwortungsgrenzen einer AgentOps-Plattform definieren
• Open-Source-, SaaS-, Self-Hosted- und Hybridmodelle bewerten
• OpenTelemetry, OTLP, GenAI-Semantik und OpenInference als Entkopplungsschicht einordnen
• Werkzeuge anhand eines gewichteten Kriterienkatalogs praktisch vergleichen
• eine schrittweise Zielarchitektur mit Migration und Exit-Strategie entwerfen

Für wen ist das Seminar geeignet?

Enterprise- und Solution-Architekten, Plattform- und Observability-Teams, AI Engineers, IT-Betrieb, Einkauf sowie Security- und Datenschutzverantwortliche.

Voraussetzungen

Grundkenntnisse agentischer Anwendungen, APIs und Observability; keine produktspezifischen Vorkenntnisse.

Seminarinhalte

Funktionslandkarte

• Tracing, Metriken, Logs und Kostenanalyse
• Offline- und Online-Evaluation, Datensätze und Annotation
• Prompt- und Modellversionierung, Experimente und Freigaben
• Dashboards, Alarmierung, Zugriff, Audit und Datenexport

Kriterienkatalog

• Datenhoheit, Mandantentrennung und Aufbewahrung
• Framework- und Providerunabhängigkeit
• Skalierung, Hochverfügbarkeit und Betriebsaufwand
• Lizenzmodell, Gesamtkosten und Exit-Fähigkeit

Architekturoptionen

• Spezialisierte Suite gegenüber Best-of-Breed
• OpenTelemetry Collector als Routing- und Policy-Schicht
• GenAI-Semantik und OpenInference zwischen Instrumentierung und Backend
• MCP über Standardfehlerausgabe oder OpenTelemetry statt veralteter Protokoll-Logs
• Anbindung an APM, SIEM, Data Lake und CI/CD
• Cloud, Self-Hosted, abgeschottete und hybride Umgebungen

Praktischer Vergleich

• Einheitliches Trace- und Eval-Szenario
• Beispielhafte Einordnung von Langfuse, Phoenix, LangSmith, AgentOps, MLflow und klassischen Observability-Systemen
• OpenTelemetry-Ingestion, Datenexport, Evaluationsworkflow und Migrationsfähigkeit
• Bewertung von Bedienung, APIs, Governance und Betrieb

Einführung und Migration

• Pilot, Erfolgskriterien und Abnahmetest
• Parallelbetrieb und Datenmigration
• Betriebsübergabe, Schulung und Exit-Plan

Praxisanteil

Ein neutraler Kriterienkatalog wird auf mehrere Plattformansätze angewandt. Anschließend entsteht eine Zielarchitektur mit Telemetriefluss, Eval-Ablauf, Datenklassen, Verantwortlichkeiten und stufenweisem Einführungsplan.