Seminar Agentic AI Engineering – Computer Use, Browser- und GUI-Automatisierung

Das Seminar behandelt Agenten, die grafische Oberflächen wahrnehmen und Aktionen in Browsern oder Desktop-Anwendungen ausführen. Besonderes Gewicht liegt auf stabiler Zustandsführung, sicherer Aktionsplanung und der Absicherung irreversibler Schritte. Die Teilnehmenden entwickeln robuste Computer-Use-Abläufe, kombinieren visuelle und strukturierte Signale und entscheiden, wann APIs, Browserautomation oder menschliche Übernahme die bessere Wahl sind.

Einordnung und Nutzen

Agentische Systeme verbinden probabilistische Modellentscheidungen mit deterministischen Softwarekomponenten. Deshalb behandelt das Seminar Architektur, Implementierung, Sicherheitsgrenzen und überprüfbare Qualität gemeinsam. Technische Entscheidungen werden an realistischen Fehlerszenarien und nicht nur am erfolgreichen Idealablauf bewertet.

Zielgruppe

Automation Engineers, RPA-Teams, AI Engineers, Testautomatisierer und Entwickler interner Prozesslösungen.

Voraussetzungen

Programmierpraxis und Grundlagen von Webanwendungen oder Testautomation; erste Erfahrung mit LLM-APIs ist empfehlenswert.

Seminarinhalte

• Computer-Use-Agenten gegenüber RPA und API-Integration abgrenzen
• Screenshots, DOM, Accessibility Tree und Anwendungszustand kombinieren
• Aktionen planen, ausführen, beobachten und verifizieren
• Dynamische Seiten, Dialoge, Downloads und Sitzungen beherrschen
• Selektoren, visuelle Anker und semantische Ziele robust einsetzen
• Credentials, Uploads, Zwischenablage und sensible Daten schützen
• Bestätigungspflichten für Käufe, Versand, Löschung und Freigaben
• Fehlererkennung, Recovery, Checkpoints und menschliche Übernahme
• Szenarien testen und Erfolgs-, Latenz- und Abbruchraten messen

Praxisprojekt

Ein Labor automatisiert einen mehrstufigen Geschäftsprozess in einer Testanwendung. Die Lösung protokolliert Beobachtungen und Aktionen, stoppt vor kritischen Schritten und kann nach UI-Änderungen kontrolliert weiterarbeiten.

Lernziele

Die Teilnehmenden entwickeln robuste Computer-Use-Abläufe, kombinieren visuelle und strukturierte Signale und entscheiden, wann APIs, Browserautomation oder menschliche Übernahme die bessere Wahl sind. Außerdem können die Teilnehmenden Architekturentscheidungen begründen, typische Fehlerbilder diagnostizieren und geeignete Tests sowie Kontrollpunkte für den eigenen Einsatzkontext festlegen.

Arbeitsweise

Kurze Theorieblöcke wechseln mit Demonstrationen, Entwurfsaufgaben und Übungen am System. Zwischenergebnisse werden gemeinsam überprüft; Alternativen, Grenzen und betriebliche Auswirkungen werden transparent diskutiert. Das Praxisprojekt verbindet die Einzelthemen zu einer konsistenten Lösung.