Seminar KI-Agenten lokal betreiben – Modelle, Container und Betriebsprozesse

Beschreibung

Der lokale Betrieb einer Agentenanwendung betrifft Modellinferenz, Anwendungscode, Werkzeugdienste und gespeicherte Zustände. Das Seminar bringt diese Komponenten in einer begrenzten Containerumgebung zusammen. Als Modellendpunkt wird Ollama mit einem vorab ausgewählten lokalen Modell verwendet. Tool Calling, strukturierte Ausgaben und tatsächlicher Ressourcenbedarf werden mit genau dieser Modell- und Laufzeitkombination geprüft.

Der Schwerpunkt liegt auf einem nachvollziehbaren Betrieb: getrennte Konfiguration, abgesicherter Zugang, begrenzte Netzwerkverbindungen, geeignete Protokolle und eine getestete Wiederherstellung. Ein lokaler Modellserver allein garantiert noch keinen vollständig lokalen Datenfluss, wenn Anwendungen weitere Dienste aufrufen. Deshalb werden ausgehende Verbindungen, Downloads und Zusatzfunktionen ausdrücklich untersucht. Einfache Lasttests unterstützen die Kapazitätsplanung, ohne eine universelle Hardwareempfehlung vorzugeben.

Die Beispielanwendung verarbeitet kurze Servicevorgänge und speichert einen Bearbeitungszustand. Im Betrieb werden Modellaufruf, Werkzeugdienst und Zustandsdatenbank getrennt beobachtet. Ein Modellwechsel kann die Antwortqualität oder Werkzeugnutzung verändern, während ein Anwendungsupdate die Wiederaufnahme laufender Vorgänge beeinflussen kann. Beide Änderungen werden deshalb gegen denselben fachlichen Prüffallbestand bewertet. Die Wiederherstellungsübung umfasst neben der Datenbank auch die Konfiguration und die für einen nachvollziehbaren Neustart benötigten Artefaktstände.

Seminarziele

• Die Komponenten eines lokal betriebenen Agentensystems bereitstellen.
• Modellfähigkeiten und Ressourcenbedarf anhand konkreter Testfälle prüfen.
• Zugriff, Netzwerkverbindungen und gespeicherte Daten kontrollieren.
• Sicherung, Wiederanlauf und Updates an einem Testsystem praktisch erproben.

Seminarinhalte

• Betriebsarchitektur und Modellwahl
• Container und Ressourcen
• Zugriff und Netzwerk
• Monitoring und Datenhaltung
• Sicherung und Änderungen

Betriebsarchitektur und Modellwahl

• Inferenz, Anwendung, Werkzeuge und persistente Daten voneinander trennen.
• Tool Calling und Ausgabeformate mit dem gewählten Modell testen.
• Modelllizenz, Herkunft, Artefaktversion und betriebliche Anforderungen erfassen.

Container und Ressourcen

• Vorbereitete Dienste mit versionierter Konfiguration starten.
• CPU, Arbeitsspeicher, GPU-Speicher und Kontextbedarf unter Last beobachten.
• Parallelität, Warteschlangen und Zeitgrenzen anhand der verfügbaren Kapazität einstellen.

Zugriff und Netzwerk

• Lokalen Modellendpunkt über geschützte Zugangswege bereitstellen.
• Authentifizierung und Autorisierung auf der geeigneten Diensteebene ergänzen.
• Ausgehende Verbindungen, optionale Cloud-Funktionen und Werkzeugzugriffe überprüfen.

Monitoring und Datenhaltung

• Verfügbarkeit, Fehlerquote, Latenz und Ressourcenverbrauch erfassen.
• Sensible Inhalte in Logs reduzieren und Aufbewahrungsregeln festlegen.
• Anwendungszustände, Konfiguration und benötigte Artefakte inventarisieren.

Sicherung und Änderungen

• Daten und Konfiguration konsistent sichern und Wiederherstellung durchführen.
• Modell- und Softwareupdates gegen einen festen Prüffallbestand testen.
• Rollback, Neustart und Verhalten angefangener Vorgänge nachvollziehen.

Praxisübungen

1. Eine vorbereitete Agentenanwendung mit lokalem Ollama-Endpunkt und begrenzten Werkzeugdiensten starten.
2. Tool-Calling-Fähigkeit, strukturierte Ausgabe und Antwortqualität mit einem festen Testfallbestand prüfen.
3. Den Zugriff absichern und anhand von Verbindungsdaten untersuchen, welche Komponenten externe Dienste erreichen.
4. Mit mehreren gleichzeitigen Aufgaben die Engpässe und geeignete Begrenzungen der Testumgebung bestimmen.
5. Eine Sicherung erstellen, den Zustand in einer sauberen Testumgebung wiederherstellen und ein kontrolliertes Update mit Rücknahme erproben.

Arbeitsumgebung

Vorbereitete Linux-VMs beziehungsweise Containerhosts, lokal verfügbare Modellartefakte und Testdaten. Benötigte CPU-, RAM- und GPU-Kapazität wird vor Seminarbeginn anhand des ausgewählten Modells und der Gruppengröße festgelegt.