Seminar KServe Intensivseminar: End-to-End Model Serving

Zielsetzung

Dieses Intensivseminar bündelt das vollständige KServe-Portfolio in einem durchgängigen Lernpfad. Von Architektur und Installation über ServingRuntime-Strategien, Routing, Observability und Security bis zu Custom Extensions und LLM-Serving entsteht ein geschlossener End-to-End-Blick auf die Plattform.

Zielgruppe

Empfohlen wird das Seminar für Teams, die KServe umfassend einführen, standardisieren oder unter hohem Zeitdruck mit einem gemeinsamen Zielbild in Produktion bringen möchten.

Voraussetzungen

Vorausgesetzt werden sichere Kubernetes- und Container-Kenntnisse. Hilfreich sind Erfahrungen mit CI/CD, Storage-Anbindungen und dem Betrieb verteilter Systeme.

Inhalte

• Gesamtarchitektur, Betriebsmodi und technische Einordnung von KServe
• Installation, Plattformvoraussetzungen, Netzpfade, Zertifikate und Betriebsmodelle
• Predictive Inference mit InferenceService, ServingRuntime, Modellartefakten und standardisierten Protokollen
• InferenceGraph, Routing, kontrollierte Änderungen und mehrstufige Produktionspipelines
• Observability, Payload Logging, Fehlersuche, Security und Performance Tuning
• Custom Runtimes, Transformer, Python SDK und Erweiterung kundenspezifischer Serving-Flows
• Generative KI mit GPU-Betrieb, OpenAI-kompatiblen APIs, Caching und Ressourcenoptimierung
• Projektwerkstatt zur Übertragung auf eigene Zielarchitekturen, Umgebungen und Teamprozesse

Praxisanteil

Über alle Tage hinweg entsteht eine vollständige KServe-Referenzumgebung mit mehreren Serving-Szenarien, erweiterten Routing-Mustern und einer betriebsnahen Abschlusswerkstatt für das eigene Vorhaben.