Seminar KServe Custom Runtimes und Transformer entwickeln

Zielsetzung

Dieses Seminar vermittelt, wie eigene Runtimes, Predictor-Container und Transformer für KServe entwickelt, getestet, paketiert und nachhaltig betrieben werden. Ziel ist der Aufbau einer belastbaren Entwicklungsstrecke für individuelle Modellformate, proprietäre Vorverarbeitung oder spezielle Integrationsanforderungen.

Zielgruppe

Angesprochen werden technische Teams, die KServe nicht nur konsumieren, sondern fachlich erweitern möchten, etwa durch eigene ServingRuntime-Definitionen, Python-basierte Model Server oder projektspezifische Pre- und Postprocessing-Komponenten.

Voraussetzungen

Benötigt werden gute Python-Kenntnisse, Erfahrung mit Container-Builds, Registry-Prozessen und Kubernetes-Deployments. Ein Grundverständnis der KServe-Ressourcen ist empfehlenswert.

Inhalte

• ServingRuntime und ClusterServingRuntime als technische Grundlage eigener Laufzeitumgebungen
• Modellformate, Runtime-Selektion und explizite Zuordnung in InferenceServices
• KServe Python Serving Runtime SDK und Aufbau eigener Model-Server
• Implementierung kundenspezifischer Predictor-Logik für V1-, V2- und OpenAI-kompatible APIs
• Transformer für Preprocessing, Feature-Anreicherung, Postprocessing und Response-Normalisierung
• Kollokation von Transformer und Predictor im selben Pod sowie Auswirkungen auf Latenz, Skalierung und Health Checks
• Image-Build, Versionsstrategie, CI/CD, Testbarkeit und Debugging individueller Komponenten
• Fehleranalyse bei Routing, Container-Ports, Readiness, Modellinitialisierung und Protokollkompatibilität

Praxisanteil

Im praktischen Teil wird ein eigener Runtime-Baustein entwickelt, als ServingRuntime eingebunden und über einen Transformer mit projektspezifischer Vor- und Nachverarbeitung ergänzt.