Seminar Apache TVM LLM-Optimierung und Deployment

Überblick

Dieses Spezialseminar betrachtet Apache TVM im Kontext großer Sprachmodelle und moderner generativer Workloads. Der Fokus liegt auf der Abbildung von Modellarchitekturen, der zielgerichteten Build-Konfiguration, der Bewertung von Laufzeit- und Speicherverhalten und dem praktischen Deployment auf verschiedenen Zielsystemen. Drei Tage sind für diesen Schwerpunkt sinnvoll, weil LLM-Szenarien deutlich andere Fragen aufwerfen als klassische CNN- oder Standard-Inferenzpfade und deshalb einen eigenen, zusammenhängenden Rahmen benötigen.

Themenfelder

• LLM-spezifische Besonderheiten im Apache-TVM-Workflow
• Relax-basierte Modellrepräsentation und Umgang mit größeren Modellstrukturen
• Target-Wahl und Build-Strategien für Server-, GPU- und Edge-nahe Szenarien
• Speicherbudget, Präzisionsfragen und Laufzeitverhalten im Inferenzbetrieb
• Export, Laden und Testen ausführbarer Artefakte
• Einordnung von Grenzen, Risiken und sinnvollen Projektzuschnitten

Praktische Arbeiten

Im Labor werden kleinere oder didaktisch reduzierte LLM-Beispiele verwendet, damit die Pipeline vollständig nachvollziehbar bleibt. Bearbeitet werden Modellabbildung, Zielanpassung, Build, Ausführung und Vergleich von Laufzeit- beziehungsweise Speicherverhalten.

Zielgruppe

Geeignet ist das Format für Teams, die generative KI nicht nur konsumieren, sondern auf eigener Infrastruktur oder spezialisierter Hardware effizient betreiben wollen. Das Seminar passt zu Inferenz-Plattformen, GenAI-Produkten und Performance-Initiativen.

Vorkenntnisse

Erforderlich sind sichere Python-Kenntnisse, ein Grundverständnis von LLMs oder Transformer-Architekturen und erste Erfahrung mit Apache TVM oder vergleichbaren Deployment-Werkzeugen. Für reine Neueinsteiger ist zunächst das Grundlagen- oder Kompaktseminar empfehlenswert.