Seminar Mistral AI – Self-Hosting mit vLLM, Containern und GPU-Betrieb

Das Seminar vermittelt den Aufbau eines eigenen Inferenzdienstes für ein ausgewähltes offenes Mistral-Modell. Die Übungen berücksichtigen die vollständige Bereitstellungskette: abgestimmte Hardware, Modellartefakte, passende Inferenzsoftware, Netzwerkzugang, Überwachung und Wiederherstellung. Die tatsächlich verfügbare GPU-Ausstattung bestimmt das verwendete Modell und dessen Konfiguration.

Der eigene Modelldienst wird klar von den vollständigen gehosteten Mistral-Produkten unterschieden. Ein kompatibler Chat-Endpunkt stellt nicht automatisch sämtliche Funktionen von Studio, Vibe, OCR oder verwalteten Agentendiensten bereit. Deshalb werden die vom Labor unterstützten Funktionen explizit geprüft und in einer betrieblichen Leistungsbeschreibung festgehalten.

Inhaltsübersicht

1. Kapazität und Modellartefakte
2. GPU- und Containerumgebung
3. Inferenz mit vLLM
4. Zugang und Integration
5. Last und Skalierung
6. Updates und Wiederherstellung

Seminarinhalte

Kapazität und Modellartefakte

• Gesamte Modellgewichte, Datentyp, Kontextlänge, KV-Cache und Parallelität bei der Speicherplanung berücksichtigen.
• Lizenzbedingungen und Kompatibilität des konkreten Modells mit der ausgewählten vLLM-Version prüfen.
• Gewichte, Tokenizer, Konfiguration und Prüfsummen in einer lokalen Ablage versionieren.

GPU- und Containerumgebung

• GPU-Zugriff, Treiber, Containerlaufzeit und benötigte Berechtigungen kontrollieren.
• Ein vorbereitetes Container-Image mit festgelegter Version verwenden und Modellvolumes einbinden.
• Dateirechte, Speicherpfade und Laufzeitkonfiguration nachvollziehbar trennen.

Inferenz mit vLLM

• Den Dienst mit einem zur Hardware passenden Modell und kontrollierter Kontextlänge starten.
• Tokenizer, Chat-Template und modellabhängige Optionen mit einem Funktionstest überprüfen.
• Textgenerierung und vorhandene Zusatzfähigkeiten über einen geeigneten API-Client testen.

Zugang und Integration

• Inferenzdienst durch Netzwerkgrenzen, TLS-Terminierung und Authentifizierung schützen.
• Quoten, Anfragegrößen und Zeitlimits am vorgesehenen Zugangspunkt begrenzen.
• Ein Frontend oder eine Testanwendung anbinden und Fehlercodes nachvollziehbar behandeln.

Last und Skalierung

• Antwortzeit, Durchsatz, GPU-Auslastung und Speichernutzung unter kontrollierter Last messen.
• Parallelität, Kontextlänge und verfügbare Optimierungen anhand der Messdaten abstimmen.
• Skalierung, Redundanz und Mehr-GPU-Verteilung anhand der vorhandenen Infrastruktur einordnen.

Updates und Wiederherstellung

• Konfigurationen und benötigte Modellartefakte für eine Neuinstallation sichern.
• Einen Modell- oder Containerwechsel mit Funktionstest und Rücknahme durchführen.
• Den Dienst nach einem simulierten Ausfall auf der vorbereiteten Umgebung wiederherstellen.

Praktische Übungen

1. Die bereitgestellte Hardware prüfen und ein Modell mit begründeter Speicher- und Kontextplanung auswählen.
2. Modellartefakte und ein abgestimmtes Container-Image bereitstellen und vLLM starten.
3. Einen geschützten Zugriff konfigurieren und aus einer Testanwendung heraus verifizieren.
4. Last schrittweise erhöhen, Speicherengpässe erkennen und die Konfiguration begründet anpassen.
5. Eine neue Dienstversion einführen, einen Fehlerfall auslösen und zur funktionierenden Konfiguration zurückkehren.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung einschließlich der benötigten Zugänge, Nutzungsrechte und vereinbarten Ressourcen bereit. Erforderlich sind vorbereitete Linux-GPU-Systeme mit administrativem Zugriff, ein Container-Registry-Zugang oder lokale Images sowie vorab verfügbare Modellgewichte. Die GPU-Dimensionierung wird anhand des vereinbarten Modells festgelegt. Ein mehrknotiges Hochverfügbarkeitscluster wird nur praktisch verwendet, wenn es bereits bereitsteht; sonst erfolgt die Skalierungsplanung als Architekturübung.

Passende Vertiefungen

Die Auswahl richtet sich nach den jeweiligen Voraussetzungen der Folgeseminare.

• Mistral AI – Fine-Tuning mit LoRA und Qualitätsevaluierung
• Mistral AI – LLMOps, Evaluation und produktiver Betrieb
• Mistral-AI-Seminarübersicht