Seminar Lokale KI mit Mistral AI und EuroLLM betreiben

Lokal betriebene Sprachmodelle ermöglichen die Verarbeitung kontrollierter Datenbestände innerhalb einer selbst verwalteten Umgebung. Das Seminar behandelt den vollständigen Weg von der Auswahl eines geeigneten Modellartefakts bis zur Integration eines geschützten Inferenzdienstes. Dabei werden Hardware, Laufzeitsoftware, Modellkonfiguration und Anwendungszugriff gemeinsam betrachtet.

Praktische Übungen verwenden vorab geprüfte Kombinationen aus einem kompakten Mistral- oder Ministral-Modell, EuroLLM und einer geeigneten Inferenzlaufzeit. vLLM und llama.cpp werden nach ihrem Einsatzbereich eingeordnet; die tatsächlich eingesetzte Laufzeit wird auf die Modellarchitektur und Hardware abgestimmt. CPU- und GPU-Betrieb werden unter realistischen Leistungsgrenzen verglichen. Die Abschottung betrifft neben dem Modell auch Protokolle, Erweiterungen und Datenabrufe.

Zielgruppe

Linux-Administration, Systemintegration, DevOps, Anwendungsentwicklung und technische KI-Projektteams.

Voraussetzungen

Sichere Linux-Grundkenntnisse, grundlegender Umgang mit Containern, HTTP und JSON. Erfahrungen mit Python sind für die API-Übungen hilfreich.

Inhaltsübersicht

• Modellauswahl und Ressourcenplanung
• Vorbereitung der Laufzeitumgebung
• Inferenz und Anwendungsschnittstellen
• Sicherer lokaler Zugriff
• Leistung und Fehleranalyse
• Wartbarer Inferenzdienst

Seminarinhalte

Modellauswahl und Ressourcenplanung

• Modellgröße, Gewichtedatentyp, Kontextlänge und Parallelität als Treiber des Speicherbedarfs bestimmen.
• Lizenz, Modellrevision, Tokenizer und Chat-Template gemeinsam dokumentieren.
• GPU-Speicher und System-RAM getrennt planen; den Einfluss von KV-Cache, Laufzeitreserven und Quantisierung berücksichtigen.

Vorbereitung der Laufzeitumgebung

• Linux-System, Treiber und Containerzugriff auf Beschleuniger prüfen.
• Artefakte aus freigegebenen Bezugswegen beziehen, Prüfsummen dokumentieren und lokal vorhalten.
• Eine unterstützte Modell-Laufzeit-Kombination installieren und mit einer kleinen Testanfrage in Betrieb nehmen.

Inferenz und Anwendungsschnittstellen

• Startparameter für Modell, Kontext und Parallelität schrittweise konfigurieren.
• Anfragen mit korrektem Chat-Template und dokumentierten Erzeugungsparametern ausführen.
• Streaming, Zeitüberschreitungen, Fehlerantworten und modellabhängige strukturierte Ausgabeformate behandeln.

Sicherer lokaler Zugriff

• Netzwerkbindung, Firewall, TLS und Authentisierung über einen geeigneten Zugangsdienst einrichten.
• Zugangsdaten und Protokollinhalte auf das erforderliche Maß begrenzen.
• Ausgehende Verbindungen und optionale Zusatzfunktionen prüfen, bevor eine abgeschottete Nutzung freigegeben wird.

Leistung und Fehleranalyse

• Latenz, Durchsatz und Speicherverbrauch bei schrittweise steigender Last messen.
• Zu große Kontexte, Speichermangel und inkompatible Artefakte kontrolliert diagnostizieren.
• Modellwechsel und Quantisierung anhand fachlicher Testfälle auf Qualitätsverluste prüfen.

Wartbarer Inferenzdienst

• Konfiguration, Startmechanismus und Prüfaufrufe reproduzierbar dokumentieren.
• Updates mit festgelegten Revisionen und einer Rückkehr zur bisherigen Konfiguration vorbereiten.
• Einen kleinen Anwendungsclient anbinden und Zugriffsschutz, Neustart und Fehlerbehandlung gemeinsam prüfen.

Praxisübungen

1. Ein freigegebenes Modellartefakt prüfen, die Laufzeit starten und dieselbe Anfrage über Kommandozeile und bereitgestellten API-Client ausführen.
2. Ein zweites europäisches Modell einbinden und Tokenizer, Kontextgrenzen und Ausgaben unter identischen Aufgaben vergleichen.
3. Einen ausschließlich intern erreichbaren Zugang mit Authentisierung konfigurieren und unerlaubte Zugriffe nachweisbar abweisen.
4. Eine kontrollierte Laststufe ausführen, einen Ressourcenengpass untersuchen und die Konfiguration mit erneutem Funktionstest anpassen.

Schulungsumgebung

Der Kunde stellt die Schulungsumgebung: Linux-Systeme mit Containerlaufzeit, abgestimmte CPU- oder GPU-Ressourcen und freigegebene Modellartefakte. Arbeitsspeicher, GPU-Speicher und Plattenplatz werden vorab anhand der konkreten Modelle und Kontextgrenzen dimensioniert. Ein Modell mit kleinem Ressourcenbedarf steht für Grundübungen bereit.

Einordnung im Seminarprogramm

Die empfohlenen Lernpfade und ergänzenden Seminare stehen auf der Themenübersicht Souveräne europäische KI.