Seminar Souveräne KI – Lokale Modelle und interne Wissenssuche

Ein lokal laufendes Sprachmodell bietet zusätzliche Kontrolle über Datenflüsse, ersetzt aber keine Prüfung von Modellrechten, Qualität und Zugriffsregeln. Das Seminar entwickelt einen begrenzten internen KI-Dienst mit bereitgestellten Modellgewichten und synthetischen Dokumenten. Softwarelizenz, Modelllizenz, Trainingsinformationen und tatsächlich erforderliche externe Dienste werden getrennt betrachtet.

Die praktische Arbeit verbindet lokale Inferenz mit einer kleinen Wissenssuche. Dokumente werden aufbereitet, indexiert und über nachvollziehbare Suchtreffer in Antworten eingebunden. Berechtigungsprüfung, unerwünschte Anweisungen in Dokumenten und unzureichend belegte Antworten sind eigene Testfälle. Messungen zu Laufzeit, Speicherbedarf und Antwortqualität unterstützen die Entscheidung, für welche klar abgegrenzten Aufgaben ein solcher Dienst geeignet ist.

Der KI-Prototyp beantwortet Fragen zu einer kleinen synthetischen Wissensbasis. Zwei Benutzergruppen dürfen unterschiedliche Dokumente verwenden. Das Testset enthält beantwortbare Fragen, Fragen ohne ausreichende Information und ein Dokument mit manipulierten Anweisungen. So werden Suchqualität, Rechtefilter und Antwortverhalten getrennt untersucht. Die gewählten Modelle sind vor Beginn lokal verfügbar; ihre Nutzungsbedingungen und die dokumentierten technischen Grenzen werden als Teil der Konfiguration festgehalten.

Die Prüfung kontrolliert, welche Texte tatsächlich in den Modellkontext gelangen. Eine nachträgliche Aufforderung, vertrauliche Inhalte nicht zu nennen, ersetzt keinen vorgeschalteten Rechtefilter. Zusätzlich werden Antwortlaufzeit und Speicherverbrauch für dieselbe Konfiguration gemessen. Die Pilotentscheidung benennt geeignete Aufgaben, bekannte Fehlerbilder und die Bedingungen für eine erneute Bewertung nach Änderungen an Modell, Index oder Laufzeit.

Seminarinhalte

Anwendungsfall und Modellwahl

• Einen geeigneten internen Anwendungsfall mit messbaren Qualitätskriterien beschreiben.
• Offene Modellgewichte, Open-Source-Software und Nutzungsbedingungen getrennt prüfen.
• Speicher, Rechenleistung, Quantisierung und Kontextumfang anhand eines vorbereiteten Modells einordnen.

Lokale Inferenz und Datenflüsse

• Einen vorbereiteten Inferenzdienst mit llama.cpp oder einer abgestimmten vergleichbaren Laufzeit starten.
• HTTP-Zugriff, administrative Erreichbarkeit und ausgehende Verbindungen prüfen.
• Zugangssteuerung, Protokollierung und Grenzen der Laborarchitektur dokumentieren.

Dokumentaufbereitung und Retrieval

• Synthetische Dokumente bereinigen, sinnvoll zerlegen und mit Herkunfts- und Rechteinformationen versehen.
• Lokale Embeddings und einen vorbereiteten Suchindex für eine überschaubare Wissensbasis verwenden.
• Suchqualität getrennt von der anschließenden Antwortgenerierung prüfen.

Berechtigungen und robuste Verarbeitung

• Benutzerrechte vor der Übernahme von Suchtreffern in den Modellkontext durchsetzen.
• Indirekte Prompt-Injection in Testdokumenten erkennen und Abgrenzungen prüfen.
• Unzulässige Datenausgabe, sensible Protokollinhalte und ungeeignete externe Rückfragen in Testfällen untersuchen.

Qualität und Leistungsbedarf

• Ein kleines festes Testset mit erwarteten Fakten und zulässigen Dokumenten auswerten.
• Unbelegte Aussagen, unvollständige Antworten und fehlende Fundstellen dokumentieren.
• Latenz, Parallelität und Ressourcenverbrauch für die ausgewählte Konfiguration messen.

Betrieb und Pilotfreigabe

• Modellversion, Laufzeit, Konfiguration und Indexstand reproduzierbar festhalten.
• Updates, Löschung von Dokumenten, Neuindexierung und Sicherung in einen Betriebsplan aufnehmen.
• Nutzungsgrenzen, Eskalation bei Fehlern und technische Abnahmekriterien für einen Pilot definieren.

Praxisübungen

1. Einen lokalen Modellendpunkt mit vorbereitetem Modell starten und die tatsächlichen Datenflüsse prüfen.
2. Eine kleine Wissensbasis aufbauen und nachweisen, dass gesperrte Dokumente nicht in den Antwortkontext gelangen.
3. Ein festes Fragenset und manipulierte Testdokumente auswerten und daraus eine begrenzte Pilotfreigabe ableiten.

Schulungsumgebung

Vorab geprüfte CPU- oder GPU-Laborressourcen, lokal verfügbare Modellgewichte und Embedding-Modelle, synthetische Dokumente sowie vorbereitete RAG-Bausteine. Der konkrete Hardwarebedarf richtet sich nach dem festgelegten Modell.