Seminar Domänenspezifische Sprachmodelle und Small Language Models

Domänenspezifische Sprachmodelle und Small Language Models ermöglichen kontrollierbare KI-Funktionen mit geringerem Ressourcenbedarf, kurzen Antwortzeiten und lokaler Betriebsoption. Entscheidend ist nicht eine feste Parametergrenze, sondern die nachgewiesene Eignung für eine klar umrissene Aufgabe unter den Qualitäts-, Kosten-, Sicherheits- und Betriebsanforderungen der Organisation.

Das Seminarprogramm deckt den vollständigen Lebenszyklus ab: Modell- und Architekturwahl, kontrollierte Domänendaten, Continued Pretraining, parameter-effizientes Training, Verhaltensanpassung, RAG, Tool Calling, Evaluation, Kompression, Inferenz, Plattformbetrieb sowie Sicherheit und Governance. Die Inhalte sind produktneutral aufgebaut und verwenden aktuelle offene Werkzeuge in praktischen Laboren.

Thematische Einordnung

Fachwissen kann über Retrieval zur Laufzeit bereitgestellt, durch Training in Modellverhalten überführt oder in hybriden Architekturen kombiniert werden. Das Programm vermittelt deshalb keine Einheitslösung, sondern messbare Auswahlkriterien und reproduzierbare Engineering-Verfahren.

• Architektur und Modellwahl für belastbare Startentscheidungen
• Corpus Engineering für rechtmäßig nutzbare, saubere und versionierte Domänendaten
• Continued Pretraining und Tokenizer-Anpassung für tiefgreifende Domänenanpassung
• LoRA, QLoRA, Instruction Tuning und Präferenzoptimierung für gezieltes Modellverhalten
• RAG und Evaluation für aktuelles Wissen und nachweisbare Fachqualität
• Tool Calling und agentische Workflows für kontrollierte Prozessintegration
• Quantisierung, Pruning, Distillation und Serving für wirtschaftlichen Betrieb
• Sicherheit, Datenschutz, Dokumentation und Governance über den gesamten Lebenszyklus

Empfohlener Lernpfad

Der Standardpfad beginnt mit Architektur und frühen Sicherheitsanforderungen, führt über Daten und Evaluation zu den geeigneten Wissens- und Anpassungsverfahren und endet mit Prozessintegration, Optimierung und Betrieb. Continued Pretraining ist nur bei ausreichendem Corpus und nachgewiesenem Bedarf erforderlich. Das Praxistraining festigt anschließend den vollständigen Entwicklungszyklus.

1. Architektur und Modellwahl für domänenspezifische Sprachmodelle
2. Sicherheit, Datenschutz und Governance für domänenspezifische Sprachmodelle
3. Datenaufbereitung und Corpus Engineering für Small Language Models
4. Evaluation und Qualitätssicherung für domänenspezifische Sprachmodelle
5. Retrieval-Augmented Generation mit domänenspezifischen Sprachmodellen
6. Continued Pretraining und Tokenizer-Anpassung für domänenspezifische Sprachmodelle – bei eigener Modellfortführung
7. Fine-Tuning von Small Language Models mit LoRA und QLoRA
8. Instruction Tuning und Preference Optimization für Small Language Models
9. Tool Calling und agentische Workflows mit Small Language Models
10. Quantisierung, Pruning und Distillation für Small Language Models
11. Inferenz, Bereitstellung und Betrieb von Small Language Models
12. Domänenspezifische Sprachmodelle entwickeln – Praxistraining

Alternative Einstiege

Das dreitägige Kompaktseminar eignet sich als gemeinsamer Einstieg für gemischte Projektteams und kann anschließend durch einzelne Fachseminare ergänzt werden. Das fünftägige Intensivseminar ist ein in sich geschlossener Alternativpfad, der sämtliche Themen komprimiert in einem End-to-End-Projekt verbindet. Bereits erfahrene Teams können nach einer kurzen Standortbestimmung direkt in Datenaufbereitung, Continued Pretraining, Fine-Tuning, RAG, Evaluation, Tool Calling, Betrieb oder Governance einsteigen.

Praxisorientierung

Technische Seminare kombinieren geführte Demonstrationen mit reproduzierbaren Laborübungen. Modelle, Daten, Prompts, Adapter, Tests und Betriebsparameter werden versioniert betrachtet. Der Lernerfolg beruht auf gemessener Fachqualität und Betriebsfähigkeit, nicht auf einzelnen eindrucksvollen Beispielantworten.