Seminar OpenEuroLLM: Intensiv: Daten, Fine-Tuning und Evaluation

Dieses Intensivseminar bündelt die Entwicklungslinie in einem überschaubaren Anpassungsvorhaben. Ausgehend von einer konkreten Fachaufgabe werden ein geeigneter Modellstand und ein kleiner mehrsprachiger Datensatz ausgewählt. Darauf folgen kontrollierte Datenverarbeitung, eine Baseline, ein begrenzter Anpassungsversuch und eine unabhängige Bewertung.

Zusammengeführt werden die Inhalte der Einzelseminare Datenaufbereitung, Fine-Tuning und Evaluation. Projektgrundlagen sowie die relevanten Sicherheits- und Governance-Fragen werden integriert. Ein gemeinsamer Übungsbestand ersetzt voneinander getrennte Übungsreihen und ermöglicht die Bearbeitung der gesamten Kette innerhalb von fünf Tagen.

OpenEuroLLM-Datenkatalog, Post-Training-Ansätze und Evaluationswerkzeuge dienen der fachlichen Einordnung. Der praktische Anpassungslauf erfolgt auf einer vorab getesteten, für das Labor geeigneten Modellvariante. Umfangreiche Vortrainingsläufe und vollständige HPC-Evaluationen werden methodisch eingeordnet. Im Seminar werden kleine, zeitlich begrenzte Experimente tatsächlich ausgeführt.

Die Intensivfassung deckt die Fachgebiete mit gezielter Auswahl ab. Ausführliche Variantenvergleiche und die vollständige Breite der Einzelübungen verbleiben in den Fachseminaren. Zusammen mit dem Intensivseminar zu Anwendungen, Inferenz und Betrieb entsteht eine vollständige thematische Abdeckung des Einzelprogramms.

Lernziele

• Ein begrenztes Anpassungsexperiment von der Datenauswahl bis zum Vergleichstest durchführen.
• Datenherkunft, Sprachverteilung und unabhängige Prüfbestände nachvollziehbar behandeln.
• Ein parameterarmes Training auf einer geeigneten Modellvariante ausführen und untersuchen.
• Eine begründete Entscheidung über den veränderten Modellstand und weitere Prüfungen dokumentieren.

Inhaltsverzeichnis

1. Projektartefakte und Versuchsfrage
2. Datenqualität und Sprachmischung
3. Baseline und Bewertungsmaßstab
4. Kontrollierte Anpassung
5. Evaluation und Fehlerschwerpunkte
6. Export und dokumentierte Entscheidung

Seminarinhalte

Projektartefakte und Versuchsfrage

• Modell- und Datenveröffentlichungen nach ihrem Zweck einordnen und den Laborstand festlegen.
• Eine konkrete Fachaufgabe mit begrenztem Sprachumfang und messbaren Anforderungen formulieren.
• Ressourcenbudget, Abbruchbedingungen und unveränderliche Vergleichsbedingungen bestimmen.

Datenqualität und Sprachmischung

• Herkunft und Bedingungen erfassen sowie ungeeignete Bestände ausschließen.
• Texte bereinigen, Dubletten untersuchen und Daten anhand von Dokumentgruppen aufteilen.
• Tokenlängen und Sprachanteile messen und eine dokumentierte Mischung für den Versuch erzeugen.

Baseline und Bewertungsmaßstab

• Einen unabhängigen Prüfkatalog mit gleichen Aufgaben vor und nach der Anpassung anlegen.
• Korrektheit, Ausgabeformat und unerwünschte Veränderungen außerhalb der Zieldomäne berücksichtigen.
• Die Ausgangsleistung erfassen und kritische Fehlertypen vor dem Training festhalten.

Kontrollierte Anpassung

• Chatformat oder Texteingabe passend zum gewählten Modell prüfen und trainierte Tokenbereiche kontrollieren.
• Einen geeigneten LoRA-Versuch mit festgelegten Zielmodulen und begrenztem Rechenbudget konfigurieren.
• Einen Probelauf und einen kurzen Trainingslauf durchführen; Überanpassung und Speichergrenzen untersuchen.

Evaluation und Fehlerschwerpunkte

• Den angepassten Stand unter gleichen Bedingungen mit der Baseline vergleichen.
• Abweichungen pro Sprache und Aufgabenart aufschlüsseln und Bewertungskonflikte klären.
• Lokale Evaluationsläufe von der HPC-Orchestrierung mit oellm-eval unterscheiden.

Export und dokumentierte Entscheidung

• Adapter, Basismodellrevision, Tokenizer und Konfiguration gemeinsam dokumentieren.
• Den veränderten Stand in einer frischen Sitzung laden und die Prüffälle wiederholen.
• Datenfreigaben, bekannte Grenzen und weitere Maßnahmen in einem technischen Entscheidungsprotokoll bündeln.

Praktische Übungen

1. Die Fachaufgabe festlegen, Artefakte prüfen und einen unveränderten Baseline-Lauf speichern.
2. Den Übungsbestand bereinigen, gruppenweise aufteilen und Sprachanteile auf Tokenbasis dokumentieren.
3. Trainingseingaben prüfen und einen kurzen parameterarmen Anpassungsversuch ausführen.
4. Unabhängige Aufgaben erneut bewerten und den Erfolg je Sprache und Fehlerklasse betrachten.
5. Adapter und Konfiguration exportieren, neu laden und einen reproduzierbaren Kontrolllauf durchführen.
6. Den Modellstand anhand der vorab festgelegten Kriterien bewerten und weitere Schritte begründen.

Schulungsumgebung

Der Kunde stellt vorbereitete GPU-Arbeitsumgebungen, einen geeigneten kleinen Modellstand und freigegebene Übungsdaten bereit. Referenzartefakte für länger laufende Versuche liegen zusätzlich vor. Ein EuroHPC-Zugang wird nicht vorausgesetzt; die praktischen Arbeiten werden auf das bereitgestellte Labor begrenzt.