Seminar Fine-Tuning von Small Language Models mit LoRA und QLoRA

Parameter-effizientes Fine-Tuning ermöglicht es, Verhalten, Terminologie und Ausgabeformen eines Basismodells mit einem vergleichsweise kleinen trainierbaren Parametersatz anzupassen. LoRA und QLoRA reduzieren Speicherbedarf und Artefaktgröße, beseitigen jedoch nicht die Anforderungen an Datenqualität, Baseline, Tests und reproduzierbare Konfigurationen.

Das Seminar führt von der Auswahl eines geeigneten Basismodells über das Supervised Fine-Tuning bis zur Verwaltung und Bereitstellung von Adaptern. Jeder Trainingslauf wird gegen eine unveränderte Baseline geprüft, damit scheinbare Verbesserungen nicht durch unerwünschtes Vergessen oder Testleckage erkauft werden.

Lernziele

Nach Abschluss des Seminars können die behandelten Verfahren fachlich eingeordnet, technisch angewendet und anhand nachvollziehbarer Kriterien bewertet werden.

• Entscheiden, wann Fine-Tuning gegenüber Prompting oder RAG einen messbaren Mehrwert bietet
• Instruction- und Chat-Datensätze mit korrektem Template und Loss-Maskierung vorbereiten
• LoRA- und QLoRA-Konfigurationen an Modellarchitektur und Hardware anpassen
• Training stabil ausführen, Speicherengpässe diagnostizieren und Hyperparameter bewerten
• Adapter versionieren, laden, kombinieren oder mergen und ihre Qualität absichern

Seminarinhalte

Die Inhalte verbinden Grundlagen, Architekturentscheidungen und praktische Umsetzung in einer konsistenten Arbeitsumgebung.

Planung und Baseline

• Geeignete Anpassungsaufgaben: Stil, Terminologie, Format, Klassifikation, Extraktion und Tool Calling
• Grenzen bei Faktenaktualisierung, seltenem Wissen und hochdynamischen Daten
• Basismodell, Tokenizer, Lizenz, Kontextlänge und unterstützte Zielmodule
• Baseline-Prompts, Goldenset, Abnahmemetriken und Ressourcenbudget

Daten und Trainingsformat

• Prompt-Completion-, Chat- und Instruction-Formate
• Chat-Templates, Rollen, Sondertoken, Trunkierung, Packing und Antwortmaskierung
• Qualitätsfilter, Deduplizierung, Balancing, Splits und Kontaminationskontrolle
• Datenmischung zur Begrenzung von Überanpassung und unerwünschtem Vergessen

LoRA und QLoRA

• Low-Rank-Adapter, Zielmodule, Rang, Alpha, Dropout und trainierbare Parameter
• 4-Bit-Basismodell, Quantisierungstyp, Rechentyp und Speicherplanung bei QLoRA
• Rank-stabilized LoRA, DoRA und datenbasierte Adapterinitialisierung als kontrollierte Varianten
• Gradient Accumulation, Checkpointing, Mixed Precision und effiziente Optimizer
• Konfigurationsunterschiede zwischen Modellarchitekturen und Prüfung der tatsächlich trainierten Module

Training und Diagnose

• Lernrate, Scheduler, Batchgröße, Epochen, Warmup und Regularisierung
• Loss-Kurven, Gradientennormen, Checkpoints, Seeds und Experimentprotokoll
• Overfitting, instabiles Training, fehlerhafte Templates und abgeschnittene Zielantworten
• Speicherfehler, langsame Datenpipeline und unzureichende GPU-Auslastung

Adapter und Bereitstellung

• Adapterartefakte, Versionsbeziehungen zum Basismodell und reproduzierbares Laden
• Merge versus dynamisches Laden sowie mehrere Adapter auf einem Basismodell
• Qualitätsprüfung nach Merge, Konvertierung oder Quantisierung
• Sichere Veröffentlichung, Modellkarte, bekannte Grenzen und Rollback

Praktische Übungen

Die Übungen werden an einem durchgängigen, produktneutralen Beispielszenario durchgeführt und mit prüfbaren Kriterien ausgewertet.

• Datensatz und Chat-Template validieren sowie eine Baseline messen
• LoRA-Training konfigurieren und trainierbare Parameter kontrollieren
• QLoRA-Variante unter begrenztem GPU-Speicher ausführen
• Trainingsverläufe vergleichen und Fehlerbilder diagnostizieren
• Adapter laden oder mergen und gegen das Goldenset regressionsprüfen

Zielgruppe

Ausgelegt für technische Teilnehmende, die ein Training selbst konfigurieren und nicht nur fertige Adapter verwenden. Drei Tage sind für Datensatzprüfung, zwei Trainingsvarianten, Evaluation und Bereitstellung sachlich erforderlich.

Methodik

Fachliche Einordnung, Trainerdemonstrationen, geführte Laborabschnitte, eigenständige Übungen und gemeinsame Auswertung wechseln einander ab. Konfigurationen und Entscheidungen werden so dokumentiert, dass sie nach dem Seminar reproduzierbar bleiben.