Seminar Lokale KI-Coding-Assistenten mit Continue und Ollama

Lokal betriebene Modelle können eine Option sein, wenn Quelltext innerhalb einer kontrollierten Umgebung verarbeitet werden soll. Das Seminar baut dafür eine überschaubare Entwicklungsumgebung mit Continue und Ollama auf. Berücksichtigt werden alle beteiligten Komponenten: Editor, Erweiterung, Modellserver, ausgewählte Modelle, mögliche Zusatzdienste und ausgehende Verbindungen.

Die Übungen zeigen, dass lokale Ausführung allein noch keine abgeschlossene oder automatisch datenschutzgerechte Gesamtlösung ergibt. Modellqualität, Lizenzbedingungen, Hardwarebedarf und die tatsächlich genutzten Datenwege müssen gemeinsam geprüft werden. Der Schwerpunkt liegt auf einem einzelnen Arbeitsplatz beziehungsweise einem vorbereiteten internen Modellserver; hochverfügbare Inferenzplattformen sind eine weiterführende Betriebsaufgabe.

Seminarinhalte

Zielbild und Datenwege

• Lokale, intern gehostete und externe Verarbeitung anhand eines konkreten Architekturplans unterscheiden.
• Editor, Erweiterungen, Modellserver und zusätzliche Dienste auf mögliche Datenübertragungen untersuchen.
• Open-Source-Software und Modellgewichte mit jeweils eigenen Nutzungsbedingungen getrennt bewerten.

Modelle und Ressourcen

• Modelle nach vorgesehenem Einsatzzweck, Codeaufgaben und unterstützten Funktionen auswählen.
• Quantisierung, Kontextmenge und gleichzeitige Nutzung in Bezug auf Speicher und Antwortzeit einordnen.
• Einen kleinen messbaren Vergleich vorbereiten und unrealistische Hardwareannahmen vermeiden.

Ollama und Continue verbinden

• Den vorbereiteten Modellserver erreichen, vorhandene Modelle prüfen und eine erste lokale Anfrage ausführen.
• Continue so konfigurieren, dass die vorgesehenen Modellrollen den passenden Endpunkten zugeordnet sind.
• Für Chat, Bearbeitung und Vervollständigung jeweils geeignete Konfigurationen testen; Werkzeugnutzung nur mit kompatiblen Modellen erproben.

Projektarbeit und Kontext

• Ein Repository mit begrenztem Kontext analysieren und kleine Änderungen unter Git-Kontrolle umsetzen.
• Zusätzliche Kontext- oder Einbettungsdienste nur nach Prüfung der eingesetzten Version und ihrer Datenwege einbeziehen.
• Erfundene Funktionen und schwache Codevorschläge anhand unabhängiger Tests erkennen.

Internen Betrieb absichern

• Erreichbarkeit auf den vorgesehenen Arbeitsplatz beziehungsweise das interne Netz begrenzen.
• Authentisierung, Transportabsicherung und Netzfreigaben bei gemeinsam genutzten Servern als getrennte Betriebsaufgaben berücksichtigen.
• Modellbestände, Konfigurationen und Erweiterungen kontrolliert aktualisieren und Änderungen zurücknehmen können.

Qualität und Betriebsfähigkeit prüfen

• Dieselben Entwicklungsaufgaben mit unterschiedlichen Konfigurationen ausführen und fachlich bewerten.
• Antwortzeit, Speicherverbrauch, Kontextgrenzen und manuelle Nacharbeit erfassen.
• Einen Test ohne freigegebene externe Modellendpunkte durchführen und die beobachteten Verbindungen auswerten.

Praxisaufgabe

1. Den geplanten Datenfluss zeichnen und die zugelassenen Endpunkte und Modelle festlegen.
2. Ollama prüfen und Continue mit einem geeigneten Modell für das vorbereitete Repository verbinden.
3. Eine Codeanalyse, eine kleine Änderung und eine Vervollständigungsaufgabe ausführen.
4. Die Antworten anhand eigener Akzeptanztests bewerten und Ressourcenverbrauch sowie Wartezeit protokollieren.
5. Eine unzulässige externe Verbindung im Testaufbau sperren und die verbleibende Funktion nachvollziehen.
6. Eine Konfigurationsänderung erproben, ihre Auswirkungen vergleichen und den vorherigen Stand wiederherstellen.

Zielgruppe

Softwareentwickler, Linux-Administratoren, DevOps Engineers und technische Verantwortliche für intern betriebene Entwicklungswerkzeuge.

Voraussetzungen

Programmier- und Git-Grundkenntnisse; Erfahrung mit Terminal, grundlegender Netzwerkdiagnose und der Installation von Entwicklungswerkzeugen.

Schulungsumgebung

Vorbereiteter Arbeitsplatz mit Continue-fähigem Editor und Ollama oder Zugang zu einem internen Ollama-Server. Passende Modelle, RAM/VRAM und Betriebssystem werden vorab anhand des vereinbarten Übungsumfangs geprüft. Der Kunde stellt Hardware, Software und freigegebene Modelle bereit.