Seminar Intensivseminar: Funktionale Qualität KI-generierten Codes

Seminarbeschreibung

Das Intensivseminar führt von der fachlichen Anforderung zu einer ausführbaren Prüfkette für KI-generierte Softwareänderungen. Ein gemeinsames Projekt mit Geschäftslogik, API, Datenbank und Weboberfläche macht sichtbar, welche Fehler auf welcher Teststufe erkannt werden. Alle erwarteten Ergebnisse werden an unabhängigen Akzeptanzkriterien ausgerichtet.

Gebündelt werden die Fachthemen Grundlagen und Prüfstrategie, Code-Review und statische Analyse, Unit-Tests, API- und Datenbanktests, End-to-End-Tests sowie Property-based Testing und Mutationstests. Wiederkehrende Grundlagen werden einmal behandelt. Die Übungen konzentrieren sich auf repräsentative Fehlerfälle; die zusätzlichen Varianten und Vertiefungen der einzelnen Fachseminare entfallen.

Gemeinsam mit dem Intensivseminar zu Sicherheit, Betrieb und Freigabe wird das gesamte Fachseminarprogramm thematisch abgedeckt. Beide Veranstaltungen können bei passenden Vorkenntnissen separat besucht werden. Der Schwerpunkt dieses Angebots liegt auf der funktionalen Richtigkeit und der Erkennungsleistung der zugehörigen Tests.

Lernziele

• Eine risikobasierte Prüfkette für KI-generierte Anwendungsteile entwerfen.
• Reviews und automatisierte Tests auf unabhängige fachliche Erwartungen stützen.
• Fehler über Unit-, API-, Datenbank- und Browserprüfungen eingrenzen.
• Testlücken durch Eigenschaften, Gegenbeispiele und Mutationsergebnisse sichtbar machen.
• Korrekturen mit konsistenten Regressionstests über mehrere Ebenen absichern.

Inhaltsübersicht

• Prüfstrategie und gemeinsames Testorakel
• Code-Review und statische Prüfung
• Unit-Tests und Testdoubles
• API, Verträge und Datenbankintegration
• End-to-End-Prüfung der Weboberfläche
• Eigenschaften und Mutation
• Zusammenhängender Prüfauftrag

Seminarinhalte

Prüfstrategie und gemeinsames Testorakel

Die fachlichen Regeln des Projekts werden in Akzeptanzkriterien und unabhängige Sollwerte übersetzt. Besondere Fehlerbilder generierter Änderungen werden konkreten Prüfebenen zugeordnet. Die Prüfkette behandelt Produktivcode, Tests und Konfiguration als zusammenhängenden Änderungssatz.

• Risiken priorisieren und Prüfumfang festlegen.
• Unklare Anforderungen und nicht geprüfte Annahmen dokumentieren.
• Eine konsistente Testfallmatrix für alle Ebenen aufbauen.

Code-Review und statische Prüfung

Ein generierter Pull Request wird anhand von Kontrollfluss, Datennutzung und Fehlerbehandlung geprüft. Typprüfung und Linting ergänzen den manuellen Review. Befunde werden durch kleine reproduzierbare Fälle abgesichert.

• Fehlerhafte Bibliotheksannahmen und unterdrückte Prüfungen erkennen.
• Fachliche Defekte von Stilfragen unterscheiden.
• Nachvollziehbare Korrekturaufträge formulieren.

Unit-Tests und Testdoubles

Grenzwerte und Entscheidungstabellen liefern repräsentative Tests für die Geschäftslogik. Zeit und externe Zugriffe werden kontrolliert. Bereits vorhandene KI-Tests werden auf schwache Assertions und falsche Erwartungen untersucht.

• Unabhängige Sollwerte als präzise Assertions umsetzen.
• Asynchrone Fehlerpfade und Nebenwirkungen prüfen.
• Korrekturen durch zuvor scheiternde Regressionstests absichern.

API, Verträge und Datenbankintegration

HTTP-Aufrufe werden mit kontrollierten Datenzuständen verknüpft. API-Verträge, ungültige Eingaben und ein zentraler Transaktionsfall werden praktisch geprüft. Verbraucher- und Anbietersicht werden an einer ausgewählten Vertragsänderung verglichen.

• Antwort und gespeicherten Zustand gemeinsam prüfen.
• Wiederholte Anforderungen und Rollback untersuchen.
• Einen Breaking Change anhand eines Vertragstests erkennen.

End-to-End-Prüfung der Weboberfläche

Ein wichtiger Nutzerablauf wird einschließlich Validierung und Fehlerzustand automatisiert. Isolierte Sitzungen und stabile Locators halten die Tests nachvollziehbar. Eine instabile Prüfung wird anhand eines Traces repariert.

• Fachlichen Abschluss des Ablaufs verifizieren.
• Tastaturbedienung und eine Darstellungsvariante prüfen.
• Simulationen durch ausgewählte reale Integrationsläufe ergänzen.

Eigenschaften und Mutation

Für eine begrenzte Geschäftsregel werden Eigenschaften und passende Eingabegeneratoren erstellt. Gegenbeispiele werden reproduziert. Ein gezielter Mutationslauf untersucht anschließend, ob die Tests relevante Codeveränderungen erkennen.

• Fachliche Invarianten unabhängig begründen.
• Überlebende Mutanten auf tatsächliche Prüflücken untersuchen.
• Tests ohne künstliche Bindung an Implementierungsdetails verbessern.

Zusammenhängender Prüfauftrag

Ein abschließender Änderungssatz enthält mehrere gezielt eingebrachte Fehler. Die Prüfung verbindet Review, Testauswahl, Diagnose und erneute Ausführung nach der Korrektur. Die Bewertung bezieht sich auf einen eindeutig festgehaltenen Code-Stand.

• Prüfergebnisse über alle beteiligten Ebenen zusammenführen.
• Korrekturen auf Nebenwirkungen untersuchen.
• Offene fachliche Fragen und begrenzte Testabdeckung benennen.

Praxisübungen

1. Projektanforderungen lesen und eine unabhängige Testfallmatrix erstellen.
2. Generierten Pull Request reviewen und die Geschäftslogik mit Unit-Tests prüfen.
3. API- und Datenbankprüfungen ergänzen und einen Transaktionsfehler reproduzieren.
4. Einen Kernablauf der Oberfläche automatisieren und einen instabilen Test reparieren.
5. Eine Eigenschaft und einen begrenzten Mutationslauf zur Kontrolle der Tests nutzen.
6. Einen weiteren Änderungssatz selbstständig bewerten und seine Korrektur erneut prüfen.

Arbeitsweise und Schulungsumgebung

Durchgängiger TypeScript-Technikstapel mit Vitest, ESLint, fast-check, StrykerJS, Playwright sowie vorbereiteter API und PostgreSQL-Containern. Die Umgebung ist eingerichtet; mehrere Programmiersprachen werden nicht gleichzeitig unterrichtet.