Seminar API-, Integrations- und Datenbanktests für KI-generierten Code

Seminarbeschreibung

KI-generierte Funktionen können isolierte Unit-Tests bestehen und dennoch an Schnittstellen oder bei echten Datenzugriffen scheitern. Das Seminar untersucht solche Fehler an einer vorbereiteten Anwendung mit HTTP-API und relationaler Datenbank. Maßgeblich sind vorab festgelegte Geschäftsregeln, Schnittstellenverträge und Dateninvarianten. Erwartete Resultate werden unabhängig von der zu prüfenden Implementierung ermittelt.

Im Mittelpunkt stehen durchgängige Prüfketten vom HTTP-Aufruf bis zum gespeicherten Zustand. Neben erfolgreichen Abläufen werden ungültige Eingaben, Berechtigungsgrenzen, doppelte Anforderungen und teilweise fehlgeschlagene Vorgänge untersucht. KI-generierte Tests werden auf Scheinerfolge kontrolliert, insbesondere auf übermäßiges Mocking, unvollständige Assertions und unzutreffende Annahmen über Transaktionen.

Lernziele

• API-Verträge in fachlich begründete positive und negative Testfälle übersetzen.
• Integrationstests mit kontrollierten Datenbeständen und echten Datenbankzugriffen aufbauen.
• Fehler in Transaktionen, Idempotenz und konkurrierenden Aktualisierungen reproduzieren.
• Vertragsverletzungen von Implementierungsfehlern und instabilen Testumgebungen unterscheiden.

Inhaltsübersicht

• Schnittstellenverträge und Testorakel
• API-Tests und negative Szenarien
• Integration mit realen Abhängigkeiten
• Datenkonsistenz und Nebenläufigkeit
• Vertragstests und Regressionen

Seminarinhalte

Schnittstellenverträge und Testorakel

HTTP-Methoden, Statuscodes, Fehlermodelle, optionale Felder und fachliche Vorbedingungen werden zu einem überprüfbaren Vertrag zusammengeführt. OpenAPI-Beschreibungen werden auf Vollständigkeit geprüft; eine syntaktisch passende Antwort allein belegt noch keine fachliche Richtigkeit.

• Validierung, Grenzwerte und unbekannte Felder berücksichtigen.
• Erwartete Zustandsänderungen unabhängig vom Antworttext bestimmen.
• Generierte Verträge mit fachlichen Anforderungen abgleichen.

API-Tests und negative Szenarien

Anfragen werden parametrisiert und mit kontrollierten Identitäten ausgeführt. Assertions überprüfen Antwort, Header und Seiteneffekte. Fehlerfälle erhalten eindeutige Erwartungen, damit ein beliebiger Fehlerstatus keine korrekte Fehlerbehandlung vortäuscht.

• Fehlende Anmeldung und unzulässigen Objektzugriff unterscheiden.
• Pagination, Sortierung, leere Ergebnisse und ungültige Filter prüfen.
• Timeouts und wiederholte Requests gezielt nachstellen.

Integration mit realen Abhängigkeiten

Vorbereitete Container stellen eine reproduzierbare Datenbank bereit. Die Grenzen zwischen Stub, Mock und echtem Integrationspartner werden bewusst festgelegt. Tests müssen Fehler an der Systemgrenze erkennen können, ohne von gemeinsam veränderten Daten anderer Testläufe abzuhängen.

• Fixtures aufbauen und nach jedem Lauf kontrolliert bereinigen.
• Verbindungsfehler und fehlerhafte Konfiguration diagnostizieren.
• Lokale und automatisierte Läufe mit gleichen Voraussetzungen ausführen.

Datenkonsistenz und Nebenläufigkeit

Constraints, Rollback und konkurrierende Änderungen werden an fachlichen Invarianten geprüft. Das Seminar zeigt, warum ein erfolgreicher Einzelaufruf weder atomare Verarbeitung noch Schutz vor verlorenen Aktualisierungen nachweist.

• Doppelte Buchungen und Lost Updates reproduzieren.
• Fehler zwischen zusammengehörigen Schreiboperationen auslösen.
• Migrationen mit vorbereiteten Altbeständen und Datenprüfungen erproben.

Vertragstests und Regressionen

Verbraucher- und Anbietersicht werden gegenübergestellt. Vertragstests prüfen vereinbarte Interaktionen; ergänzende Integrationstests untersuchen reale Konfiguration und Datenzustände. Änderungen an Schnittstellen werden anhand gezielter Regressionstests bewertet.

• Breaking Changes in Feldnamen, Typen und Semantik erkennen.
• Mocks mit tatsächlichen Antworten des Anbieters abgleichen.
• Fehlerbehebungen durch unabhängig begründete Regressionstests absichern.

Praxisübungen

1. Fachlichen Vertrag einer KI-generierten Reservierungs-API prüfen und eine Testfallmatrix erstellen.
2. Containerdatenbank initialisieren, Testdaten festlegen und API-Prüfungen implementieren.
3. Doppelte Requests und konkurrierende Reservierungen ausführen; Inkonsistenzen nachweisen.
4. Transaktions- und Validierungsfehler korrigieren und Regressionstests erneut ausführen.
5. Antwortdaten, Datenbankzustand und Fehlerberichte zu einer überprüfbaren Bewertung zusammenführen.

Arbeitsweise und Schulungsumgebung

TypeScript mit Vitest, HTTP-Testclient, OpenAPI, PostgreSQL und vorbereiteten Containern; Vertragstests an einem kleinen Verbraucher-Anbieter-Beispiel. Es wird ein gemeinsamer Technikstapel verwendet.