Seminar Ontop Testautomatisierung, Validierung und Troubleshooting

Ontop-Artefakte sind eng gekoppelt: Eine Änderung an Ontologie, Mapping, Lens, Treiber oder Quelle kann fachliche und technische Auswirkungen haben. Automatisierte Tests machen diese Auswirkungen vor dem Betrieb sichtbar.

Inhaltsverzeichnis

1. Teststrategie und Risikomodell
2. Statische Validierung
3. Referenzdaten und Kompetenzfragen
4. Semantische und SQL-Regression
5. Pipeline-Integration
6. Troubleshooting-Methode

Lernziele

• Eine risikobasierte Teststrategie für Ontologie, Mapping, Lenses, Abfragen und Deployment erstellen.
• CLI-Validierung und Referenzabfragen automatisiert ausführen und auswerten.
• Semantische, SQL- und Leistungsregressionen in eine Pipeline integrieren.
• Fehler systematisch zwischen Konfiguration, Datenquelle, Mapping, Reformulierung und Betrieb lokalisieren.

Zielgruppe

Ontop-Entwicklung, Qualitätssicherung, Data Engineering, DevOps, Plattformbetrieb und technische Testautomation.

Voraussetzungen

Praktische Ontop-, SQL- und SPARQL-Kenntnisse sowie Grundlagen in Skripting oder CI/CD.

Kapitel 1: Teststrategie und Risikomodell

Kapitel-Inhaltsverzeichnis: Artefakte, Änderungstypen, Teststufen, Priorität und Abnahmekriterien.

1. Schritt 1: Alle Ontop-Artefakte und externen Abhängigkeiten werden einer Teststufe zugeordnet.
2. Schritt 2: Kritische Kompetenzfragen, Schlüsselbeziehungen und Leistungsabfragen erhalten höchste Priorität.
3. Schritt 3: Klare Bestehens-, Warn- und Abbruchkriterien werden vor der Automatisierung definiert.

Kapitel 2: Statische Validierung

Kapitel-Inhaltsverzeichnis: Ontologie, Mapping, Syntax, Vokabular, Lenses, Eigenschaften und Treiber.

1. Schritt 1: Die CLI-Validierung wird mit festen Eingabepfaden und maschinenlesbarem Protokoll ausgeführt.
2. Schritt 2: Zusätzliche Regeln prüfen Namenskonvention, doppelte Mapping-IDs und unerlaubte Konfigurationswerte.
3. Schritt 3: Fehler werden mit Datei, Regel, Schweregrad und Korrekturhinweis ausgegeben.

Kapitel 3: Referenzdaten und Kompetenzfragen

Kapitel-Inhaltsverzeichnis: Kleine Datenbasis, positive Fälle, Negativfälle, Nullwerte und Kardinalitäten.

1. Schritt 1: Ein minimales Testdatenset deckt jeden Mapping-Pfad mit erwartbaren Werten ab.
2. Schritt 2: Negativfälle enthalten ungültige Schlüssel, Nullwerte, Duplikate und verwaiste Beziehungen.
3. Schritt 3: Kompetenzfragen werden als SPARQL-Abfragen mit stabilen erwarteten Resultaten gespeichert.

Kapitel 4: Semantische und SQL-Regression

Kapitel-Inhaltsverzeichnis: Resultatvergleich, Reihenfolge, Blank Nodes, erzeugtes SQL und Datenbankpläne.

1. Schritt 1: Resultate werden kanonisch sortiert oder normalisiert, bevor sie verglichen werden.
2. Schritt 2: Semantisch irrelevante Unterschiede werden von echten Inhaltsänderungen getrennt.
3. Schritt 3: Kritische SQL-Reformulierung und Ausführungspläne werden auf strukturelle Verschlechterung geprüft.

Kapitel 5: Pipeline-Integration

Kapitel-Inhaltsverzeichnis: Artefaktversion, isolierte Umgebung, Secrets, Berichte und Freigabegates.

1. Schritt 1: Die Pipeline erstellt für jedes Release eine isolierte Ontop-Instanz mit definiertem Datenstand.
2. Schritt 2: Geheimnisse werden zur Laufzeit bereitgestellt und nicht in Testprotokollen ausgegeben.
3. Schritt 3: Nur bei bestandenen Funktions- und Leistungsprüfungen wird das Deployment-Artefakt freigegeben.

Kapitel 6: Troubleshooting-Methode

Kapitel-Inhaltsverzeichnis: Fehlerklassifikation, Reproduktion, Minimalfall, Logs, SQL und Ursachenbehebung.

1. Schritt 1: Das Problem wird mit Query-ID, Versionen, Eingaben und erwarteten Resultaten reproduzierbar beschrieben.
2. Schritt 2: Durch schrittweise Reduktion entsteht ein Minimalfall für Abfrage, Mapping oder Datenquelle.
3. Schritt 3: Die Korrektur wird mit dem vollständigen Regressionstest und einem neuen Negativtest abgesichert.