Seminar OmniLab Android Test Station (ATS) – Testergebnisse, Protokolle und Fehleranalyse

Ein roter Testlauf sagt noch nicht, ob Gerät, Infrastruktur, Ressource, Test oder Produkt fehlerhaft ist. Das Seminar etabliert einen festen Analyseprozess, der Zeitachse, Status, Modulergebnis, Ausgabedateien und mehrere Logquellen verbindet und vorschnelle Wiederholungen vermeidet.

Inhaltsverzeichnis

• Lernziele
• Zielgruppe
• Voraussetzungen
• Seminarinhalte
• Laufzustände und Zeitachse
• Resultate und Module
• Ausgabedateien
• Protokollquellen in ATS 2.0
• Fehlerklassifikation
• Retry- und Rerun-Entscheidung
• Typische Betriebsfehler
• Fehlerbericht und Wissensbasis
• Praxisübungen
• Methodik

Lernziele

• ATS-Laufzustände und zugehörige Fehlersignale sicher interpretieren.
• Gesamt- und Modulergebnisse sowie Ausgabedateien vollständig erfassen.
• Tradefed-, OmniLab-, Host- und Mobly-Protokolle zielgerichtet korrelieren.
• Infrastruktur-, Geräte-, Ressourcen-, Test- und Produktfehler trennen.
• Retry, Rerun, Defektmeldung oder Betriebsmaßnahme anhand nachvollziehbarer Kriterien auswählen.

Zielgruppe

Test Engineering, Qualitätssicherung, Android-Plattformentwicklung, DevOps, Laborbetrieb und Fehleranalyse in Release-Prozessen.

Voraussetzungen

Sichere ATS-Bedienung und Erfahrung mit Android-Testläufen. Grundkenntnisse zu Logdateien, Zeitstempeln und ADB sind erforderlich.

Seminarinhalte

Laufzustände und Zeitachse

1. Schritt 1: Pending, Queued, Running, Completed, Canceled und Error nach Ursache und erwarteter Aktion unterscheiden.
2. Schritt 2: Erstellungszeit, Downloadphase, Gerätezuweisung, Testdauer und Endstatus in eine gemeinsame Zeitachse übertragen.
3. Schritt 3: Den ersten auffälligen Zustandswechsel als Ausgangspunkt der Analyse markieren.

Resultate und Module

1. Schritt 1: Gesamtergebnis öffnen und einzelne Module nach Status, Laufzeit und Fehlerzahl sortieren.
2. Schritt 2: Fehlercluster, nicht ausgeführte Module und ungewöhnliche Laufzeitabweichungen erkennen.
3. Schritt 3: Ein Modul für die vertiefte Analyse mit vollständigem Kontext auswählen.

Ausgabedateien

1. Schritt 1: Resultat-XML, Fehlerberichte, Kontextarchive, Screenshots und weitere Artefakte dem Lauf zuordnen.
2. Schritt 2: Dateien unverändert sichern und mit Lauf-, Build- und Gerätekennung kennzeichnen.
3. Schritt 3: Strukturierte Resultate für Vergleich, Bericht und automatisierte Weiterverarbeitung vorbereiten.

Protokollquellen in ATS 2.0

1. Schritt 1: Tradefed-xTS-Protokolle, OmniLab-Serverprotokolle und Mobly-Logs nach Zuständigkeit unterscheiden.
2. Schritt 2: Host- und Gerätelog anhand von Zeitstempel und Laufkennung korrelieren.
3. Schritt 3: Sekundärfehler nach einem Abbruch von der ursprünglichen Fehlerursache trennen.

Fehlerklassifikation

1. Schritt 1: Geräte- und ADB-Fehler anhand von Verbindungs-, Zustands- und Autorisierungssignalen erkennen.
2. Schritt 2: Ressourcen-, Speicher- und Netzwerkfehler von eigentlichen Testfehlern abgrenzen.
3. Schritt 3: Produktregressionen erst nach reproduzierbarem Lauf auf kontrollierter Infrastruktur bestätigen.

Retry- und Rerun-Entscheidung

1. Schritt 1: Flüchtige Infrastrukturfehler, deterministische Testfehler und fehlerhafte Konfiguration unterschiedlich behandeln.
2. Schritt 2: Gezielten Modul-Retry oder vollständigen Rerun nur mit dokumentierter Hypothese ausführen.
3. Schritt 3: Ergebnisvergleich verwenden, um die Hypothese zu bestätigen oder zu verwerfen.

Typische Betriebsfehler

1. Schritt 1: Speicherengpass, fehlgeschlagener Download, nicht verfügbares Gerät und externe ADB-Kollision diagnostizieren.
2. Schritt 2: Korrekturmaßnahmen so wählen, dass Beweisdaten vor der Bereinigung erhalten bleiben.
3. Schritt 3: Nach der Korrektur einen kleinen Kontrolllauf vor einem umfangreichen Neustart ausführen.

Fehlerbericht und Wissensbasis

1. Schritt 1: Fehlerbericht mit Umgebung, Build, Gerät, Testversion, Schritten, Erwartung und Beobachtung erstellen.
2. Schritt 2: Relevante Protokollauszüge und Artefakte knapp, aber vollständig zuordnen.
3. Schritt 3: Wiederkehrende Fehlerbilder als Suchmuster, Entscheidungshilfe und Betriebsmaßnahme dokumentieren.

Praxisübungen

• Erstellen einer Zeitachse aus einem fehlgeschlagenen ATS-Testlauf.
• Korrelieren mehrerer Protokollquellen und Identifizieren des Primärfehlers.
• Entscheiden zwischen Retry, Rerun, Gerätewartung und Defektmeldung.
• Verfassen eines reproduzierbaren Fehlerberichts mit zugeordneten Artefakten.

Methodik

Reale und simulierte Fehlerläufe werden mit einem festen Analyseformular bearbeitet. Die Übungen zwingen zur Begründung jeder Wiederholungs- oder Korrekturentscheidung und verhindern reines Ausprobieren.