Seminar Logging, Reports und Diagnose in Mobly

Seminarprofil

Nachvollziehbarkeit ist eine zentrale Voraussetzung für stabile End-to-End-Tests. Das Seminar verbindet strukturierte Protokollierung, Ergebnisbewertung und Artefaktsicherung zu einem durchgängigen Diagnosekonzept für lokale und automatisierte Testläufe.

Didaktische Einordnung: Zwei Tage sind erforderlich, weil zunächst Moblys Ergebnis- und Logging-Modell praktisch erschlossen und anschließend geräteübergreifende Diagnoseketten, Fehlerklassifikation sowie die Einbindung in automatisierte Auswertungen umgesetzt werden.

Lernziele

• Logmeldungen nach Testphase, Gerät und Controller strukturiert erfassen
• Testergebnisse, Fehlerursachen und Zusatzinformationen konsistent auswerten
• Diagnoseartefakte bei Fehlern automatisiert sichern
• Mehrgerätefehler anhand einer gemeinsamen Zeitachse eingrenzen
• Berichte für lokale Ausführung und CI-Betrieb standardisieren

Zielgruppe

Testautomatisierer, Testarchitekten, Android- und Systemtester sowie DevOps-Fachkräfte, die fehlgeschlagene Testläufe schnell und reproduzierbar analysieren müssen.

Voraussetzungen

Python-Grundkenntnisse und erste Erfahrung mit automatisierten Testfällen; Grundkenntnisse zu Android- oder Netzwerkdiagnose sind hilfreich.

Inhaltsübersicht

1. Tag 1 – Diagnoseanforderungen und Ergebnisstruktur festlegen
2. Tag 1 – Mobly-Logging gezielt einsetzen
3. Tag 1 – Ergebnisse und Signale auswerten
4. Tag 2 – Host- und Geräteartefakte sichern
5. Tag 2 – Zeitachsen und Korrelation erstellen
6. Tag 2 – Diagnose in CI und Laborbetrieb standardisieren

1. Tag 1 – Diagnoseanforderungen und Ergebnisstruktur festlegen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Typische Fehlerbilder nach Infrastruktur-, Geräte-, Test- und Produktfehlern unterscheiden.
2. Schritt 2: Benötigte Beweismittel für jede Fehlerklasse definieren.
3. Schritt 3: Eine einheitliche Benennung für Testlauf, Testbed, Gerät und Testfall festlegen.

2. Tag 1 – Mobly-Logging gezielt einsetzen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Logebenen und aussagekräftige Meldungsstrukturen für Setup, Test und Teardown festlegen.
2. Schritt 2: Kontextdaten wie Rollen, Seriennummern und Parameter in Meldungen aufnehmen.
3. Schritt 3: Mehrdeutige oder redundante Ausgaben durch klare Ereignisformulierungen ersetzen.

3. Tag 1 – Ergebnisse und Signale auswerten

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Erfolgreiche, fehlgeschlagene und übersprungene Testfälle voneinander abgrenzen.
2. Schritt 2: Assertions und explizite Signale mit Diagnoseinformationen ergänzen.
3. Schritt 3: Fehlerketten so gestalten, dass die primäre Ursache erhalten bleibt.

4. Tag 2 – Host- und Geräteartefakte sichern

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Hostlogs, Konfiguration und Laufzeitparameter in einem Laufverzeichnis bündeln.
2. Schritt 2: Android-Logs, Screenshots und relevante Dateien ereignisbezogen erfassen.
3. Schritt 3: Artefakte anhand von Testfall und Gerät eindeutig zuordnen.

5. Tag 2 – Zeitachsen und Korrelation erstellen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Zeitstempel verschiedener Geräte und Dienste auf Plausibilität prüfen.
2. Schritt 2: Ereignisse eines Mehrgerätetests in einer gemeinsamen Reihenfolge zusammenführen.
3. Schritt 3: Ursache, Folgefehler und Recovery-Aktionen anhand der Zeitachse trennen.

6. Tag 2 – Diagnose in CI und Laborbetrieb standardisieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Aufbewahrungsregeln für erfolgreiche und fehlgeschlagene Läufe definieren.
2. Schritt 2: Maschinenlesbare Ergebnisse und menschenlesbare Zusammenfassungen kombinieren.
3. Schritt 3: Eine Diagnose-Checkliste für Erstbewertung, Eskalation und Wiederholung implementieren.

Praxisprojekt

1. Schritt 1: Einen Testlauf mit bewusst erzeugten Fehlern und differenzierten Logebenen ausführen.
2. Schritt 2: Host- und Android-Artefakte automatisiert in einer konsistenten Struktur sammeln.
3. Schritt 3: Die Ereignisse zweier Geräte zu einer Diagnosezeitachse zusammenführen.
4. Schritt 4: Einen kompakten Fehlerbericht mit Ursache, Belegen und Wiederholungsanweisung erzeugen.