Seminar AOSP Cuttlefish – Continuous Integration und Testfarmen

Der Aufbau einer belastbaren Testfarm verlangt reproduzierbare Artefakte, deterministische Gerätezustände und eine klare Fehlerzuordnung. Das Seminar führt diese Anforderungen zu einer vollständigen Pipeline vom Build-Eingang bis zum verwertbaren Testergebnis zusammen.

Inhaltsverzeichnis

1. Seminarüberblick
2. Zielgruppe
3. Voraussetzungen
4. Lernziele
5. Seminarinhalte
6. Praxisübungen
7. Kompetenzen

Seminarüberblick

Das Thema wird in einer methodisch aufgebauten Folge aus Einordnung, Demonstration, angeleiteter Umsetzung und eigenständiger Kontrolle bearbeitet. Jeder Arbeitsschritt endet mit einer technischen Verifikation.

Zielgruppe

• CI/CD- und DevOps-Engineers
• Testautomatisierer
• Build- und Release-Teams
• Betreiber von Android-Testfarmen

Voraussetzungen

Praktische Kenntnisse in Linux, CI/CD und Android-Tests sowie grundlegende Erfahrung mit Cuttlefish und adb.

Lernziele

• Artefakte und Instanzprofile revisionssicher in Pipelines verwenden
• Cuttlefish-Instanzen automatisiert und parallel bereitstellen
• Tests sharden, wiederholen und voneinander isolieren
• Ergebnisse, Kapazitäten und Fehlerursachen betrieblich auswerten

Seminarinhalte

Tag 1: Pipeline- und Artefaktarchitektur

1. Schritt 1: Build-, Image-, Hostpaket- und Testartefakte als zusammengehörigen Versionssatz modellieren.
2. Schritt 2: Pipeline-Stufen für Eingangskontrolle, Bereitstellung, Test, Auswertung und Bereinigung definieren.
3. Schritt 3: Produktziel, Buildvariante, Architektur und Instanzprofil als unveränderliche Laufparameter erfassen.
4. Schritt 4: Artefaktablage, Prüfsummen, Aufbewahrung und Freigabestatus für reproduzierbare Läufe festlegen.
5. Schritt 5: Fehlerdomänen zwischen Buildsystem, Infrastruktur, Gerät und Testframework abgrenzen.

Tag 2: Automatisierte Provisionierung und Isolation

1. Schritt 1: Hosts vor einem Lauf auf Virtualisierung, Ressourcen und benötigte Systemdienste prüfen.
2. Schritt 2: Einzelne und mehrere Instanzen automatisiert aus kanonischen Konfigurationen erzeugen.
3. Schritt 3: Instanznummern, Ports, Laufzeitverzeichnisse und Arbeitsbereiche kollisionsfrei vergeben.
4. Schritt 4: Powerwash, Neuaufbau und Snapshot-Strategien für definierte Ausgangszustände auswählen.
5. Schritt 5: Bereinigungsschritte so gestalten, dass abgebrochene Läufe keine Folgejobs beeinflussen.

Tag 3: Parallele Tests, Sharding und Ergebnisdaten

1. Schritt 1: CTS, Trade Federation und eigene Testpakete in eine gemeinsame Ausführungslogik integrieren.
2. Schritt 2: Tests auf mehrere Geräte verteilen und Shards nachvollziehbar Geräten zuordnen.
3. Schritt 3: Retry-Regeln, Zeitgrenzen, Neustarts und Fehlerklassifikationen ohne Ergebnisverfälschung definieren.
4. Schritt 4: Geräte-, Host- und Testlogs laufbezogen sammeln und mit Buildinformationen verknüpfen.
5. Schritt 5: Maschinenlesbare Ergebnisse in technische und fachliche Statusinformationen überführen.

Tag 4: Testfarmbetrieb und Referenzpipeline

1. Schritt 1: Kapazitätsgrenzen, Warteschlangen, Hostauslastung und Durchsatz gemeinsam bewerten.
2. Schritt 2: Flaky Tests, Infrastrukturfehler und echte Produktregressionen anhand fester Regeln trennen.
3. Schritt 3: Quoten, Prioritäten, Reservierungen und Wartungsfenster für mehrere Teams entwerfen.
4. Schritt 4: Alarmierung, Runbooks und Eskalationsdaten für wiederkehrende Fehlerbilder definieren.
5. Schritt 5: Eine vollständige Referenzpipeline mit Start-, Test-, Auswertungs- und Cleanup-Phase umsetzen.

Praxisübungen

• Versionierter Artefaktsatz für einen Pipeline-Lauf
• Automatisierter Multi-Instanz-Job mit Cleanup
• Sharding eines Testplans mit Retry-Regeln
• Entwurf und Abnahme einer vollständigen Referenzpipeline

Kompetenzen

• Reproduzierbare CI-Läufe mit eindeutigem Gerätezustand
• Skalierbare parallele Testausführung
• Betriebliche Trennung von Test-, Produkt- und Infrastrukturfehlern