Seminar Testlabore mit Mobly skalieren und stabilisieren

Seminarprofil

Skalierung bedeutet nicht nur mehr Geräte, sondern kontrollierte Ressourcenzuteilung und messbare Stabilität. Die Veranstaltung entwickelt ein Betriebsmodell, das Testcode, Laborsteuerung und Qualitätssicherung miteinander verzahnt.

Didaktische Einordnung: Vier Tage sind erforderlich, weil Architektur und Inventar, Ressourcensteuerung und Parallelität, Stabilitäts- und Recovery-Mechanismen sowie Monitoring, Kennzahlen und ein vollständiger Betriebsworkshop jeweils eigene praktische Schwerpunkte bilden.

Lernziele

• Laborressourcen inventarisieren und nach Fähigkeiten planbar machen
• Reservierung, Isolation und parallele Ausführung sicher gestalten
• Gerätezustand, Recovery und Quarantäne automatisieren
• Flaky Tests und Infrastrukturfehler datenbasiert unterscheiden
• Monitoring, Kennzahlen und Betriebsprozesse für Dauerbetrieb etablieren

Zielgruppe

Testlaborverantwortliche, Testarchitekten, DevOps- und Infrastrukturteams sowie Senior-Testautomatisierer für größere Geräte- und Hardwarebestände.

Voraussetzungen

Praktische Mobly-Erfahrung, gute Python-Kenntnisse und Grundverständnis von CI-Systemen, Geräteverwaltung und Netzwerkbetrieb.

Inhaltsübersicht

1. Tag 1 – Zielbild und Kapazitätsmodell entwickeln
2. Tag 1 – Ressourceninventar und Fähigkeiten modellieren
3. Tag 1 – Laborgrenzen und Verantwortlichkeiten festlegen
4. Tag 2 – Reservierung und Zuteilung implementieren
5. Tag 2 – Parallele Testläufe isolieren
6. Tag 2 – Durchsatz kontrolliert optimieren
7. Tag 3 – Gesundheitsprüfung und Ausgangszustand automatisieren
8. Tag 3 – Recovery und Quarantäne steuern
9. Tag 3 – Flaky Tests systematisch behandeln
10. Tag 4 – Beobachtbarkeit und Kennzahlen aufbauen
11. Tag 4 – Betriebsabläufe und Änderungen absichern
12. Tag 4 – Skalierungsworkshop durchführen

1. Tag 1 – Zielbild und Kapazitätsmodell entwickeln

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Testarten, Geräteklassen, Laufzeiten und Parallelitätsbedarf erfassen.
2. Schritt 2: Kapazitätsengpässe nach Ressource, Verbindung und Umgebung identifizieren.
3. Schritt 3: Serviceziele für Verfügbarkeit, Durchsatz und Diagnosezeit definieren.

2. Tag 1 – Ressourceninventar und Fähigkeiten modellieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Geräte und Hardware mit stabiler Kennung, Zustand und Fähigkeiten erfassen.
2. Schritt 2: Rollenanforderungen aus Testbeds in Auswahlkriterien übersetzen.
3. Schritt 3: Änderungen, Wartung und Kalibrierung versionierbar protokollieren.

3. Tag 1 – Laborgrenzen und Verantwortlichkeiten festlegen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Testcode, Scheduler, Controller, Laborservice und physische Ressource trennen.
2. Schritt 2: Besitz, Sperre und Freigabe einer Ressource eindeutig modellieren.
3. Schritt 3: Fehlerschnittstellen und Eskalationswege zwischen den Schichten definieren.

4. Tag 2 – Reservierung und Zuteilung implementieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Atomare Reservierungen für zusammengehörige Gerätegruppen entwerfen.
2. Schritt 2: Timeout, Verlängerung und verwaiste Reservierungen behandeln.
3. Schritt 3: Fähigkeitsbasierte Auswahl und faire Warteschlangenregeln prüfen.

5. Tag 2 – Parallele Testläufe isolieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Ports, Arbeitsverzeichnisse, Logpfade und Controllerinstanzen pro Lauf trennen.
2. Schritt 2: Gemeinsam genutzte Netzwerk- oder Funkressourcen explizit serialisieren.
3. Schritt 3: Kollisionen durch eindeutige Lauf-, Testbed- und Ressourcenkennungen vermeiden.

6. Tag 2 – Durchsatz kontrolliert optimieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Setup-, Test- und Cleanup-Zeiten getrennt messen.
2. Schritt 2: Wiederverwendung sicherer Zustände gegenüber vollständigem Reset abwägen.
3. Schritt 3: Parallelitätsgrenzen anhand realer Engpässe statt Gerätezahl festlegen.

7. Tag 3 – Gesundheitsprüfung und Ausgangszustand automatisieren

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Erreichbarkeit, Speicher, Stromversorgung, Verbindung und Softwarestand prüfen.
2. Schritt 2: Gesundheitszustände mit klaren Übergängen und Ursachen definieren.
3. Schritt 3: Vor jedem Lauf eine abgestufte Eignungsprüfung durchführen.

8. Tag 3 – Recovery und Quarantäne steuern

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Leichte Reparatur, Neustart, Reprovisionierung und manuelle Wartung staffeln.
2. Schritt 2: Recovery-Versuche begrenzen und Erfolg anhand von Nachbedingungen prüfen.
3. Schritt 3: Wiederholt auffällige Ressourcen automatisch isolieren und kennzeichnen.

9. Tag 3 – Flaky Tests systematisch behandeln

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Produktfehler, Testfehler und Laborfehler anhand von Signaturen unterscheiden.
2. Schritt 2: Wiederholungen nur mit dokumentierter Hypothese und Kennzeichnung einsetzen.
3. Schritt 3: Stabilitätskennzahlen pro Test, Ressource und Softwarestand auswerten.

10. Tag 4 – Beobachtbarkeit und Kennzahlen aufbauen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Ausführungs-, Ressourcen- und Fehlerdaten in einem konsistenten Modell erfassen.
2. Schritt 2: Verfügbarkeit, Warteschlange, Durchsatz, Fehlerrate und Recovery-Erfolg messen.
3. Schritt 3: Warnschwellen und betriebliche Ansichten für Laborzustände definieren.

11. Tag 4 – Betriebsabläufe und Änderungen absichern

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Wartung, Softwareupdates und Konfigurationsänderungen kontrolliert einführen.
2. Schritt 2: Smoke-Tests und Rückrollkriterien nach Laboränderungen festlegen.
3. Schritt 3: Runbooks für häufige Fehlerbilder und manuelle Eingriffe erstellen.

12. Tag 4 – Skalierungsworkshop durchführen

Die Arbeitsschritte bauen aufeinander auf und werden unmittelbar am Testsystem nachvollzogen.

1. Schritt 1: Ein Laborzielbild mit Ressourcenpool, Zuteilung und Zustandsautomat entwerfen.
2. Schritt 2: Einen parallelen Beispielbetrieb mit Fehler- und Recovery-Szenarien simulieren.
3. Schritt 3: Eine priorisierte Umsetzungsroadmap mit messbaren Qualitätszielen erstellen.

Praxisprojekt

1. Schritt 1: Ein Ressourceninventar mit Fähigkeiten, Zustand und Reservierungsinformationen modellieren.
2. Schritt 2: Zwei parallele Testläufe mit getrennten Arbeits- und Controllerressourcen simulieren.
3. Schritt 3: Eine abgestufte Gesundheits-, Recovery- und Quarantänelogik implementieren.
4. Schritt 4: Ein Betriebsdashboard konzeptionell aus Kennzahlen und Alarmregeln ableiten.