Seminar Longhorn Troubleshooting und Support Bundles

Fehler in Kubernetes-Speicherketten entstehen häufig an Übergängen zwischen Anwendung, Kubelet, CSI, Netzwerk, Engine, Replikat und Datenträger.

Die Schulung vermittelt einen festen Diagnosepfad statt unstrukturierter Einzelversuche. Attach-, Mount-, Rebuild-, Kapazitäts- und Netzwerkprobleme werden erzeugt, analysiert und mit verwertbaren Support Bundles dokumentiert.

Inhaltsübersicht

1. Triage und Schutz
2. Kubernetes-Ebene
3. Longhorn-Zustände
4. Attach- und Mountfehler
5. Replica- und Rebuildfehler
6. Disk- und Kapazitätsfehler
7. Netzwerk und Backup
8. Support Bundle
9. Wiederherstellung validieren
10. Ursachenanalyse

Zielsetzung

Die Schulung verfolgt folgende fachliche und betriebliche Ziele:

• Störungen anhand eines priorisierten Diagnosemodells eingrenzen.
• Logs, Events, Conditions, Metriken und Support Bundles auswerten.
• Attach-, Mount-, Replikat-, Datenträger- und Netzwerkfehler unterscheiden.
• Wiederherstellung, Eskalation und Ursachenanalyse dokumentiert durchführen.

Lernmodule und praktische Übungen

1. Triage und Schutz

Auswirkung, Dringlichkeit und Datenrisiko werden zuerst bewertet.

1. Schritt 1: Betroffene Anwendungen, Volumes, Knoten und Zeitpunkte erfassen.
2. Schritt 2: Schreibstopp oder Isolation bei Datengefährdung veranlassen.
3. Schritt 3: Letzte Änderungen und parallele Wartungen feststellen.
4. Schritt 4: Zulässige Eingriffe für die erste Phase definieren.

2. Kubernetes-Ebene

Die Analyse startet beim Workload und arbeitet sich nach unten vor.

1. Schritt 1: Podstatus, Events, PVC- und PV-Bindung kontrollieren.
2. Schritt 2: Kubelet- und CSI-Komponenten auf dem Zielknoten prüfen.
3. Schritt 3: Node Conditions, Taints und Scheduling erfassen.
4. Schritt 4: Fehler zwischen Anwendung, Kubernetes und Storage abgrenzen.

3. Longhorn-Zustände

Custom Resources und UI liefern strukturierte Zustandsinformationen.

1. Schritt 1: Volume State, Robustness und Conditions erfassen.
2. Schritt 2: Engine-, Replica- und Instance-Manager-Zuordnung prüfen.
3. Schritt 3: Node- und Disk-Conditions mit Scheduling-Fehlern vergleichen.
4. Schritt 4: Zeitliche Reihenfolge von Statusänderungen rekonstruieren.

4. Attach- und Mountfehler

Fehler zwischen Volume und Pod werden schrittweise eingegrenzt.

1. Schritt 1: Vorhandene Attachments und blockierende Zuordnungen prüfen.
2. Schritt 2: Frontend, iSCSI oder alternatives Volume-Frontend kontrollieren.
3. Schritt 3: Mountpunkt, Dateisystem und Kubelet-Logs untersuchen.
4. Schritt 4: Volume kontrolliert detachieren und erneut anbinden.

5. Replica- und Rebuildfehler

Degradierung wird nach Quelle, Ziel und Infrastrukturursache untersucht.

1. Schritt 1: Gesunde, fehlerhafte und fehlende Replikate unterscheiden.
2. Schritt 2: Rebuild-Quelle, Zielkapazität und Netzwerkpfad prüfen.
3. Schritt 3: QoS, Parallelität und wiederkehrende Abbrüche bewerten.
4. Schritt 4: Rebuild nach Korrektur starten und Integrität kontrollieren.

6. Disk- und Kapazitätsfehler

Volle oder fehlerhafte Datenträger werden ohne riskante Schnelllöschung behandelt.

1. Schritt 1: Physische, reservierte und planbare Kapazität vergleichen.
2. Schritt 2: Snapshotwachstum, Orphans und ungewöhnliche Größen identifizieren.
3. Schritt 3: Freigegebene Daten bereinigen oder Kapazität erweitern.
4. Schritt 4: Scheduling- und Alarmgrenzen anpassen.

7. Netzwerk und Backup

Replikation und Sicherung besitzen unterschiedliche externe Abhängigkeiten.

1. Schritt 1: Pod-, Service- und Knotenkommunikation testen.
2. Schritt 2: DNS, MTU, Routing und Firewallregeln prüfen.
3. Schritt 3: Backup-Ziel, Credentials und Zertifikate kontrollieren.
4. Schritt 4: Zeitüberschreitungen mit Netzwerkmetriken korrelieren.

8. Support Bundle

Eine Eskalation benötigt vollständige und kontrolliert behandelte Diagnosedaten.

1. Schritt 1: Zeitfenster, Ressourcen und Reproduktionsschritte dokumentieren.
2. Schritt 2: Support Bundle über den vorgesehenen Mechanismus erstellen.
3. Schritt 3: Inhalt auf Vollständigkeit und sensible Daten prüfen.
4. Schritt 4: Bundle, Versionsmatrix und Ereignisablauf zusammen sichern.

9. Wiederherstellung validieren

Nach der Fehlerbehebung wird der Dienst kontrolliert freigegeben.

1. Schritt 1: Volumezustand und Replikatgesundheit prüfen.
2. Schritt 2: Anwendung starten und Datenintegrität kontrollieren.
3. Schritt 3: Monitoring und Backups auf Normalzustand zurückführen.
4. Schritt 4: Temporäre Diagnoseänderungen und Notfallrechte entfernen.

10. Ursachenanalyse

Wiederkehrende Fehler werden durch konkrete Maßnahmen verhindert.

1. Schritt 1: Technische Ursache und begünstigende Faktoren trennen.
2. Schritt 2: Erkennungs- und Reaktionslücken feststellen.
3. Schritt 3: Monitoring, Kapazität oder Change-Prozess verbessern.
4. Schritt 4: Runbook und Known-Error-Sammlung aktualisieren.

Zielgruppe

Erfahrene Kubernetes- und Longhorn-Administration, Site Reliability Engineering, Support, Incident Response und Plattformbetrieb.

Voraussetzungen

Sichere Kubernetes- und Longhorn-Grundkenntnisse, Linux- und Netzwerkkenntnisse sowie Erfahrung mit Logs, Events und kubectl.

Methodik

Die Inhalte werden durch fachliche Einordnung, Live-Demonstrationen, angeleitete Schrittfolgen und eigenständige Laborübungen vermittelt. Jeder Themenblock endet mit einer technischen Kontrolle anhand definierter Sollzustände.