Seminar Quobyte Intensiv – Kubernetes, Cloud und AI/HPC

Dieses Intensivseminar verbindet serverseitigen Betrieb auf Kubernetes, CSI-Bereitstellung, OpenStack, Cloud- und Hybridmodelle, Data Mover, AI/HPC-Workloads, GPU Converged Storage und Performanceanalyse. Die Spezialthemen werden in einem gemeinsamen Plattformprojekt zusammengeführt.

Inhaltsverzeichnis

• Bereitstellungsmodell auf Kubernetes
• Knoten, lokale Geräte und Topologie
• Registry, Metadaten- und Datendienste ausrollen
• CSI-Architektur und Datenpfad
• StorageClasses und Policy Engine
• Persistent Volumes und Self-Service
• Mandanten und Zugangsschlüssel
• OpenStack-Integrationsarchitektur
• Cinder-Backend
• Manila-Backend
• Cloud- und Hybridmuster
• Multi-Cluster-Datenfluss
• Data Mover und kontrollierte Kopien
• AI- und HPC-Datenlebenszyklus
• Parallele Ein-/Ausgabe
• Konvergierter Architekturansatz
• Hochgeschwindigkeitsnetz und RDMA
• Messziele und Baseline
• Prometheus-Exporter und Service Discovery
• Observability und Fehlersimulation

Zielsetzung

Quobyte soll als konsistente Datenplattform für Container, virtuelle Infrastruktur und beschleunigte Rechenworkloads geplant, integriert, gemessen und im Fehlerfall beherrscht werden.

Zielgruppe

Kubernetes- und Cloud-Plattformteams, AI/HPC-Administration, Storage Engineering, MLOps, OpenStack-Betrieb und Infrastrukturarchitektur.

Voraussetzungen

Gute Linux-, Netzwerk- und Quobyte-Grundlagen sowie Praxis mit Kubernetes oder einer vergleichbaren Plattform.

Seminarinhalte

1. Bereitstellungsmodell auf Kubernetes

1. Serverseitigen Clusterbetrieb von reiner CSI-Nutzung abgrenzen.
2. Kubernetes-Knoten nach Steuer-, Metadaten- und Datenrollen klassifizieren.
3. Abhängigkeiten zu Netzwerk, DNS, Zeitdienst und Images dokumentieren.

2. Knoten, lokale Geräte und Topologie

1. CPU, RAM, Medien und Netzschnittstellen inventarisieren.
2. Lokale Geräte eindeutig binden und Fremdnutzung verhindern.
3. Fehlerdomänen in Labels, Taints und Affinitäten abbilden.

3. Registry, Metadaten- und Datendienste ausrollen

1. Registry mit stabiler Identität bereitstellen.
2. Metadaten- und Datendienste an geeignete Knoten und Geräte binden.
3. Dienstzustand und Replikation nach jedem Rollout prüfen.

4. CSI-Architektur und Datenpfad

1. Controller- und Node-Komponenten unterscheiden.
2. Provisionierung, Mount, Expansion und Löschung als Ablauf verfolgen.
3. RWX-Anforderungen und Mehrknotenzugriff einordnen.

5. StorageClasses und Policy Engine

1. StorageClass-Parameter und Reclaim-Verhalten festlegen.
2. Medien-, Schutz- und Performanceklassen über Policies zuordnen.
3. Fehlerhafte oder unbekannte Klassen frühzeitig ablehnen.

6. Persistent Volumes und Self-Service

1. PVC und PV mit geeigneten AccessModes erstellen.
2. Volume-Bindung und Mount in mehreren Pods prüfen.
3. Expansion, Löschverhalten und Quoten testen.

7. Mandanten und Zugangsschlüssel

1. Namespaces und Quobyte-Mandanten strukturell zuordnen.
2. Technische Zugangsschlüssel nach Minimalprinzip ausstellen.
3. Quoten und Kapazitätsmeldungen je Team einrichten.

8. OpenStack-Integrationsarchitektur

1. Cinder- und Manila-Datenpfade beschreiben.
2. Steuer-, Daten- und Managementnetzwerke zuordnen.
3. Verantwortlichkeiten für Provisionierung und Fehlerbehebung festlegen.

9. Cinder-Backend

1. Treiber- und Backendparameter definieren.
2. Volume-Typen auf Schutz- oder Medienklassen abbilden.
3. Erstellung, Anbindung, Expansion, Trennung und Löschung testen.

10. Manila-Backend

1. Share-Typen und Zugriffsregeln definieren.
2. Shares anlegen und von mehreren Instanzen verwenden.
3. Berechtigungen und Netzpfade testen.

11. Cloud- und Hybridmuster

1. Cloud-only, Burst, DR und dauerhaft hybride Nutzung unterscheiden.
2. Datenhoheit, Netzpfad und Kostenstelle je Muster festlegen.
3. RPO, RTO und zulässiges Datenalter dokumentieren.

12. Multi-Cluster-Datenfluss

1. Mirroring, Geo-Replikation und Synchronisation unterscheiden.
2. Quell-, Ziel- und Konfliktverantwortung festlegen.
3. Rückstand und Wiederanlauf kontinuierlich überwachen.

13. Data Mover und kontrollierte Kopien

1. Quelle, Ziel, Filter und Parallelität definieren.
2. Wiederaufnahme, Prüfsummen und Abschlusskontrolle einplanen.
3. Jobhistorie, Fehlerlisten und Datenmengen protokollieren.

14. AI- und HPC-Datenlebenszyklus

1. Ingest, Aufbereitung, Training, Checkpoints, Inferenz und Archiv unterscheiden.
2. Gemeinsam genutzte und temporäre Daten kennzeichnen.
3. Leistungs- und Schutzanforderungen je Phase festlegen.

15. Parallele Ein-/Ausgabe

1. Parallelisierung über Clients und Datendienste nachvollziehen.
2. Jobparallelität, Queue-Tiefe und Blockgrößen systematisch variieren.
3. Anwendungs- und Storage-Messwerte zeitlich korrelieren.

16. Konvergierter Architekturansatz

1. Getrennte und konvergierte Designs nach Datenpfad und Fehlerbild vergleichen.
2. Geeignete Workloads und Grenzen festlegen.
3. Verantwortlichkeiten zwischen AI-, Storage- und Plattformteam klären.

17. Hochgeschwindigkeitsnetz und RDMA

1. TCP/IP-Baseline vor RDMA-Optimierungen erstellen.
2. RoCE oder InfiniBand einschließlich MTU und Verlustfreiheit prüfen.
3. Client-, Replikations- und Wiederaufbauverkehr gemeinsam dimensionieren.

18. Messziele und Baseline

1. Nutzerwirkung, SLO und Lastprofil festlegen.
2. Baseline unter dokumentierten Bedingungen erstellen.
3. Warm- und Cold-Cache sowie Einzel- und Mehrclienttests trennen.

19. Prometheus-Exporter und Service Discovery

1. Scrape-Ziele und Diensterkennung konfigurieren.
2. Labels für Cluster, Dienst, Gerät, Volume und Client normalisieren.
3. Fehlende Targets und hohe Cardinality erkennen.

20. Observability und Fehlersimulation

1. Kubernetes- und Storage-Messwerte in einem Betriebsbild verbinden.
2. Pod-, Knoten- und Netzwerkausfälle getrennt simulieren.
3. Wiederanlauf und Datenzustand anhand eines Runbooks verifizieren.

Praxisaufgaben

• Einen Kubernetes-Storage-Cluster und CSI-Zugriff verbinden.
• Ein hybrides Datenflussmodell mit Policies und Data Mover entwerfen.
• AI- oder HPC-Lasten mit End-to-End-Metriken analysieren.
• Ein gemeinsames Plattformprojekt mit Fehler- und Abnahmetests abschließen.

Arbeitsweise

Fachliche Einordnung, Demonstrationen und geführte Schritt-für-Schritt-Übungen wechseln sich ab. Konfigurationen, Messwerte und Fehlerbilder werden direkt am Laborsystem geprüft und in wiederverwendbare Checklisten oder Runbooks überführt.