Seminar GADS – Storage-Architektur und Datenplatzierung

Beschreibung

Die Schulung behandelt Storage nicht als austauschbare Kapazitätsbox, sondern als Teil der GADS-Datenkette. Unterschiedliche Automotive-Datenarten erzeugen sehr verschiedene Anforderungen an Bandbreite, Latenz, Metadaten, Parallelität, Aufbewahrung und Kosten. Daraus entsteht eine mehrstufige Speicher- und Datenplatzierungsarchitektur.

Seminarziel

Storage-Optionen sollen workloadbezogen bewertet, dimensioniert und mit Tiering-, Replikations-, Schutz- und Betriebsregeln zu einer belastbaren GADS-Architektur verbunden werden können.

Lernziele

• Den Themenbereich „Daten- und Workloadprofile bestimmen“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Storage-Technologien bewerten“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Performance und Datenlokalität planen“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Tiering und Lebenszyklus integrieren“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.
• Den Themenbereich „Verfügbarkeit und Schutz gestalten“ fachlich einordnen, strukturiert planen und kontrolliert umsetzen.

Inhaltsübersicht

1. 1. Daten- und Workloadprofile bestimmen
2. 2. Storage-Technologien bewerten
3. 3. Performance und Datenlokalität planen
4. 4. Tiering und Lebenszyklus integrieren
5. 5. Verfügbarkeit und Schutz gestalten
6. 6. Sizing und Kapazität berechnen
7. 7. Betrieb und Fehleranalyse etablieren

Zielgruppe

Storage-Architekten und -Administratoren, Plattformbetreiber, Infrastruktur- und Cloud-Teams, Performance Engineers

Voraussetzungen

Gute Kenntnisse in Storage, Netzwerk, Linux und Kapazitätsplanung

Seminarinhalte

1. Daten- und Workloadprofile bestimmen

Kapitelinhaltsverzeichnis: Dateigröße und Objektanzahl; sequentieller und zufälliger Zugriff; Parallelität und Nutzer; Ingest und Analyse; Metadatenintensität; Aufbewahrung und Wachstum

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Dateigröße und Objektanzahl erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für sequentieller und zufälliger Zugriff festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Parallelität und Nutzer entwerfen.
4. Ingest und Analyse schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Metadatenintensität prüfen.
6. Ergebnis anhand von Aufbewahrung und Wachstum verifizieren und nachvollziehbar dokumentieren.

Praxis: Mess-, Video-, Simulations- und Katalogdaten in Storage-Profile einordnen.

2. Storage-Technologien bewerten

Kapitelinhaltsverzeichnis: Scale-out-Dateisystem; Objektspeicher; Block- und Datenbankbedarf; lokaler Edge-Speicher; Cloud- und Archivspeicher; Protokolle und Zugriffspfade

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Scale-out-Dateisystem erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Objektspeicher festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Block- und Datenbankbedarf entwerfen.
4. lokaler Edge-Speicher schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Cloud- und Archivspeicher prüfen.
6. Ergebnis anhand von Protokolle und Zugriffspfade verifizieren und nachvollziehbar dokumentieren.

Praxis: Eine Eignungsmatrix für fünf Speicherklassen erstellen.

3. Performance und Datenlokalität planen

Kapitelinhaltsverzeichnis: Bandbreite und Latenz; Caching und Vorpositionierung; kleine und große Dateien; Metadaten und Index; Netzwerk und Client; Nebenlast und Konkurrenz

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Bandbreite und Latenz erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Caching und Vorpositionierung festlegen.
3. Zielmodell, Regeln und technische Umsetzung für kleine und große Dateien entwerfen.
4. Metadaten und Index schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Netzwerk und Client prüfen.
6. Ergebnis anhand von Nebenlast und Konkurrenz verifizieren und nachvollziehbar dokumentieren.

Praxis: Eine Datenplatzierung für interaktive Analyse und Batch-Verarbeitung vergleichen.

4. Tiering und Lebenszyklus integrieren

Kapitelinhaltsverzeichnis: Hot, Warm und Cold; Alter und Zugriff; Status und Freigabe; Policy und Übergang; Rückholung und Cache; Kosten und Egress

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Hot, Warm und Cold erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Alter und Zugriff festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Status und Freigabe entwerfen.
4. Policy und Übergang schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Rückholung und Cache prüfen.
6. Ergebnis anhand von Kosten und Egress verifizieren und nachvollziehbar dokumentieren.

Praxis: Tiering-Regeln einschließlich Rückhol- und Ausnahmepfad formulieren.

5. Verfügbarkeit und Schutz gestalten

Kapitelinhaltsverzeichnis: Replikation und Erasure Coding; Failure Domains; Snapshot und Backup; Standortkopie; Konsistenz und Wiederanlauf; Integrität und Prüfung

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Replikation und Erasure Coding erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Failure Domains festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Snapshot und Backup entwerfen.
4. Standortkopie schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Konsistenz und Wiederanlauf prüfen.
6. Ergebnis anhand von Integrität und Prüfung verifizieren und nachvollziehbar dokumentieren.

Praxis: Ein Schutzmodell für aktiven Datenbestand und Langzeitarchiv entwickeln.

6. Sizing und Kapazität berechnen

Kapitelinhaltsverzeichnis: Nettodaten und Overhead; Wachstum und Retention; Replikations- und Schutzfaktor; Performance- und Reservebedarf; Migration und Beschaffungszeit; Kosten pro Datenklasse

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Nettodaten und Overhead erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für Wachstum und Retention festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Replikations- und Schutzfaktor entwerfen.
4. Performance- und Reservebedarf schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Migration und Beschaffungszeit prüfen.
6. Ergebnis anhand von Kosten pro Datenklasse verifizieren und nachvollziehbar dokumentieren.

Praxis: Ein 24-Monats-Sizing mit Reserve- und Beschaffungsschwelle erstellen.

7. Betrieb und Fehleranalyse etablieren

Kapitelinhaltsverzeichnis: Health und Kapazität; IO- und Latenzmetriken; Rebalance und Wartung; Fehlerdomäne und Degradation; Firmware, Patch und Change; Runbook und Eskalation

1. Ausgangslage, Datenquellen und Verantwortlichkeiten für Health und Kapazität erfassen.
2. Anforderungen, Abhängigkeiten und Qualitätskriterien für IO- und Latenzmetriken festlegen.
3. Zielmodell, Regeln und technische Umsetzung für Rebalance und Wartung entwerfen.
4. Fehlerdomäne und Degradation schrittweise konfigurieren oder anhand eines Referenzablaufs modellieren.
5. Normalbetrieb, Fehlerfälle und Grenzbedingungen für Firmware, Patch und Change prüfen.
6. Ergebnis anhand von Runbook und Eskalation verifizieren und nachvollziehbar dokumentieren.

Praxis: Ein Storage-Dashboard und ein Runbook für degradierte Performance ausarbeiten.

Praxisanteile

Die Übungen bauen auf einem konsistenten Automotive-Datenszenario auf. Konfigurationen, Architekturentscheidungen, Prüfprotokolle und Betriebsmaßnahmen werden so dokumentiert, dass sie in ein eigenes Einführungs- oder Betriebskonzept übertragen werden können.