Seminar sovity Object Storage mit AWS S3 und Azure Blob integrieren

Inhaltsverzeichnis

1. Zielsetzung
2. Zielgruppe
3. Voraussetzungen
4. Seminarinhalte
   1. Modul 1: AWS S3 und Azure Blob Storage
   2. Modul 2: PostgreSQL, Vault und Geheimnisse
   3. Modul 3: Push-, Pull- und speicherbasierte Transfers
   4. Modul 4: Automatisierte Tests und CI-Freigabe
   5. Modul 5: Health Checks, Metriken und strukturierte Logs
5. Praxisübungen
6. Methodik

Zielsetzung

Das Seminar integriert AWS-S3-kompatible und Azure-Blob-basierte Quellen und Ziele in sovity Datenflüsse. Datenadressen, Buckets, Container, Objektpfade, Rollen, Secret-Referenzen, Transferarten, große Objekte, Integritätsprüfung, Fehlerfälle und Wiederanlauf werden praktisch konfiguriert und verglichen.

Zielgruppe

Cloud Engineers, Integration Engineers, Connector-Administratoren, Datenplattformteams und technische Datenanbieter.

Voraussetzungen

Grundkenntnisse von Object Storage, Cloud-Berechtigungen und Connector-Transfers.

Seminarinhalte

Die Themen werden in der angegebenen Reihenfolge aufgebaut. Jeder Schritt setzt auf dem zuvor geprüften Systemzustand auf.

Modul 1: AWS S3 und Azure Blob Storage

Object-Storage-Quellen und -Ziele werden providerübergreifend mit minimalen Rechten eingebunden.

1. Schritt 1: Bucket beziehungsweise Container, Objektpfad, Region, Endpunkt und Transferrolle festlegen.
2. Schritt 2: Lesende und schreibende Identitäten trennen und Zugangsdaten über Secret-Referenzen bereitstellen.
3. Schritt 3: S3- und Blob-Datenadressen für Quelle und Ziel konfigurieren und Transfers ausführen.
4. Schritt 4: Größe, Prüfsumme, Inhaltstyp, Durchsatz, Wiederholung und Wiederanlauf gegen Sollwerte prüfen.

Modul 2: PostgreSQL, Vault und Geheimnisse

Persistente Prozessdaten und sensible Werte werden getrennt, gesichert und wiederherstellbar betrieben.

1. Schritt 1: Datenbanken, Schemas, Benutzer, Verbindungsgrenzen und Verschlüsselungsanforderungen definieren.
2. Schritt 2: Migrationen kontrolliert ausführen und Tabellen, Indizes sowie Status prüfen.
3. Schritt 3: Vault- oder Secret-Backend anbinden und Referenzen für Schlüssel, Passwörter und Token konfigurieren.
4. Schritt 4: Sicherung, Restore und Rotation in einer isolierten Umgebung praktisch erproben.

Modul 3: Push-, Pull- und speicherbasierte Transfers

Transferart und Datenfluss werden nach Quelle, Ziel, Volumen und Integrationsmuster ausgewählt.

1. Schritt 1: HttpData-PUSH, parametrisiertes HttpData-PULL und speicherbasierte Verfahren vergleichen.
2. Schritt 2: Zieladresse, Zieltyp, Datenebenenparameter und Vertragsvereinbarung korrekt zuordnen.
3. Schritt 3: Transfer starten und Zustände, Data-Plane-Auswahl, Nutzdaten und Header prüfen.
4. Schritt 4: Abbruch, Wiederholung, Vertragsbeendigung und Verhalten bei vorhandenem Zielobjekt testen.

Modul 4: Automatisierte Tests und CI-Freigabe

Funktionale, integrative, sicherheitsbezogene und betriebliche Risiken werden in wiederholbare Tests überführt.

1. Schritt 1: Testmatrix für Assets, Policies, Katalog, Verhandlung, Transfers und Abweisung erstellen.
2. Schritt 2: API- und Schemafälle sowie ein Zwei-Connector-Ende-zu-Ende-Szenario automatisieren.
3. Schritt 3: Ungültige Identität, unzureichende Policy, manipulierte Parameter und Teilausfall testen.
4. Schritt 4: Build, statische Analyse, Tests, Berichte und Rückfallartefakt in eine CI-Freigabe integrieren.

Modul 5: Health Checks, Metriken und strukturierte Logs

Dienststatus und Prozesszustände werden über messbare Signale und Korrelationskennungen beobachtbar.

1. Schritt 1: Start-, Readiness-, Liveness- und Dependency-Prüfungen den Betriebsentscheidungen zuordnen.
2. Schritt 2: Metriken für Anfragen, Fehler, Laufzeiten, Verhandlungen, Transfers und Datenbankverbindungen auswählen.
3. Schritt 3: Logs mit Zeitstempel, Dienst, Umgebung, Gegenstelle, Prozesskennung und Zustand strukturieren.
4. Schritt 4: Dashboards und Alarmregeln für Ausfall, Fehlerquote, hängende Prozesse und Zertifikatsablauf aufbauen.

Praxisübungen

Die Übungen verbinden die einzelnen Konfigurations- und Integrationsschritte zu prüfbaren Arbeitsergebnissen.

• Übung 1: Lesenden S3-Transfer mit minimal berechtigter Identität konfigurieren.
• Übung 2: Schreibenden Azure-Blob-Transfer mit Secret-Referenz ausführen.
• Übung 3: Quell- und Zielkonfiguration für große Binärobjekte vergleichen.
• Übung 4: Abbruch-, Wiederholungs- und Prüfsummenszenario testen.

Methodik

Kurze Fachimpulse, Demonstrationen und geführte Schrittfolgen wechseln mit eigenständigen Übungen am System. Die Arbeit erfolgt mit nachvollziehbaren Ausgangszuständen, Prüfkriterien und Negativfällen. Konfigurationen und Testnachweise werden so strukturiert, dass sie in betriebliche Checklisten und interne Standards überführt werden können.