Seminar Trino Intensivseminar – Datenintegration, Lakehouse und Governance

Das fünftägige Intensivformat verbindet heterogene Datenquellen mit offenen Lakehouse-Tabellenformaten und kontrollierter Governance. Catalog-Design, Föderation, Object Storage, Metastore, Iceberg, Delta Lake, Hudi, Kafka, Schreibvorgänge, Berechtigungen und Lineage werden zu einer belastbaren Datenzugriffsschicht zusammengeführt.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Catalogs und Connectoren für relationale, NoSQL-, Event- und Lakehouse-Quellen systematisch planen.
• Föderierte Abfragen hinsichtlich Datentypen, Pushdown, Datenbewegung und Sicherheit bewerten.
• Hive-, Iceberg-, Delta-Lake- und Hudi-Tabellen auf Object Storage sicher betreiben.
• Schreib-, Wartungs- und Migrationsprozesse für offene Tabellenformate kontrolliert umsetzen.
• Lineage, Query-Ereignisse, Audit und Datenzugriffsregeln in eine Governance-Struktur überführen.

Schrittweise Seminarinhalte

1. Integrationsarchitektur und Catalog-Strategie

Schwerpunkt: Datenquellen, Catalogs, Connectoren, Schemas, Vertrauensgrenzen, Datenlokalität, Latenz und Verantwortlichkeiten.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Integrationsarchitektur und Catalog-Strategie“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Datenquellen, Catalogs, Connectoren, Schemas, Vertrauensgrenzen, Datenlokalität, Latenz und Verantwortlichkeiten. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein priorisiertes Catalog- und Integrationszielbild dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Connector-Konfiguration und Secrets

Schwerpunkt: Properties-Dateien, Verbindungsparameter, Dienstidentitäten, Secrets, TLS, Pooling, Metadatenzugriff und Inbetriebnahme.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Connector-Konfiguration und Secrets“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Properties-Dateien, Verbindungsparameter, Dienstidentitäten, Secrets, TLS, Pooling, Metadatenzugriff und Inbetriebnahme. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen sicheren und wiederholbaren Connector-Lifecycle dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Relationale Federation und Pushdown

Schwerpunkt: PostgreSQL, MySQL, SQL Server, Oracle, Snowflake und weitere JDBC-Quellen, Typabbildung, Predicate-, Projection- und Aggregation-Pushdown.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Relationale Federation und Pushdown“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von PostgreSQL, MySQL, SQL Server, Oracle, Snowflake und weitere JDBC-Quellen, Typabbildung, Predicate-, Projection- und Aggregation-Pushdown. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine bewertete föderierte Abfragearchitektur dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Hive, Metastore und Object Storage

Schwerpunkt: Hive Metastore, Glue-kompatible Kataloge, S3-kompatibler Speicher, Azure- und Google-Cloud-Speicher, Parquet, ORC, Avro und Partitionierung.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Hive, Metastore und Object Storage“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Hive Metastore, Glue-kompatible Kataloge, S3-kompatibler Speicher, Azure- und Google-Cloud-Speicher, Parquet, ORC, Avro und Partitionierung. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine funktionsfähige klassische Data-Lake-Anbindung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Apache Iceberg

Schwerpunkt: Catalog-Varianten, Tabellenanlage, Schema- und Partitionsevolution, Snapshots, Time Travel, Branches, DML und Wartungsprozeduren.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Apache Iceberg“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Catalog-Varianten, Tabellenanlage, Schema- und Partitionsevolution, Snapshots, Time Travel, Branches, DML und Wartungsprozeduren. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen vollständigen Iceberg-Tabellenlebenszyklus dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Delta Lake und Hudi

Schwerpunkt: Transaktionslog, Metastore, DML-Unterstützung, inkrementelle Daten, Read-Patterns, Kompatibilität und operative Grenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Delta Lake und Hudi“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Transaktionslog, Metastore, DML-Unterstützung, inkrementelle Daten, Read-Patterns, Kompatibilität und operative Grenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Einsatzmodell für Delta Lake und Hudi dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Lakehouse Connector und Formatkoexistenz

Schwerpunkt: Gemeinsamer Catalog, Formatidentifikation, Hive-, Iceberg-, Delta- und Hudi-Verhalten, Migration und schrittweiser Übergang.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Lakehouse Connector und Formatkoexistenz“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Gemeinsamer Catalog, Formatidentifikation, Hive-, Iceberg-, Delta- und Hudi-Verhalten, Migration und schrittweiser Übergang. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine konsolidierte Multi-Format-Lakehouse-Strategie dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

8. Kafka und Ereignisdaten

Schwerpunkt: Topic-Zuordnung, Schlüssel, Payload, JSON- und Avro-Schemata, Zeitstempel, Header, Abfragegrenzen und Federation mit Stammdaten.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Kafka und Ereignisdaten“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Topic-Zuordnung, Schlüssel, Payload, JSON- und Avro-Schemata, Zeitstempel, Header, Abfragegrenzen und Federation mit Stammdaten. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein kontrolliertes SQL-Zugriffsmodell für Event-Daten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

9. Schreiben, CTAS, MERGE und Datenpflege

Schwerpunkt: CREATE TABLE AS, INSERT, UPDATE, DELETE, MERGE, Commit-Verhalten, Writer Scaling, Dateigrößen und connectorabhängige Fähigkeiten.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Schreiben, CTAS, MERGE und Datenpflege“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von CREATE TABLE AS, INSERT, UPDATE, DELETE, MERGE, Commit-Verhalten, Writer Scaling, Dateigrößen und connectorabhängige Fähigkeiten. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen getesteten Schreib- und Änderungsprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

10. Datenlayout, Statistiken und Performance

Schwerpunkt: Partitionierung, Sortierung, Dateigröße, Metadatenmenge, ANALYZE, Extended Statistics, Pushdown und dynamische Filter.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Datenlayout, Statistiken und Performance“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Partitionierung, Sortierung, Dateigröße, Metadatenmenge, ANALYZE, Extended Statistics, Pushdown und dynamische Filter. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein messbares Optimierungsmodell für Lakehouse-Abfragen dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

11. Governance, Autorisierung und Audit

Schwerpunkt: Catalog- und Systemrechte, Zeilenfilter, Spaltenmaskierung, Dienstidentitäten, Event Listener, Query-Historie, Aufbewahrung und Kontrollen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Governance, Autorisierung und Audit“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Catalog- und Systemrechte, Zeilenfilter, Spaltenmaskierung, Dienstidentitäten, Event Listener, Query-Historie, Aufbewahrung und Kontrollen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen revisionsfähigen Datenzugriffsprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

12. Lineage und integrierte Referenzlösung

Schwerpunkt: OpenLineage, Query-Ereignisse, Datenflüsse, Cross-Catalog-Abfragen, Abnahmekriterien, Fehlerfälle und Betriebsübergabe.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Lineage und integrierte Referenzlösung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von OpenLineage, Query-Ereignisse, Datenflüsse, Cross-Catalog-Abfragen, Abnahmekriterien, Fehlerfälle und Betriebsübergabe. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine dokumentierte Ende-zu-Ende-Lakehouse- und Federation-Lösung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Konfiguration mehrerer Catalogs mit getrennten Dienstidentitäten und TLS.
• Aufbau einer föderierten Abfrage über relationale Quelle und Object Storage.
• Anlage und Änderung einer Iceberg-Tabelle einschließlich Snapshot- und Wartungsoperationen.
• Vergleich von Delta-Lake-, Hudi- und Lakehouse-Connector-Verhalten.
• Abfrage eines Kafka-Topics und Anreicherung mit Stammdaten aus einem zweiten Catalog.
• Erfassung von Query-Ereignissen und Ableitung einer Lineage- und Auditstruktur.

Zielgruppe und Voraussetzungen

Zielgruppe: Data-Platform-Architektur, Data Engineering, Lakehouse- und Cloud-Teams, Datenbankadministration, Data Governance und technische Projektleitung.

Voraussetzungen: Gute SQL-Kenntnisse, Grundlagen in Object Storage und Datenformaten sowie praktische Erfahrung mit mindestens einer Datenbank- oder Data-Lake-Plattform.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.