Seminar Trino – Kafka und Streaming-Datenquellen

Das Seminar erschließt Kafka-Topics als SQL-abfragbare Ereignisquelle. Topic-Mapping, Schlüssel, Payload, Schemainformationen, Zeitstempel, Header, semi-strukturierte Daten, Federation mit Stammdaten, Sicherheitskontrollen, Performance und operative Grenzen werden praktisch untersucht.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Kafka-Connector, Brokerzugriff und Tabellenmapping technisch einordnen.
• Schlüssel, Payload, Header und Zeitinformationen korrekt modellieren.
• JSON-, Avro- und rohe Ereignisdaten mit SQL auswerten.
• Event-Daten mit relationalen und Lakehouse-Daten föderieren.
• Sicherheits-, Leistungs- und Betriebsgrenzen nachvollziehbar dokumentieren.

Schrittweise Seminarinhalte

1. Kafka- und Connector-Architektur

Schwerpunkt: Broker, Topic, Partition, Offset, Key, Message, Catalog, Tabellenbeschreibung, Consumerzugriff und Abgrenzung zu Stream Processing.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Kafka- und Connector-Architektur“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Broker, Topic, Partition, Offset, Key, Message, Catalog, Tabellenbeschreibung, Consumerzugriff und Abgrenzung zu Stream Processing. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein klares Einsatz- und Komponentenmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. Verbindung und sichere Brokeranbindung

Schwerpunkt: Bootstrap Server, TLS, Authentifizierung, Netzwerk, Timeouts, Dienstidentität, Topic-Rechte und Verbindungstests.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Verbindung und sichere Brokeranbindung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Bootstrap Server, TLS, Authentifizierung, Netzwerk, Timeouts, Dienstidentität, Topic-Rechte und Verbindungstests. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine sichere Kafka-Catalog-Konfiguration dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. Topic- und Tabellenmapping

Schwerpunkt: Tabellendefinitionen, Topic-Namen, Spalten, interne Metadaten, Partition, Offset, Timestamp, Key und Message.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Topic- und Tabellenmapping“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Tabellendefinitionen, Topic-Namen, Spalten, interne Metadaten, Partition, Offset, Timestamp, Key und Message. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein nachvollziehbares Topic-zu-Tabelle-Modell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. JSON-, Avro- und Rohdaten

Schwerpunkt: Decoder, Schemafelder, verschachtelte Strukturen, ARRAY, MAP, ROW, JSON-Funktionen, fehlerhafte Nachrichten und Schemaänderungen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „JSON-, Avro- und Rohdaten“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Decoder, Schemafelder, verschachtelte Strukturen, ARRAY, MAP, ROW, JSON-Funktionen, fehlerhafte Nachrichten und Schemaänderungen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen robusten Schema- und Decode-Prozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Analytische Abfragen auf Ereignisdaten

Schwerpunkt: Filter, Zeitbereiche, Deduplizierung, Aggregation, UNNEST, Window Functions, Stichproben und Query-Grenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Analytische Abfragen auf Ereignisdaten“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Filter, Zeitbereiche, Deduplizierung, Aggregation, UNNEST, Window Functions, Stichproben und Query-Grenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen geprüften SQL-Musterkatalog für Event-Daten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Federation und Datenanreicherung

Schwerpunkt: Joins mit Stammdaten, Dimensionstabellen, Data-Lake-Ablagen, Pushdown-Grenzen, Datenbewegung und wiederholbare Analyse.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Federation und Datenanreicherung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Joins mit Stammdaten, Dimensionstabellen, Data-Lake-Ablagen, Pushdown-Grenzen, Datenbewegung und wiederholbare Analyse. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontrollierten Event-Enrichment-Workflow dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Betrieb, Performance und Fehleranalyse

Schwerpunkt: Partitionen, Datenvolumen, Scanbreite, Timeouts, Brokerlast, Berechtigungen, Decode-Fehler, Monitoring und Einsatzgrenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Betrieb, Performance und Fehleranalyse“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Partitionen, Datenvolumen, Scanbreite, Timeouts, Brokerlast, Berechtigungen, Decode-Fehler, Monitoring und Einsatzgrenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein Kafka-Abfrage- und Support-Runbook dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Konfiguration eines Kafka-Catalogs mit gesicherter Brokerverbindung.
• Mapping eines Topics mit Key-, JSON- und Zeitstempelfeldern.
• Föderierte Anreicherung von Event-Daten mit einer relationalen Dimensionstabelle.

Zielgruppe und Voraussetzungen

Zielgruppe: Data Engineering, Streaming- und Kafka-Teams, Analytics Engineering, Data-Platform-Betrieb und technische Architektur.

Voraussetzungen: SQL-Grundkenntnisse sowie Grundverständnis von Kafka, Topics, Partitionen und Ereignisschemata.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.