Seminar Trino – Performance Tuning und Query Optimizer

Das dreitägige Seminar vermittelt einen methodischen Performance-Engineering-Prozess. Workload-Baseline, Ausführungspläne, Schätzwerte, tatsächliche Operatorwerte, Statistiken, Pushdown, Join-Strategien, dynamische Filter, Speicher, Parallelität, Dateilayout und Workload-Steuerung werden anhand reproduzierbarer Messungen optimiert.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele

• Repräsentative Performance-Baselines und Messkriterien definieren.
• EXPLAIN- und EXPLAIN-ANALYZE-Ausgaben systematisch interpretieren.
• Statistiken, CBO, Pushdown und Dynamic Filtering gezielt verbessern.
• Join-, Speicher-, Parallelitäts- und Dateilayoutprobleme beheben.
• Regressionstests und Tuning-Runbooks für Änderungen etablieren.

Schrittweise Seminarinhalte

1. Workload-Profil und Performance-Baseline

Schwerpunkt: Query-Klassen, Datenvolumen, Concurrency, Latenz, Durchsatz, CPU, Speicher, Netzwerk, Cache, Warm-up und Messwiederholungen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Workload-Profil und Performance-Baseline“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Query-Klassen, Datenvolumen, Concurrency, Latenz, Durchsatz, CPU, Speicher, Netzwerk, Cache, Warm-up und Messwiederholungen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine reproduzierbare Ausgangsbasis mit Zielwerten dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

2. EXPLAIN und Planstruktur

Schwerpunkt: Planfragmente, Exchanges, Scans, Filter, Aggregationen, Joins, Verteilungen, Partitionierung, Estimates und connectorabhängige Operatoren.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „EXPLAIN und Planstruktur“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Planfragmente, Exchanges, Scans, Filter, Aggregationen, Joins, Verteilungen, Partitionierung, Estimates und connectorabhängige Operatoren. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen strukturierten Planlese- und Reviewprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

3. EXPLAIN ANALYZE und Laufzeitdaten

Schwerpunkt: CPU, Scheduled Time, Blocked Time, Input, Output, Netzwerk, Speicher, Skew, Operatorstatistiken und Hotspot-Erkennung.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „EXPLAIN ANALYZE und Laufzeitdaten“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von CPU, Scheduled Time, Blocked Time, Input, Output, Netzwerk, Speicher, Skew, Operatorstatistiken und Hotspot-Erkennung. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine faktenbasierte Laufzeit- und Engpassanalyse dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

4. Tabellenstatistiken und Cost-Based Optimizer

Schwerpunkt: SHOW STATS, ANALYZE, NDV, Nullwerte, Min/Max, Datenvolumen, Join-Reihenfolge, Join-Verteilung und fehlerhafte Schätzungen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Tabellenstatistiken und Cost-Based Optimizer“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von SHOW STATS, ANALYZE, NDV, Nullwerte, Min/Max, Datenvolumen, Join-Reihenfolge, Join-Verteilung und fehlerhafte Schätzungen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein belastbares Statistik- und Optimizer-Wartungsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

5. Pushdown und Dynamic Filtering

Schwerpunkt: Predicate, Projection, Aggregation, Join, Limit und Top-N Pushdown, Runtime-Filter, Partition Pruning und Connector-Grenzen.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Pushdown und Dynamic Filtering“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Predicate, Projection, Aggregation, Join, Limit und Top-N Pushdown, Runtime-Filter, Partition Pruning und Connector-Grenzen. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis eine messbare Reduktion unnötiger Datenbewegung dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

6. Join-, Aggregations- und Sortierstrategien

Schwerpunkt: Broadcast, Partitioned Join, Skew, Pre-Aggregation, Distinct, Grouping, Window, Distributed Sort und Abfrageumschreibung.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Join-, Aggregations- und Sortierstrategien“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Broadcast, Partitioned Join, Skew, Pre-Aggregation, Distinct, Grouping, Window, Distributed Sort und Abfrageumschreibung. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen optimierten SQL- und Verteilungsplan dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

7. Speicher, Parallelität und resiliente Ausführung

Schwerpunkt: Query Memory, Revocable Memory, Task Concurrency, Splits, Writer Scaling, Spill-Einordnung, Retry und Exchange Manager.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Speicher, Parallelität und resiliente Ausführung“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Query Memory, Revocable Memory, Task Concurrency, Splits, Writer Scaling, Spill-Einordnung, Retry und Exchange Manager. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein abgestimmtes Ressourcen- und Ausführungsprofil dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

8. Datenlayout und Connector-Performance

Schwerpunkt: Partitionierung, Dateigrößen, Sortierung, Kompression, Metadaten, Caching, Object Storage, JDBC-Quellen und Remote-Systemlast.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Datenlayout und Connector-Performance“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Partitionierung, Dateigrößen, Sortierung, Kompression, Metadaten, Caching, Object Storage, JDBC-Quellen und Remote-Systemlast. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis ein datenquellenspezifisches Optimierungsmodell dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

9. Resource Groups und Regressionstests

Schwerpunkt: Workload-Klassen, Queueing, Concurrency, Limits, Session-Regeln, Benchmark-Suite, Change-Vergleich, Akzeptanzgrenzen und Dokumentation.

1. Ausgangslage, fachliche Ziele, technische Abhängigkeiten und Abnahmekriterien für den Themenblock „Resource Groups und Regressionstests“ erfassen.
2. Relevante Komponenten, Datenobjekte, Rollen und Konfigurationsparameter anhand von Workload-Klassen, Queueing, Concurrency, Limits, Session-Regeln, Benchmark-Suite, Change-Vergleich, Akzeptanzgrenzen und Dokumentation. modellieren.
3. Die erforderliche Konfiguration, SQL-Abfrage oder Prozessfolge im Laborsystem schrittweise umsetzen und jeden Zwischenstand dokumentieren.
4. Funktion, Ausführungsplan, Datenzugriff, Berechtigungen, Ressourcenverbrauch und Fehlerverhalten mit definierten Positiv- und Negativfällen prüfen.
5. Als Arbeitsergebnis einen kontinuierlichen Performance- und Regressionstestprozess dokumentieren, fachlich abnehmen und in einen wiederholbaren Standard überführen.

Praxisübungen und Laborszenarien

• Erstellung einer Benchmark-Baseline für mehrere Query-Klassen.
• Analyse und Korrektur fehlerhafter Join-Reihenfolge und Join-Verteilung.
• Optimierung einer Lakehouse-Abfrage mit Statistiken, Pushdown und Dynamic Filtering.
• Entwurf einer Resource-Group-Struktur für interaktive und Batch-Workloads.

Zielgruppe und Voraussetzungen

Zielgruppe: Performance Engineering, Data Engineering, Trino-Administration, Datenbankadministration, Analytics Engineering und Plattformarchitektur.

Voraussetzungen: Gute SQL-Kenntnisse, Trino-Grundlagen und Erfahrung mit Ausführungsplänen oder Datenbank-Performanceanalyse.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Demonstrationen, strukturierte Konfigurations- oder SQL-Schritte, praktische Übungen und kontrollierte Fehlerfälle vertieft. Jede Übung verwendet definierte Ausgangswerte, Prüfpunkte und Dokumentationsanforderungen, damit die erarbeiteten Abläufe als technischer Standard wiederholbar bleiben.