Seminar Apache Paimon Engineering: Flink, Spark, Trino und Betrieb

Dieses Seminar ist für Implementierungsteams gedacht, die Apache Paimon nicht nur verstehen, sondern produktiv bauen und betreiben wollen. In vier Tagen werden Architektur, Flink-Integration, Multi-Engine-Zugriffe, Tabellenpflege und Performance-Fragen zusammenhängend behandelt. Der Schwerpunkt liegt auf belastbaren technischen Entscheidungen, nicht auf Marketingfolien. Wer nach diesem Seminar noch blind Tabellen anlegt, hat im Übungsteil nicht aufgepasst.

Seminarziele

Das Seminar befähigt dazu, Paimon-Warehouses sauber zu entwerfen, Tabellen für unterschiedliche Lastprofile zu modellieren und den Zugriff über Flink, Spark und Trino technisch einzuordnen. Ebenso werden Betriebsfragen wie Compaction, Snapshot-Verwaltung, Branches, Partitionen, Systemtabellen und Fehlersuche behandelt.

Zielgruppe

Geeignet für Data Platform Engineers, Senior Data Engineers, Architekten und Betriebsteams, die Paimon in Projekten oder Plattformen produktiv verantworten.

Voraussetzungen

Erforderlich sind gute SQL-Kenntnisse, Erfahrung mit Apache Flink oder Spark sowie ein grundlegendes Verständnis verteilter Speicher- und Streaming-Systeme.

Schwerpunkte

• Design von Catalogs, Warehouses, Tabellen und Dateiformaten
• Flink SQL, Flink API und aktualisierende Schreibmuster
• Merge Engines, Changelog-Verhalten und Tabellenmodellierung
• Lesende und schreibende Nutzung über Spark und Trino
• Systemtabellen, Snapshots, Time Travel und Analyse des Tabellenzustands
• Compaction, Expiration, Partition Management, Branches und betriebliche Pflege
• Performance-Tuning, Datenlayout, Kostenverhalten und Troubleshooting

Praxis

Im Seminar wird eine durchgängige Referenzarchitektur aufgebaut, erweitert und unter Last diskutiert. Dabei werden technische Entscheidungen bewusst an realen Zielkonflikten aufgehängt: Schreiblast gegen Leseperformance, Flexibilität gegen Stabilität und schnelle Einführung gegen sauberen Betrieb.