Seminar Apache Iceberg mit Apache Spark für Data Engineers

Apache Spark ist in vielen Umgebungen der pragmatische Einstieg in Apache Iceberg. Drei Tage sind für dieses Seminar notwendig, weil Konfiguration, Schreibmuster, Wartung und Fehlersuche in Spark praktisch erarbeitet werden müssen. Nur ein paar CREATE-TABLE-Beispiele zu sehen, bringt niemanden im Projekt wirklich weiter.

Zielsetzung

Das Seminar vermittelt die sichere Arbeit mit Iceberg in Spark-Umgebungen. Behandelt werden Katalogkonfiguration, SQL- und DataFrame-Zugriffe, Merge- und Upsert-Szenarien, Metadatenabfragen sowie Spark-basierte Wartungsaufgaben. Ziel ist ein belastbarer Engineering-Alltag statt bloßer Demo-Kompetenz.

Inhalte

• Einrichten von Spark-Katalogen und notwendigen Erweiterungen
• Tabellenanlage, CTAS, Insert, Update, Delete und Merge in Spark SQL
• DataFrameWriterV2 und typische Schreibmuster im Batch-Betrieb
• Partitionierung, Sortierung, Verteilung und Dateigrößensteuerung
• Metadatenabfragen und Snapshot-Analysen aus Spark heraus
• Spark-Prozeduren für Expire Snapshots, Compaction und weitere Wartungsaufgaben
• Fehlersuche bei Commit-Konflikten, Layoutproblemen und Schreibfehlern
• Best Practices für robuste Jobs und wiederholbare Deployments

Praxis

Im Seminar werden durchgängige Schreib- und Abfrageszenarien in Spark umgesetzt. Dazu gehören Tabellenaufbau, inkrementelles Schreiben, Zusammenführen von Daten, Metadateninspektion und Wartung. Zusätzlich wird gezeigt, wie typische Projektfehler in Spark entstehen und wie sie sauber abgefangen werden.

Zielgruppe

Geeignet ist das Seminar für Data Engineers, Spark-Entwickler, Analytics Engineers und technische Teamleiter, die Apache Iceberg in Spark-Prozessen produktiv nutzen oder bestehende Jobs darauf umstellen wollen.