Seminar Apache StreamPark Entwicklung mit DataStream, Java und Scala

Dieses Seminar richtet den Blick konsequent auf die Implementierung eigener Anwendungen. Drei Tage sind erforderlich, weil Programmiermodell, Projektaufbau, Packaging und die Übergabe in den Plattformbetrieb jeweils separat aufgebaut und in mehreren Übungsblöcken nachvollzogen werden.

Zielgruppe

Geeignet ist das Seminar für Entwicklungsteams, die nicht nur SQL-Aufgaben betreiben, sondern eigene DataStream- oder Table-Anwendungen auf Basis von Java oder Scala erstellen, paketieren und sauber bereitstellen wollen.

Schwerpunkte

1. Programmierparadigma von StreamPark für DataStream, TableContext und StreamTableContext sowie die Rolle der jeweiligen Einstiegsklassen.
2. Projekt- und Verzeichnisstruktur, Konventionsmodell, Konfigurationsdateien und sauberer Umgang mit application.yaml und optionalem sql.yaml.
3. Arbeiten mit StreamingContext, TableContext und StreamTableContext einschließlich Parametrierung und sauberer Initialisierung.
4. Einbindung typischer Quellen, Transformationen und Senken sowie Entwurf robuster Source-Transform-Sink-Pipelines.
5. Build-, Packaging- und Startkonzepte mit Maven, Assembly, Jar-Strukturen und den zugehörigen Startskripten.
6. Übergabe der erzeugten Artefakte an StreamPark, Start der Jobs, Versionspflege, Debugging und reproduzierbare Entwicklungsabläufe.

Praxisanteil

Im Labor entsteht eine vollständige Beispielanwendung von der Projektanlage bis zum lauffähigen Job. Parallel dazu werden Build-Fehler, Abhängigkeitsprobleme und Startparameter systematisch nachvollzogen und behoben.

Vorkenntnisse

Vorausgesetzt werden solide Java- oder Scala-Kenntnisse. Erfahrung mit Maven und Grundbegriffe aus Apache Flink sollten vorhanden sein.