Seminar CrateDB – Intensivseminar Datenmodellierung, SQL und Analytics

Das Intensivformat bündelt Architektur, Datenmodellierung, SQL, Zeitreihenanalyse, Suchfunktionen, Vektorsuche, dbt und BI zu einem durchgängigen Daten- und Analytics-Pfad. Ein gemeinsamer Praxisfall wird vom Rohereignis bis zum geprüften Datenprodukt aufgebaut.

Inhaltsübersicht

• Lernziele und fachliche Einordnung
• Schrittweise Seminarinhalte
• Praxisübungen und Laborszenarien
• Zielgruppe und Voraussetzungen
• Didaktik und Arbeitsweise

Lernziele und fachliche Einordnung

• CrateDB-Architektur und Datenmodell für relationale, JSON-, Zeitreihen- und Vektordaten verbinden
• SQL von sicherer Datenmanipulation bis zu Joins, Aggregationen und Window Functions anwenden
• Volltext-, Geo-, Zeitreihen- und Vektoranalysen in gemeinsame Datenprodukte integrieren
• dbt-Modelle, Datenqualität, Dashboards und Leistungsprüfung produktionsnah organisieren

Schrittweise Seminarinhalte

1. Schritt 1: Tag 1: Einsatzbild und Architektur ausrichten

   Anwendungsfall, Datenprofil, Abfrageklassen, Aktualität, Verfügbarkeit und Zielarchitektur werden als gemeinsame Arbeitsgrundlage festgelegt.

2. Schritt 2: Tag 1: Verteilte Datenhaltung verstehen

   Knoten, Shards, Replikate, Partitionen und verteilte Ausführung werden mit den Auswirkungen auf Modellierung und Abfragen verbunden.

3. Schritt 3: Tag 1: Relationale und dokumentenartige Daten modellieren

   Entitäten, Ereignisse, Primärschlüssel, Objekte, Arrays, Datentypen und Constraints werden für den Praxisfall umgesetzt.

4. Schritt 4: Tag 1: Zeitreihenstruktur dimensionieren

   Zeitfelder, Geräte- oder Mandantenschlüssel, Partitionierungsintervall, Shards, Replikate und Retention werden belastbar gewählt.

5. Schritt 5: Tag 2: SQL-Grundlagen konsolidieren

   SELECT, Filter, Sortierung, INSERT, UPDATE, DELETE, Upsert, Zeitstempel, Objekte und Arrays werden mit sicheren Arbeitsmustern angewendet.

6. Schritt 6: Tag 2: Datenaufnahme und Qualitätsprüfung durchführen

   COPY, Bulk-Verarbeitung, Idempotenz, Typkontrolle, Fehlerlisten und Mengenabgleich bilden eine nachvollziehbare Initialladung.

7. Schritt 7: Tag 2: Joins und mehrstufige Abfragen entwickeln

   CTEs, Unterabfragen, relationale Ergänzungen und kontrollierte Joins verbinden Ereignisse mit Stammdaten.

8. Schritt 8: Tag 3: Aggregationen und Zeitfenster aufbauen

   Zeitbucketing, gruppierte Kennzahlen, bedingte Werte, Lücken und Downsampling werden fachlich korrekt umgesetzt.

9. Schritt 9: Tag 3: Window Functions einsetzen

   Rang, gleitende Werte, Vorperiodenvergleich, Differenzen und kumulierte Kennzahlen werden pro Gerät, Kunde oder Kategorie berechnet.

10. Schritt 10: Tag 3: Abfragepläne und Leistung prüfen

    Partition Pruning, Shard-Verteilung, Join-Aufwand, Sortierung und Ergebnismenge werden anhand von Messwerten optimiert.

11. Schritt 11: Tag 4: Volltext- und Geosuche integrieren

    Textanalyse, MATCH, Relevanz, strukturierte Filter, Punkte, Flächen und Distanz werden in einen kombinierten Suchfall eingebaut.

12. Schritt 12: Tag 4: Vektordaten und Ähnlichkeitssuche modellieren

    Embeddings, float_vector, kNN, Metadatenfilter und Modellversion werden in einer reproduzierbaren Pipeline umgesetzt.

13. Schritt 13: Tag 4: Hybride Suche und RAG-Retrieval entwickeln

    Volltext, Vektorähnlichkeit, Berechtigungen und Kontextmetadaten werden zu einem bewertbaren Retrieval-Pfad verbunden.

14. Schritt 14: Tag 5: dbt-Projekt strukturieren

    Quellen, Basismodelle, fachliche Modelle, Abhängigkeiten, Tests und inkrementelle Verarbeitung werden für den Praxisfall eingerichtet.

15. Schritt 15: Tag 5: BI und Dashboard anbinden

    Rollen, Treiber, Zeitfilter, Aktualisierung, Ergebnisgröße und Kennzahlendokumentation werden für ein Dashboard abgestimmt.

16. Schritt 16: Tag 5: Gesamtlösung abnehmen

    Datenqualität, SQL-Korrektheit, Suchqualität, Latenz, Aktualität, Berechtigungen und Betriebsübergabe werden mit definierten Kriterien geprüft.

Praxisübungen und Laborszenarien

• Aufbau eines kombinierten relationalen, JSON- und Zeitreihenmodells
• Initialladung mit COPY und Bulk-Verarbeitung einschließlich Qualitätskontrolle
• Entwicklung einer Analyse mit Join, Zeitbucketing und Window Functions
• Kombinierte Volltext-, Geo- und Vektorsuche mit Bewertungsdatensatz
• Erstellung eines dbt-Datenprodukts mit Tests und BI-Dashboard
• Abschlussabnahme anhand fachlicher, technischer und leistungsbezogener Kriterien

Zielgruppe und Voraussetzungen

Zielgruppe: Data Architects, Data Engineers, Analytics Engineers, Data Analysts, AI Engineers, BI-Entwicklung und datenorientierte Anwendungsentwicklung.

Voraussetzungen: SQL-Grundkenntnisse, Verständnis der eigenen Daten und Abfragen sowie grundlegende Erfahrung mit Datenpipelines oder Anwendungsentwicklung.

Didaktik und Arbeitsweise

Kurze Fachimpulse werden unmittelbar durch Live-Demonstrationen, strukturierte Konfigurations- und SQL-Schritte, praktische Übungen sowie kontrollierte Fehlerfälle vertieft. Jede Übung arbeitet mit definierten Ausgangsdaten, Prüfpunkten und einer knappen technischen Dokumentation, damit die erarbeiteten Verfahren wiederholbar bleiben.