Seminar Tenzir – Intensivseminar Data Engineering und TQL

Der Intensivtrack ist für technische Rollen ausgelegt, die vollständige, wiederverwendbare und betriebssichere Security-Datenprodukte entwickeln sollen. Im Mittelpunkt stehen den vollständigen Data-Engineering-Lebenszyklus von Architektur und TQL über Parsing, Qualität, OCSF, Enrichment und Routing bis zu Packages, Tests, GitOps und Data Lake.

Seminarziel

Nach dem Seminar können komplexe TQL-Pipelines und Packages entworfen, getestet, automatisiert bereitgestellt und für Streaming- sowie historische Datenpfade betrieben werden.

Inhaltsübersicht

1. Kapitel 1: Tag 1: Architektur und TQL-Fundament
2. Kapitel 2: Tag 2: Datenaufnahme, Parsing und Qualität
3. Kapitel 3: Tag 3: Fortgeschrittenes TQL, OCSF und Enrichment
4. Kapitel 4: Tag 4: Routing, Packages und Tests
5. Kapitel 5: Tag 5: GitOps, AI und Data Lake
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: Tag 1: Architektur und TQL-Fundament

1. Schritt 1: Security-Data-Pipeline-Architektur, Nodes, Plattformobjekte und Datenlebenszyklus in einem Zielbild zusammenführen.
2. Schritt 2: TQL-Syntax, Typen, Records, Listen, Zeiten, Operatoren und Fehlerdiagnose sicher anwenden.
3. Schritt 3: Eine erste End-to-End-Pipeline mit Quelle, Parser, Transformation und Ziel erstellen.
4. Schritt 4: Namens-, Dokumentations- und Sicherheitsregeln für das gemeinsame Praxisprojekt festlegen.

Kapitel 2: Tag 2: Datenaufnahme, Parsing und Qualität

1. Schritt 1: Datei-, Netzwerk-, API- und Streaming-Quellen anbinden und betrieblich absichern.
2. Schritt 2: Strukturierte und textuelle Formate robust parsen, typisieren und konvertieren.
3. Schritt 3: Datenverträge, Validierung, Quarantäne, Deduplizierung und Datenschutzregeln umsetzen.
4. Schritt 4: Parser und Qualitätslogik mit Normal-, Grenz- und Fehlerdaten abnehmen.

Kapitel 3: Tag 3: Fortgeschrittenes TQL, OCSF und Enrichment

1. Schritt 1: Subpipelines, Verzweigungen, Gruppen, Aggregationen, Zeitfenster und wiederverwendbare Operatoren einsetzen.
2. Schritt 2: Quellschemata in OCSF-Klassen und geeignete Erweiterungsstrukturen überführen.
3. Schritt 3: Contexts, Assetdaten und Threat Intelligence mit kontrollierter Aktualisierung anbinden.
4. Schritt 4: Performance und Feldabdeckung des normalisierten und angereicherten Datenstroms messen.

Kapitel 4: Tag 4: Routing, Packages und Tests

1. Schritt 1: Mehrziel-Routing, Fan-out, Backpressure, Fehlerpfade und Wiederanlauf implementieren.
2. Schritt 2: Wiederverwendbare Logik, Eingaben, Contexts, Beispiele und Metadaten in einem Package bündeln.
3. Schritt 3: Tenzir-Testfälle, Fixtures und Baselines für Pipeline- und Package-Verhalten erstellen.
4. Schritt 4: Änderungen über Review, Versionierung und automatisierte Prüfungen freigeben.

Kapitel 5: Tag 5: GitOps, AI und Data Lake

1. Schritt 1: Pipelines as Code, GitOps-Promotion und sichere Secret-Einbindung in den Lebenszyklus integrieren.
2. Schritt 2: AI Workbench und MCP für Entwurfshilfe nutzen und generierte Artefakte kontrolliert validieren.
3. Schritt 3: Edge Storage, Export und historische Wiederverarbeitung in einen Security-Data-Lake-Pfad einbauen.
4. Schritt 4: Das Gesamtprojekt unter Last, bei Zielausfall und mit Rollback vollständig abnehmen.

Praxisübungen

1. Übung 1: Durchgängiges Praxisprojekt mit mehreren Quellen und zwei Zielen umsetzen.
2. Übung 2: Package mit Inputs, Contexts, Tests und Dokumentation entwickeln.
3. Übung 3: Automatisierte Promotion mit Freigabeschranken aufbauen.
4. Übung 4: Last-, Fehler- und Wiederanlauftest durchführen.

Zielgruppe

Security Data Engineers, erfahrene Security Engineers, Integrationsentwickler, Platform Engineers und technische Architekten mit Schwerpunkt Datenverarbeitung.

Voraussetzungen

Solide Grundlagen zu Security-Telemetrie, JSON, Netzwerk und Git; erste TQL-Erfahrung ist hilfreich, aber nicht zwingend.