Seminar Tenzir – Datenaufnahme, Parsing und Formatkonvertierung

Security-Telemetrie trifft in unterschiedlichen Transporten, Formaten und Qualitätsstufen ein und muss ohne stillen Datenverlust verarbeitet werden. Im Mittelpunkt stehen den vollständigen Weg von Rohdaten über Framing, Dekodierung, Parsing und Typisierung bis zur sicheren Formatkonvertierung und Ausleitung.

Seminarziel

Nach dem Seminar können neue Datenquellen systematisch erschlossen, robuste Parser erstellt, Formate sicher konvertiert und Fehlerdaten kontrolliert behandelt werden.

Inhaltsübersicht

1. Kapitel 1: Quellen, Transporte und Verbindungen
2. Kapitel 2: Framing, Dekodierung und Rohdatenkontrolle
3. Kapitel 3: Parser für strukturierte und textuelle Formate
4. Kapitel 4: Formatkonvertierung und Schemaführung
5. Kapitel 5: Fehlerbehandlung und Abnahme
6. Praxisübungen
7. Zielgruppe und Voraussetzungen

Kapitel 1: Quellen, Transporte und Verbindungen

1. Schritt 1: Dateien, Verzeichnisse, Netzwerkströme, APIs, Broker, Objektspeicher und vorhandene Plattformen nach Betriebsverhalten einordnen.
2. Schritt 2: Push-, Pull-, Batch- und Streaming-Verfahren anhand von Latenz, Volumen, Fehlerverhalten und Zuständigkeit auswählen.
3. Schritt 3: Authentifizierung, TLS, Netzwerkpfade, Zeitüberschreitungen und Wiederverbindung für jede Quelle definieren.
4. Schritt 4: Normal-, Grenz- und Fehlerdaten repräsentativ erfassen und versioniert bereitstellen.

Kapitel 2: Framing, Dekodierung und Rohdatenkontrolle

1. Schritt 1: Byte-Ströme anhand von Zeilen, Längen, Trennzeichen, Protokollrahmen oder Dateigrenzen in Ereignisse zerlegen.
2. Schritt 2: Zeichensätze, Kompression, Escape-Regeln und mehrzeilige Nachrichten kontrolliert behandeln.
3. Schritt 3: Unvollständige, doppelte, verspätete oder übergroße Eingaben erkennen und klassifizieren.
4. Schritt 4: Ressourcenlimits, Abbruchbedingungen und Quarantänepfade für fehlerhafte Rohdaten festlegen.

Kapitel 3: Parser für strukturierte und textuelle Formate

1. Schritt 1: JSON, CSV, TSV, Syslog, CEF und weitere verbreitete Ereignisformate mit geeigneten Parsern verarbeiten.
2. Schritt 2: Freitext mit stabilen Ankern, regulären Ausdrücken und schrittweiser Typisierung erschließen.
3. Schritt 3: Zeitstempel, Zeitzonen, Zahlen, Wahrheitswerte, Listen und verschachtelte Records korrekt konvertieren.
4. Schritt 4: Parser gegen optionale Felder, Herstellerabweichungen und Versionsunterschiede absichern.

Kapitel 4: Formatkonvertierung und Schemaführung

1. Schritt 1: Feldnamen, Typen und Strukturen kontrolliert in ein definiertes Zielschema überführen.
2. Schritt 2: Quellinformationen und Rohdaten dort erhalten, wo Nachvollziehbarkeit oder Neuverarbeitung erforderlich ist.
3. Schritt 3: Konvertierungen auf semantischen Verlust, Rundung, Zeichensätze und Zeitauflösung prüfen.
4. Schritt 4: Schemaänderungen über Versionierung, Warnung, Quarantäne oder kontrollierte Erweiterung behandeln.

Kapitel 5: Fehlerbehandlung und Abnahme

1. Schritt 1: Erfolgs-, Warn- und Fehlerpfade mit eindeutigen Gründen und Zählerständen ausstatten.
2. Schritt 2: Quarantäneziele für nicht parsebare, unvollständige oder unerwartete Ereignisse einrichten.
3. Schritt 3: Durchsatz, Latenz, Fehlerrate und Feldabdeckung mit repräsentativen Daten messen.
4. Schritt 4: Neustart, Wiederverbindung, Duplikate, Formatabweichungen und Zielausfall als Abnahmeszenarien prüfen.

Praxisübungen

1. Übung 1: Datei- und Netzwerkquelle anbinden.
2. Übung 2: Robusten Parser für gemischte Normal- und Fehlerdaten entwickeln.
3. Übung 3: Ereignisstrom in zwei Zielformate konvertieren.
4. Übung 4: Quarantänepfad mit Qualitätskennzahlen aufbauen.

Zielgruppe

Data Engineers, Security Engineers, SOC-Plattformteams, Integratoren, Administratoren und Entwickler von Datenanbindungen.

Voraussetzungen

TQL-Grundkenntnisse sowie Grundlagen zu Logformaten, Netzwerkprotokollen, JSON und regulären Ausdrücken.