Seminar Shell-Pipelines und Textverarbeitung (grep, sed, awk, jq) mit ChatGPT

Inhaltsverzeichnis

• Abstract
• Zielgruppe
• Voraussetzungen
• Lernziele
• Inhalte und Ablauf
• Praxisübungen
• Ergebnisse und Transfer

Abstract

Pipelines als “Datenfluss-Programmierung” in der Shell: Filtern, Transformieren, Aggregieren. Fokus auf grep/Regex, sed, awk, klassische Texttools (cut, tr, sort, uniq) und JSON-Verarbeitung mit jq. ChatGPT unterstützt beim Entwurf von One-Linern, beim Erklären von Regex und beim sicheren Refactoring in lesbare Skripte.

Zielgruppe

• Admins, DevOps, Entwicklerteams mit Log- und Datenverarbeitung in CLI
• Teams mit vielen “One-Liner”-Skripten, die wartbar werden sollen

Voraussetzungen

• Basiskenntnisse Terminal
• Grundverständnis zu Dateien, Pipes, Redirects vorteilhaft (oder Seminar Einstieg: Bash- und Shell-Scripting mit ChatGPT-Unterstützung)

Lernziele

• Datenströme zuverlässig analysieren und transformieren
• Regex- und Parsing-Fehler vermeiden
• jq für JSON sicher einsetzen
• ChatGPT nutzen, um Pipelines zu entwerfen und anschließend zu härten und zu dokumentieren

Inhalte und Ablauf

Tag 1–2: Pipelines, Texttools und JSON-Verarbeitung

• Datenformate: Zeilenorientierung, Trennzeichen, Encoding (Überblick)
• grep und Regex-Grundlagen, typische Fallen
• sed: Substitution, Adressierung, Mehrfachregeln
• awk: Felder, Bedingungen, Aggregation, Ausgabeformat
• Texttools: cut, tr, sort, uniq, paste, join (praxisnah)
• find/xargs: sichere Dateimengen, Null-Delimiter, Quoting
• jq: Filter, Select, Map, Reduce, Formatierung
• ChatGPT-Muster: “One-liner → erklärter Plan → refactor in Skript + Tests”

Praxisübungen

• Log-Summary als Pipeline
  • Log-Beispiele definieren (3–5 Zeilen)
  • Extraktionsziel definieren (z. B. Statuscodes zählen)
  • Pipeline mit grep/awk bauen
  • ChatGPT nutzen: Alternativen vorschlagen lassen, Lesbarkeit erhöhen
  • Ergebnis gegen die Beispiele prüfen
• sed-Transformationskette
  • Ersetzungsregeln auflisten (z. B. Maskierung sensibler Werte)
  • Regeln in sed-Skriptreihenfolge bringen
  • Testdatei erstellen, Vorher/Nachher vergleichen
  • ChatGPT: Debug-Erklärung zu jeder Regel einfordern
• JSON-Extraktion mit jq
  • JSON-Snippet bereitstellen
  • Zielausgabe definieren (CSV oder Key=Value)
  • jq-Filter entwickeln
  • ChatGPT: Filter erklären lassen, Edge-Cases ergänzen lassen
  • Ausgabe formatstabil machen

Ergebnisse und Transfer

• Musterbibliothek für Pipelines (Log, CSV, JSON)
• Vorgehen zur Umwandlung von One-Linern in wartbare Skripte
• Prüfschemata gegen Parsing- und Regex-Fehler