Seminar JupyterLab – Datenanalyse mit Python und pandas

Inhaltsverzeichnis

Beschreibung

Eine erfolgreiche Datenanalyse beginnt mit der Prüfung der Eingabedaten. Das Seminar vermittelt einen durchgängigen Arbeitsablauf in JupyterLab: Daten einlesen, Strukturen verstehen, Fehler bereinigen, Tabellen verknüpfen und fachlich sinnvolle Kennzahlen bilden. pandas wird anhand einer zusammenhängenden Fallstudie eingesetzt, in der fehlende Werte, uneinheitliche Datentypen und unvollständige Zuordnungen bewusst enthalten sind.

Die Arbeit am Notebook umfasst neben den eigentlichen Berechnungen auch Annahmen, Kontrollsummen und dokumentierte Entscheidungen. Ein Ergebnis gilt erst dann als belastbar, wenn Herkunft, Filterung und Verarbeitung der Daten nachvollziehbar sind. Grundlegende Diagramme unterstützen die Interpretation; fortgeschrittene statistische Modellierung und maschinelles Lernen gehören nicht zum Seminarumfang. Die Programmierung konzentriert sich auf überschaubare, wiederverwendbare Verarbeitungsschritte.

Lernziele

• Tabellarische Daten gezielt importieren und Datentypen sowie fehlende Werte prüfen.
• Daten bereinigen, filtern, gruppieren und kontrolliert zusammenführen.
• Zeitbezogene Auswertungen und Kennzahlen mit nachvollziehbaren Regeln erstellen.
• Eine vollständige Analyse mit Kontrollprüfungen dokumentieren und wiederholt ausführen.

Seminarinhalte

1. Analyseprojekt und Datenmodell
2. Datenimport und erste Prüfung
3. Bereinigung und Auswahl
4. Kennzahlen und Aggregation
5. Tabellen zusammenführen
6. Zeitreihen und Darstellung
7. Wartbare Analysebausteine
8. Zusammenhängende Fallstudie

Analyseprojekt und Datenmodell

• Eine fachliche Fragestellung in prüfbare Arbeitsschritte übersetzen.
• Series, DataFrame, Index und zentrale NumPy-Begriffe einordnen.
• Eingaben, Verarbeitung und Ergebnisse in getrennten Projektbereichen organisieren.

Datenimport und erste Prüfung

• CSV, Excel und Parquet unter Berücksichtigung benötigter Zusatzpakete einlesen.
• Trennzeichen, Kodierung, Datumsfelder und Datentypen gezielt festlegen.
• Umfang, Eindeutigkeit und Plausibilität mit ersten Prüfregeln untersuchen.

Bereinigung und Auswahl

• Fehlende Werte und Dubletten nach fachlichen Regeln behandeln.
• Zeilen und Spalten eindeutig auswählen und Filter nachvollziehbar formulieren.
• Textfelder, Kategorien und numerische Werte vereinheitlichen.

Kennzahlen und Aggregation

• Berechnete Spalten und vektorisierte Operationen einsetzen.
• Gruppierungen und Aggregationen mit Kontrollsummen absichern.
• Pivot-Tabellen erstellen und Darstellungsformen gezielt umformen.

Tabellen zusammenführen

• Schlüssel, Join-Arten und erwartete Kardinalitäten festlegen.
• Nicht zugeordnete Datensätze und unbeabsichtigte Vervielfachungen erkennen.
• Mehrere Teilbestände verbinden und deren Vollständigkeit prüfen.

Zeitreihen und Darstellung

• Datumswerte, Zeitbereiche und zeitbezogene Gruppierungen verwenden.
• Einfache Trends, Verteilungen und Kategorien grafisch gegenüberstellen.
• Achsenskalierung, Einheiten und fehlende Daten bei der Interpretation beachten.

Wartbare Analysebausteine

• Wiederkehrende Transformationen in kleine Funktionen auslagern.
• Eingabeannahmen durch Assertions und übersichtliche Fehlermeldungen absichern.
• Speicherbedarf und Laufzeit einfacher Verarbeitungsschritte beobachten.

Zusammenhängende Fallstudie

• Mehrere fehlerbehaftete Eingabedateien in einer Analyse zusammenführen.
• Fachliche Kennzahlen berechnen und mit unabhängig ermittelten Kontrollwerten vergleichen.
• Das Notebook aus einem leeren Kernel ausführen und Ergebnisse verständlich erläutern.

Praktische Übungen

1. Zwei tabellarische Datenbestände importieren und eine erste Qualitätsübersicht erzeugen.
2. Dubletten, fehlende Werte und Datumsprobleme nach einer festgelegten Regel behandeln.
3. Die Bestände zusammenführen, Zuordnungsfehler sichtbar machen und Kennzahlen berechnen.
4. Eine grafische Auswertung erstellen, Kontrollsummen ergänzen und den gesamten Ablauf erneut ausführen.