Seminar eccenca Corporate Memory – Datenintegration tabellarischer Quellen und Datenbanken

Tabellen wirken einfach, enthalten aber häufig implizite Schlüssel, uneinheitliche Datentypen, Mehrfachwerte und fachliche Abhängigkeiten. Für einen verlässlichen Wissensgraphen müssen diese Eigenschaften explizit modelliert und geprüft werden.

Das Seminar führt von CSV-, Excel- und Datenbankquellen bis zum Knowledge-Graph-Ziel. Schemaerkennung, JDBC-Konfiguration, Schlüsselbildung, inkrementelles Laden und Qualitätskontrollen werden an einem durchgängigen Beispiel umgesetzt.

Inhaltsübersicht

1. Seminarziel
2. Zielgruppe
3. Voraussetzungen
4. Seminarinhalte
   1. Schritt 1: Quellprofil und Datenqualität erfassen
   2. Schritt 2: CSV- und Excel-Datasets einrichten
   3. Schritt 3: Datenbankzugriff über JDBC
   4. Schritt 4: Klassen, Eigenschaften und Schlüssel mappen
   5. Schritt 5: Transformation und Normalisierung
   6. Schritt 6: Inkrementelles Laden
   7. Schritt 7: Prüfung und Workflowbetrieb
5. Praxisübungen
6. Arbeitsweise

Seminarziel

• CSV-, Excel- und relationale Quellen korrekt als Datasets konfigurieren
• Spalten, Schlüssel und Beziehungen auf semantische Modelle abbilden
• Datentypen, Mehrfachwerte und fehlerhafte Zeilen kontrolliert verarbeiten
• vollständige und inkrementelle Ladevorgänge reproduzierbar gestalten

Zielgruppe

Data Engineers, ETL-Entwickler, Datenbankexperten und Knowledge-Graph-Entwickler mit Verantwortung für strukturierte Quellsysteme.

Voraussetzungen

Grundkenntnisse in Datenbanken und Tabellenformaten. Ein grundlegender Build-Einstieg ist hilfreich; RDF-Vorkenntnisse werden im benötigten Umfang aufgefrischt.

Seminarinhalte

Schritt 1: Quellprofil und Datenqualität erfassen

Vor der technischen Konfiguration werden Schlüssel, Nullwerte, Dubletten, Datentypen und Mehrfachwerte profiliert. Die Erkenntnisse bestimmen Dataset- und Mappingregeln.

• Spaltenprofil und Werteverteilung
• Primär- und Fachschlüssel
• Nullwerte und Dubletten

Schritt 2: CSV- und Excel-Datasets einrichten

Trennzeichen, Kodierung, Tabellenblatt, Kopfzeilen und Spaltentypen werden korrekt konfiguriert. Vorschau und explizite Schemas verhindern Überraschungen im späteren Workflow.

• CSV-Parameter und Zeichensätze
• Excel-Arbeitsblätter
• explizite Schemata

Schritt 3: Datenbankzugriff über JDBC

Treiber, Verbindung, Abfrage und Zugangsdaten werden getrennt verwaltet. Datenbanklast, Abfragebegrenzung und sichere Geheimnisablage werden in die Konfiguration aufgenommen.

• JDBC-Treiber und Verbindungen
• SQL-Abfragen und Sichten
• Credentials und Netzwerkzugriff

Schritt 4: Klassen, Eigenschaften und Schlüssel mappen

Zeilen werden auf Ressourcen abgebildet und Schlüssel in stabile IRIs überführt. Fremdschlüssel und Beziehungstabellen werden als Objektbeziehungen modelliert.

• URI-Muster
• Datentyp- und Objektzuordnungen
• Fremdschlüssel und n:m-Beziehungen

Schritt 5: Transformation und Normalisierung

Datums-, Zahlen- und Textwerte werden vereinheitlicht. Mehrfachwerte und zusammengesetzte Felder werden vor der Graphausgabe in definierte Einzelwerte zerlegt.

• Parsing und Formatierung
• Lookup- und Ersetzungsregeln
• Listen und Mehrfachwerte

Schritt 6: Inkrementelles Laden

Änderungszeitpunkte, Sequenzen oder technische Marker begrenzen den Datenabruf. Die Strategie berücksichtigt neue, geänderte und gelöschte Datensätze sowie einen sicheren Erstlauf.

• Watermark und Deltaabfrage
• Upsert und Löschung
• vollständiger Neuaufbau

Schritt 7: Prüfung und Workflowbetrieb

Mengen, Schlüssel und Pflichtfelder werden vor und nach der Transformation geprüft. Workflowberichte und Stichproben dienen der Abnahme und späteren Betriebsüberwachung.

• Mengenabgleich
• Schlüssel- und Pflichtfeldprüfung
• Berichte und Reconciliation

Praxisübungen

1. Import einer CSV- und Excel-Quelle mit explizitem Schema
2. Anbindung einer relationalen Datenbank und Abbildung von Fremdschlüsseln
3. Umstellung einer Vollbeladung auf einen kontrollierten Delta-Lauf

Arbeitsweise

Die Themen werden in aufeinander aufbauenden Arbeitsschritten vermittelt. Fachliche Einordnung, Demonstration, angeleitete Konfiguration und selbstständige Übungen wechseln sich ab. Jeder größere Arbeitsschritt wird mit einer Prüfung des erzeugten Ergebnisses und einer kurzen technischen Dokumentation abgeschlossen.