Seminar Dataedo Datenquellen, Connectoren und Metadatenimport

Das Seminar behandelt die kontrollierte Aufnahme heterogener Datenquellen von der Connectorauswahl bis zur wiederholbaren Importabnahme. Im Mittelpunkt stehen reproduzierbare Vorgehensweisen, klare Qualitätskriterien und eine Umsetzung, die sich auf reale Datenlandschaften übertragen lässt.

Inhaltsübersicht

1. Lernziele
2. Zielgruppen und Rollen
3. Voraussetzungen
4. Seminarinhalte
5. Arbeitsschritt 1: Datenquellen und Connectoren auswählen
6. Arbeitsschritt 2: Metadatenimport und Scansteuerung
7. Arbeitsschritt 3: SQL Server katalogisieren und analysieren
8. Arbeitsschritt 4: Interface Tables und kontrollierte Metadatenzuführung
9. Arbeitsschritt 5: Schema Change Tracking
10. Arbeitsschritt 6: Systematische Fehlerdiagnose
11. Praxisübungen
12. Arbeitsunterlagen und Praxisartefakte

Lernziele

• Quellen nach Connectorfähigkeit und Metadatenumfang bewerten.
• Konten und Verbindungen mit minimalen Rechten vorbereiten.
• Filter und Importumfang passend zum Katalogziel konfigurieren.
• Importe anhand eines Soll-Ist-Vergleichs abnehmen.
• Nicht direkt unterstützte Quellen über strukturierte Schnittstellen einbinden.

Zielgruppen und Rollen

Data Engineering, Datenbankadministration, Plattformbetrieb, Data Catalog Administration und technische Data Stewards.

Voraussetzungen

Grundkenntnisse zu Datenbanken, Servicekonten, Netzwerkzugriff und Metadatenstrukturen.

Seminarinhalte

Die Inhalte werden in einer durchgängigen Folge aus Einordnung, Vorbereitung, Umsetzung, Kontrolle und Standardisierung bearbeitet.

Arbeitsschritt 1: Datenquellen und Connectoren auswählen

Quellsysteme nach Unterstützungsgrad, Metadatenumfang und Sicherheitsanforderungen einordnen.

1. 1. Ausgangslage klären: Quellsysteme nach Unterstützungsgrad, Metadatenumfang und Sicherheitsanforderungen einordnen.
2. 2. Vorbereitung abschließen: Quelleninventar, Eigentümer, Verbindungstyp, benötigte Treiber und Servicekonten erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Den passenden Connector wählen und eine Verbindung mit minimal erforderlichen Rechten konfigurieren.
4. 4. Ergebnis kontrollieren: Erreichbarkeit, Objektabdeckung, Namensauflösung und Fehlermeldungen systematisch prüfen.
5. 5. Vorgehen standardisieren: Eine standardisierte Onboarding-Checkliste für weitere Quellen erstellen.

Praxisaufgabe: Mehrere heterogene Quellen werden bewertet und in eine priorisierte Anschlussplanung überführt.

Arbeitsschritt 2: Metadatenimport und Scansteuerung

Technische Metadaten vollständig, wiederholbar und kontrolliert in den Katalog übernehmen.

1. 1. Ausgangslage klären: Technische Metadaten vollständig, wiederholbar und kontrolliert in den Katalog übernehmen.
2. 2. Vorbereitung abschließen: Importumfang, Filter, Objektarten, Ausschlüsse und Abnahmebedingungen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Einen initialen Import ausführen, Filter nachschärfen und einen Folgeimport vorbereiten.
4. 4. Ergebnis kontrollieren: Objektanzahl, Hierarchie, Datentypen, Beziehungen und Fehlermeldungen gegen die Quelle prüfen.
5. 5. Vorgehen standardisieren: Importparameter, Prüfprotokoll und Verantwortlichkeit als wiederverwendbare Vorlage sichern.

Praxisaufgabe: Ein Metadatenimport wird mit Soll-Ist-Abgleich und dokumentierter Fehlerbehandlung durchgeführt.

Arbeitsschritt 3: SQL Server katalogisieren und analysieren

Datenbanken, Schemas, Tabellen, Prozeduren und Beziehungen vollständig in den Katalog übernehmen.

1. 1. Ausgangslage klären: Datenbanken, Schemas, Tabellen, Prozeduren und Beziehungen vollständig in den Katalog übernehmen.
2. 2. Vorbereitung abschließen: Instanzen, Datenbanken, Konten, Verschlüsselung, Filter und relevante Objektarten erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Connector konfigurieren, Metadaten importieren und technische Beziehungen aufbauen.
4. 4. Ergebnis kontrollieren: Objektumfang, Datentypen, Abhängigkeiten, Prozedurcode und fehlende Rechte prüfen.
5. 5. Vorgehen standardisieren: Standardprofil für weitere SQL-Server-Quellen und regelmäßige Aktualisierung definieren.

Praxisaufgabe: Eine Beispielinstanz wird katalogisiert und bis zu ausgewählten Abhängigkeiten validiert.

Arbeitsschritt 4: Interface Tables und kontrollierte Metadatenzuführung

Metadaten aus nicht direkt angebundenen Systemen über eine strukturierte Schnittstelle zuführen.

1. 1. Ausgangslage klären: Metadaten aus nicht direkt angebundenen Systemen über eine strukturierte Schnittstelle zuführen.
2. 2. Vorbereitung abschließen: Quellformat, Zuordnung, Pflichtfelder, Schlüssel und Ladefrequenz festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Beispieldaten aufbereiten, in die Schnittstellenstruktur laden und dem Zielobjekt zuordnen.
4. 4. Ergebnis kontrollieren: Schlüsselstabilität, Dubletten, fehlende Werte und Aktualisierungsverhalten prüfen.
5. 5. Vorgehen standardisieren: Ladevertrag, Validierung und Fehlerablage als wiederholbaren Prozess dokumentieren.

Praxisaufgabe: Ein Fremdsystem ohne Standardconnector wird über eine vorbereitete Metadatenlieferung integriert.

Arbeitsschritt 5: Schema Change Tracking

Strukturänderungen zwischen Metadatenständen erkennen, bewerten und nachvollziehbar behandeln.

1. 1. Ausgangslage klären: Strukturänderungen zwischen Metadatenständen erkennen, bewerten und nachvollziehbar behandeln.
2. 2. Vorbereitung abschließen: Vergleichsintervall, relevante Objektarten, Kritikalität und zuständige Rollen festlegen.
3. 3. Konfiguration und Umsetzung durchführen: Zwei Scans ausführen, Änderungen vergleichen und neue, geänderte sowie entfernte Objekte klassifizieren.
4. 4. Ergebnis kontrollieren: Falsch positive Befunde, abhängige Dokumentation und mögliche Lineage-Auswirkungen prüfen.
5. 5. Vorgehen standardisieren: Änderungsbericht, Freigabe und Nachpflege als Governance-Ablauf standardisieren.

Praxisaufgabe: Eine geplante und eine unerwartete Schemaänderung werden erkannt und getrennt bearbeitet.

Arbeitsschritt 6: Systematische Fehlerdiagnose

Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.

1. 1. Ausgangslage klären: Störungen reproduzierbar eingrenzen und mit verwertbaren Diagnoseinformationen bearbeiten.
2. 2. Vorbereitung abschließen: Fehlerbild, Zeitpunkt, betroffene Komponente, letzte Änderung und Reproduktionsschritte erfassen.
3. 3. Konfiguration und Umsetzung durchführen: Protokolle sammeln, Abhängigkeiten prüfen, Hypothesen priorisieren und kontrollierte Tests durchführen.
4. 4. Ergebnis kontrollieren: Ursache, Nebenwirkung und Wirksamkeit der Korrektur durch Wiederholung des Testfalls bestätigen.
5. 5. Vorgehen standardisieren: Diagnoseprotokoll, Wissenseintrag und Präventionsmaßnahme dokumentieren.

Praxisaufgabe: Mehrere typische Fehlerbilder werden mit einer einheitlichen Diagnosemethode untersucht.

Praxisübungen

1. Übung 1: Priorisierung eines heterogenen Quelleninventars.
2. Übung 2: Konfiguration und Abnahme eines vollständigen Metadatenimports.
3. Übung 3: Anbindung einer Quelle über Interface Tables.
4. Übung 4: Bearbeitung eines Importfehlers mit Diagnoseprotokoll.

Arbeitsunterlagen und Praxisartefakte

Im Seminar entstehen wiederverwendbare Arbeitsunterlagen für Planung, Umsetzung, Qualitätssicherung und Betrieb.

• Quelleninventar
• Connector-Entscheidungsmatrix
• Importvorlage
• Abnahmeprotokoll
• Fehlerkatalog