Data Lineage
Daten transparent und nachvollziehbar
Einführung: Was ist Data Lineage (in ETL) und was sind die zwei Haupttypen?
Data Lineage (Lineage = Herkunft/Abstammung), oft auch als "Daten-GPS" bezeichnet, umfasst Methoden und Werkzeuge, die den Lebenszyklus von Daten transparent und nachvollziehbar machen. Zu diesem Zweck beschreibt das Verfahren, wie Daten erzeugt, verarbeitet, gespeichert und verwendet werden. Es handelt sich um eine Disziplin innerhalb des Metadaten-Managements, die oft auch eine Funktion von Datenkatalogen darstellt. Data-Lineage-Tools ermöglichen es Nutzern, den Kontext der Daten zu verstehen, den Überblick über ihre Daten zu behalten und sicherzustellen, dass sie zuverlässig und vertrauenswürdig sind.
Data Lineage in ETL-Prozessen (Extract, Transform, Load) beschreibt den Lebenszyklus von Daten in einem ETL-Prozess mit Informationen zum Ursprung der Daten, den Verarbeitungsschritten, den Speicherorten und den Verwendungszwecken. Diese Data-Lineage-Informationen können verwendet werden, um Fehler in ETL-Prozessen zu identifizieren und zu beheben.
Man unterscheidet zudem zwei Haupttypen von Data Lineage in ETL-Prozessen:
- Technische Data Lineage: Technische Data Lineage beschreibt den physischen Fluss von Daten durch einen ETL-Prozess. Sie erfasst Informationen wie die Datenquellen, die Transformationsschritte und die Zielspeicherorte.
- Geschäftliche Data Lineage: Geschäftliche Data Lineage beschreibt den logischen Fluss von Daten durch einen ETL-Prozess. Sie erfasst Informationen wie die Geschäftsprozesse, die Datenelemente und die Verwendungszwecke.
Hauptvorteile für Unternehmen: Was bringt Data Lineage?
Data Lineage kann in Unternehmen zu einer Reihe von Verbesserungen führen, etwa zu einer höheren Datenqualität, da sich per Data Lineage Fehler und Inkonsistenzen in Daten identifizieren und beheben lassen. Zudem lässt sich der Zugriff auf Daten besser überwachen und kontrollieren, was zu einer erhöhten Datensicherheit führt. Auch ist es per Data Lineage einfacher, gesetzliche Vorschriften zum Umgang mit Daten zu erfüllen. Durch eine zuverlässigere Datengrundlage leistet Data Lineage außerdem einen Beitrag zu fundierteren Entscheidungen und unterstützt Unternehmen dabei, eine datengetriebene Kultur zu entwickeln sowie Vertrauen in ihre Daten zu haben.
Hauptfunktionen: Was leistet Data Lineage und was ist der Unterschied zu Data Flow?
Data-Lineage-Tools visualisieren, wie Daten durch verschiedene Systeme fließen und sich auf abgeleitete Datenelemente auswirken. Dadurch können Unternehmen den Lebenszyklus von Daten von der Entstehung bis zur Nutzung verfolgen. Somit dienen sie auch als Dokumentationswerkzeug für alle, die Daten erstellen, verwalten und analysieren. In der Regel können Data-Lineage-Tools Daten aus einer Vielzahl von Quellen, wie Datenbanken, Anwendungen und Cloud-Diensten, automatisch erfassen. Oftmals ermöglichen sie auch eine Datenqualitätsprüfung, um Fehler und Inkonsistenzen aufzuspüren.
Data Lineage und Data Flow sind zwei ähnliche Konzepte, die sich jedoch in einigen wichtigen Punkten unterscheiden. Data Lineage beschreibt, wie Daten erzeugt, verarbeitet, gespeichert und verwendet werden. Data Flow hingegen beschreibt ausschließlich den physischen Fluss von Daten durch ein System (siehe auch „technische Data Lineage“).
Allgemeine Herausforderungen: Worauf ist bei Data Lineage zu achten?
Eine mögliche Herausforderung von Data Lineage kann das Datenvolumen sein, da die steigenden Datenmengen in Unternehmen die Datenverfolgung erschweren Zudem ist eine hohe Datenqualität erforderlich, da ungenaue oder unvollständige Daten die Datenverfolgung beeinträchtigen.
Technologische Herausforderungen: Auf was ist aus IT-Sicht zu achten?
IT-seitig gilt es rund um Data Lineage vor allem die folgenden drei Aspekte sicherzustellen:
- Integration: Data Lineage-Tools müssen in bestehende IT-Systeme integriert werden.
- Datenqualität: Die IT-Abteilung muss dafür sorgen, dass die Daten, die für die Datenverfolgung verwendet werden, von ausreichender Qualität sind.
- Sicherheit: Die Datenverfolgungssysteme sind vor unbefugtem Zugriff zu schützen.
Einsatzbereiche in Unternehmen: Wo wird Data Lineage genutzt?
Data Lineage-Tools werden in der IT-Abteilung häufig zur Fehlerbehebung, zur Verbesserung der Datenqualität und zur Einhaltung von Vorschriften verwendet. Zudem profitieren zahlreiche Unternehmensbereiche von der verbesserten Datenqualität und Datensicherheit. So kann Data Lineage über die bessere Datenqualität die Genauigkeit von Analysen und damit auch die Genauigkeit von Entscheidungen erhöhen. Darüber hinaus unterstützt Data Lineage die Compliance und hilft dabei, gesetzliche Datenanforderungen einzuhalten.
Implementierung
Vor der Auswahl und Implementierung von Data Lineage-Tools sollte eine sorgfältige Planung erfolgen. Hier gilt es in einem ersten Schritt vor allem festzulegen, welche Daten zu verfolgen sind und welche Ziele die Datenverfolgung erreichen soll. Es gibt eine Vielzahl von Data-Lineage-Tools auf dem Markt. Bei der Auswahl sollten Unternehmen die folgenden zwei Fragen beantworten: „Welche Funktionen sind für das Unternehmen wichtig?“ und „Ist das Tool mit den bestehenden IT-Systemen kompatibel?“.
