Data-Mesh-Architektur

on on on on on on

Data Mesh

soziotechnischer dezentraler Ansatz zur Überwindung von Datensilos

Einführung: Was ist das Data Mesh?

In den letzten Jahren ist die Menge an Daten, die Unternehmen generieren, exponentiell gewachsen. Dies stellt Unternehmen vor die Herausforderung, diese Daten effizient und effektiv zu nutzen. Traditionelle Datenarchitekturen, wie Data Warehouses, sind für diese Aufgabe oftmals nicht mehr ausreichend.

Bei Data Mesh handelt es sich um einen soziotechnischen Ansatz, der dieser Herausforderung begegnet, indem er versucht, die traditionellen zentralisierten Datenmonolithen zu überwinden. Hierzu delegiert es die Verantwortung für Daten dezentral in cross-funktionale Fachdomänen-Teams, anstatt sie ausschließlich IT-Datenteams zu übertragen. Die Fachdomänen-Teams sind hierbei für die Qualität, Beschreibung und die Bereitstellung ihrer Daten verantwortlich, wobei gemeinsame Standards und Schnittstellen einzuhalten sind. Die so qualitätsgesicherten und bereitgestellten Daten werden im Rahmen des Data-Mesh-Ansatzes als Datenprodukte bezeichnet.

Ziel des Data-Mesh-Konzepts ist es, die Effektivität und Flexibilität der Datenverwaltung zu erhöhen und die Umsetzung und Skalierbarkeit datengetriebener Use Cases zu vereinfachen.

Hauptvorteile: Was bringt die Umsetzung des Data-Mesh-Konzepts den Unternehmen?

Eine Data-Mesh-Architektur ist zugleich flexibler und strukturierter als konventionelle Lösungen. Entwicklerteams können ihre Lösungen unabhängig voneinander bereitstellen und neue Geschäftsanforderungen deutlich schneller und effizienter in entsprechende Use Cases überführen. Durch die Unterteilung ist der Zugriff von vornherein auf wenige Personen beschränkt und eine Umsetzung von Data-Governance-Strategien lässt sich in der Data-Mesh-Architektur einfacher und übersichtlicher umsetzen. Im Ergebnis profitieren Unternehmen von:

Verbesserter Datenqualität: Die Daten werden in den jeweiligen Fachbereichen erstellt und gepflegt, wodurch die Datenqualität
Optimierte Datennutzung: Die Fachbereiche haben direkten Zugriff auf ihre Daten, wodurch sie diese effizienter nutzen können.
Höhere Flexibilität: Data Mesh ist eine flexible Architektur, die sich an die sich ändernden Bedürfnisse der Unternehmen anpasst.

Hauptfunktionen: Was sind die Grundprinzipien des Data Mesh?

Das Data Mesh basiert unter anderem auf vier Grundprinzipien:

„Domain Ownership“ (Domänenorientierte Datenverantwortung): Hier geht es um die Dezentralisierung der Datenarchitektur, indem man die Datenverantwortung auf cross-funktionale Teams verteilt, die sich auf spezifische Geschäftsbereiche (Domänen) konzentrieren. Die Daten werden nicht zentral in einem Data Warehouse gespeichert, sondern dezentral in den jeweiligen Fachbereichen, von wo sie jedoch übergreifend verfügbar gemacht werden.
„Data as a Product“ (Datenprodukte): Daten sind als hochwertige Produkte zu behandeln, wobei die Fachbereichs-Teams für die Entwicklung und Pflege dieser Datenprodukte verantwortlich sind, um sicherzustellen, dass sie den Anforderungen der Datenkonsumenten entsprechen.
„Self-Service Data Platform“: Die Infrastruktur sollte so gestaltet sein, dass Teams ihre Datenprodukte autonom entwickeln, betreiben und pflegen können, ohne sich auf zentrale Daten- oder IT-Teams verlassen zu müssen.
„Federated Computational Governance“ (Föderale Data Governance): Es soll eine zentrale Governance-Struktur für die Datenqualität und -sicherheit Dieses Prinzip berücksichtigt, dass mit der Dezentralisierung auch eine gewisse Standardisierung, Koordination und Governance durch ein zentrales Gremium erforderlich ist, um sicherzustellen, dass die Datenprodukte den Unternehmensrichtlinien und -standards entsprechen.

Die Prinzipien sollen Unternehmen dabei helfen, die Herausforderungen traditioneller zentralisierter Datenarchitekturen zu überwinden und eine flexible, dezentralisierte Dateninfrastruktur zu schaffen, die die schnelle Entwicklung und Bereitstellung von Datenprodukten ermöglicht.

Allgemeine Herausforderungen: Worauf gilt es beim Data Mesh zu achten?

Für das Data Mesh gilt es, eine neue Kultur zu etablieren, in der die Fachbereiche für die Verwaltung und Nutzung ihrer Daten selbst verantwortlich sind. Gegen die Einführung dieser Kultur können Widerstände entstehen.

Technologische Herausforderungen: Was ist aus IT-Sicht für das Data Mesh zu tun?

Das Data Mesh erfordert eine neue Architektur und Technologien, die das Prinzip der Dezentralisierung, Self-Service-Ansätze, Management von Datenprodukten und föderale Data Governance unterstützen. Um das Konzept in Unternehmen umzusetzen, müssen zudem entsprechende (Cloud-)Technologien und agile Arbeitsmethoden zum Einsatz kommen. Zudem sind die erforderliche Datenqualität und -Sicherheit technologisch zu gewährleisten.

Einsatzbereiche: Wo kommt das Data Mesh zum Einsatz?

Data Mesh kann in allen Unternehmen eingesetzt werden, die mit großen Datenmengen arbeiten. Besonders geeignet sind Unternehmen, die eine große Anzahl von Fachbereichen vorweisen und die Daten dezentral verwalten sowie flexibel nutzen möchten. Durch den dezentralen Ansatz sind neben Datenteams auch Mitarbeiter:innen aus den Fachbereichen in das Datenmanagement involviert.

Technologien: Welche führenden Softwareanbieter gibt es in diesem Bereich?

Das Data-Mesh-Konzept ist zum einen recht neu und stellt zum anderen einen umfassenden soziotechnischen Ansatz dar, sodass es aktuell (Stand 2023) keine spezifischen Softwaretools vorliegen. Allerdings gibt es All-in-One-Lösungen wie beispielsweise Microsoft Fabric, die die Umsetzung der Data-Mesh-Prinzipien ermöglichen.

Implementierung

Die Implementierung des Data-Mesh-Ansatzes erfordert eine gut durchdachte IT-Strategie und die Koordination zwischen verschiedenen Teams im Unternehmen. Zudem ist die technische Infrastruktur vorzubereiten, u.a. durch die Auswahl einer geeigneten Plattform, die die Data-Mesh-Prinzipien unterstützt. Darüber muss die vorhandene Infrastruktur die Anforderungen des Data Mesh-Ansatzes erfüllen, einschließlich der notwendigen Netzwerk-, Speicher- und Rechenkapazitäten.

Die Data-Mesh-Architektur erfordert außerdem die Etablierung einer klaren Datendefinition, eines effektiven Metadatenmanagementsystems sowie von Datenqualitätsmanagement-Praktiken. Weitere Anforderungen sind die Entwicklung von Datenpipelines zur effizienten Datenintegration, Transformation und Bereitstellung sowie Self-Service-Tools und -Plattformen, um den Datenzugriff für verschiedene Stakeholder zu erleichtern. Zudem gilt es, cross-funktionale Teams zu bilden, mit klaren Verantwortlichkeiten für die Entwicklung, Verwaltung und Nutzung von Datenprodukten.

Durch die Berücksichtigung dieser Aspekte und die enge Zusammenarbeit zwischen IT-Teams, Datenexperten und Geschäftsstakeholdern können Unternehmen den Data Mesh-Ansatz effektiv implementieren und die Vorteile einer dezentralisierten Datenarchitektur nutzen.