Bewegte Logistik: Effiziente Cloud-Plattform mit Data-Mesh-Architektur
 |
Kosteneinsparungen und schnellere Prozesse durch ETL-Pipelines |
|
Effiziente Erstellung von Datenpunkten durch wiederverwendbare Terraform-Templates |
|
Schnellere Realisierung von Use Cases der Fachbereiche und verbesserte Data Governance |
Das sagen unsere Experten...
Mit der Data-Mesh-Architektur meistert unser Kunde die digitalen Herausforderungen in der Logistikbranche
„Wir haben mit der Data-Mesh-Architektur eine moderne Datenplattform realisiert, die jederzeit anschlussfähig für neue Cloud-Lösungen ist. Das verschafft unserem Kunden einen starken Hebel, um die digitalen Herausforderungen der Logistikbranche jetzt und in Zukunft zu meistern.“
Herausforderung
Verlangsamte Datenprozesse und komplexe Data Governance
Lösung
Data-Mesh-Architektur sorgt für smarte Unterteilung, flexible Anbindung und automatische Updates von Datenprodukten
Data Mesh ist ein dezentraler Ansatz für die Datenarchitektur, der sowohl die Datenqualität erhöht als auch ihre umfassende Verfügbarkeit sicherstellt. Eine Voraussetzung ist die „smarte“ Unterteilung in verschiedene Datenprodukte. Durch Analyse der Daten und Transformationsschritte gelang pmOne zunächst eine zielführende Unterteilung. Als Grundlage für jedes Datenprodukt entwickelte pmOne mit Terraform ein „Infrastructure-as-a-Code“-Template, das auf Knopfdruck und mit wenigen Parametereinstellungen alle Ressourcen in der Azure Cloud bereitstellt, die für die Entwicklung eines neuen Datenprodukts benötigt werden. Darin ist ein generisches ETL-Pipeline-Framework enthalten, das speziell für Databricks entwickelt wurde. Dieses Framework übernimmt die gesamte Verarbeitung der Daten, sodass sich die Data Engineers auf die inhaltliche Transformation der Daten konzentrieren können. Mit entsprechenden Deployment-Pipelines in DevOps war es dann möglich, den gesamten Bereitstellungsprozess für alle Datenprodukte zu steuern. Auf diese Weise lässt sich jedes beliebige Datenprodukt effizient in die Datenplattform integrieren. Ein weiterer Vorteil dieses Ansatzes: Durch die Möglichkeit der zentralen Verwaltung und Weiterentwicklung dieses Frameworks erfolgen Updates automatisch für alle Datenprodukte.
Ergebnis
Effiziente Pipelines, verbesserte Data Governance und schnelle Abbildung von Anforderungen
