Bewegte Logistik: Effiziente Cloud-Plattform mit Data-Mesh-Architektur » pmOne
on on
Blog

Bewegte Logistik: Effiziente Cloud-Plattform mit Data-Mesh-Architektur

Ein Innovationsführer aus dem Logistikbereich plante, seine bisherige Cloud-Lösung durch eine zeitgemäße digitale Plattform abzulösen. Das Ziel: geringere Kosten, schnellere Prozesse und compliance-konforme Datenhandhabung. pmOne erhielt den Auftrag, die Bestandslösung zu analysieren und in eine neue Architektur zu überführen. Hierbei bewährte sich der Data-Mesh-Ansatz, der sich zunehmend als zeitgemäße Lösung in Unternehmen durchsetzt.
data-science_mobility-logo
Kosteneinsparungen und schnellere Prozesse durch ETL-Pipelines
Effiziente Erstellung von Datenpunkten durch wiederverwendbare Terraform-Templates
Schnellere Realisierung von Use Cases der Fachbereiche und verbesserte Data Governance

Das sagen unsere Experten...

Mit der Data-Mesh-Architektur meistert unser Kunde die digitalen Herausforderungen in der Logistikbranche

Anführungsstriche 02

„Wir haben mit der Data-Mesh-Architektur eine moderne Datenplattform realisiert, die jederzeit anschlussfähig für neue Cloud-Lösungen ist. Das verschafft unserem Kunden einen starken Hebel, um die digitalen Herausforderungen der Logistikbranche jetzt und in Zukunft zu meistern.“

Dr. Tobias Seifarth

Data Engineer| pmOne AG

Anführungsstriche-01

Herausforderung

Verlangsamte Datenprozesse und komplexe Data Governance

Mit einem Flächenumsatz von 8,5 Millionen Quadratmetern allein in Deutschland* erwies sich die Logistikbranche im Jahr 2022 erneut als Rekordmarkt. Vor diesem Hintergrund sah ein deutscher Logistikdienstleister den Bedarf, eine zeitgemäße Cloud-Plattform einzuführen, die den zukünftigen Herausforderungen des Logistikmarktes gewachsen ist. Die bisherige Cloud-Lösung hatte sich zunehmend als großer Kostenfaktor erwiesen. Vor allem die zugrundeliegenden ETL-Pipelines (ETL = Extract, Load, Transform) sorgten für langsame Datenprozesse. Zudem waren die Daten in der Lösung nicht compliance-konform getrennt – ein hohes Risiko bei der Data Governance war die Folge. Die zentrale Aufgabe von pmOne bestand darin, eine neue Cloud-Architektur zu entwickeln, die die Data-Governance besser abbildet und die flexibel erweiterbar ist. Bei der Analyse zeigte sich, dass neben der „Datenvermengung“ in der ETL-Pipeline zahlreiche Datenprodukte – so lautet die Bezeichnung von qualitätsgesicherte Datensätzen im Rahmen des Data-Mesh-Ansatzes – sich ähneln. Die Folge: Ineffizienz.

Lösung

Data-Mesh-Architektur sorgt für smarte Unterteilung, flexible Anbindung und automatische Updates von Datenprodukten

Data Mesh ist ein dezentraler Ansatz für die Datenarchitektur, der sowohl die Datenqualität erhöht als auch ihre umfassende Verfügbarkeit sicherstellt. Eine Voraussetzung ist die „smarte“ Unterteilung in verschiedene Datenprodukte. Durch Analyse der Daten und Transformationsschritte gelang pmOne zunächst eine zielführende Unterteilung. Als Grundlage für jedes Datenprodukt entwickelte pmOne mit Terraform ein „Infrastructure-as-a-Code“-Template, das auf Knopfdruck und mit wenigen Parametereinstellungen alle Ressourcen in der Azure Cloud bereitstellt, die für die Entwicklung eines neuen Datenprodukts benötigt werden. Darin ist ein generisches ETL-Pipeline-Framework enthalten, das speziell für Databricks entwickelt wurde. Dieses Framework übernimmt die gesamte Verarbeitung der Daten, sodass sich die Data Engineers auf die inhaltliche Transformation der Daten konzentrieren können. Mit entsprechenden Deployment-Pipelines in DevOps war es dann möglich, den gesamten Bereitstellungsprozess für alle Datenprodukte zu steuern. Auf diese Weise lässt sich jedes beliebige Datenprodukt effizient in die Datenplattform integrieren. Ein weiterer Vorteil dieses Ansatzes: Durch die Möglichkeit der zentralen Verwaltung und Weiterentwicklung dieses Frameworks erfolgen Updates automatisch für alle Datenprodukte.

Ergebnis

Effiziente Pipelines, verbesserte Data Governance und schnelle Abbildung von Anforderungen

Mit diesen Voraussetzungen ließ sich die bisherige Cloud-Lösung reibungslos in die neue Architektur transformieren. Zudem erfolgte die Implementierung der bisherigen ETL-Pipelines deutlich kostengünstiger und schneller. Die neue Data-Mesh-Architektur ist hierbei zugleich strukturierter und flexibler. Durch den dezentralen Ansatz verschiedener Datenprodukte können die Entwicklerteams des Unternehmens ab sofort ihre Lösungen unabhängig voneinander bereitstellen. Somit lassen sich neue Geschäftsanforderungen deutlich schneller und effizienter in Reporting- oder AI- Use Cases realisieren. Die Unterteilung beschränkt hierbei den Datenzugriff von vornherein auf einige wenige Personen. Zudem erfolgt die Umsetzung von Data-Governance-Strategien deutlich einfacher und übersichtlicher.

Ihr Ansprechpartner

Sprechen Sie mich gerne an.

Dr. Tobias Seifarth

Data Engineer

pmOne AG

 kontakt-dm@pmone.com

*“ zeigt erforderliche Felder an

Die mit *-markierten Felder sind Pflichtfelder
Dieses Feld dient zur Validierung und sollte nicht verändert werden.

Passende Lösungen zum Thema

Data Warehouse

Wir geben Ihnen individuelle Empfehlungen und Konzepte an die Hand, wie Sie Ihr Data Warehouse effizient und kostenreduziert im Unternehmen nutzen. Denn nur wenn Sie wissen, wo Daten entstehen, können Sie die Datenqualität gewährleisten und zielgerichtet mit Ihren Daten arbeiten.

Modern BI

Mit unseren Lösungen für Modern BI behalten Sie den Überblick über alles, was im Unternehmen passiert - und können fundierte Entscheidungen treffen: Die Produktion lässt sich KPI-orientiert steuern, Marketing&Sales verstehen ihre Kunden und Märkte, Einkauf&Logistik haben Einblick in die gesamte Wertschöpfungskette und Contolling & Finance erhalten alle Informationen, um die Weichen für die Zukunft zu stellen.

Webseminare zum Thema

27. Februar 2024 | 10:00 - 11:00

Video: BEPS Pillar II in der Praxis

3
ESG Geht Auch Pragmatisch | Key Visual | grünes Windrad
23. Januar 2024 | 10:00 - 11:00

Video: ESG geht auch pragmatisch

3
12. Dezember 2023 | 10:00 - 11:00

Video: Power BI on CCH® Tagetik

3

Trainings zum Thema

Menü