Neben der reinen Cloud-Migration bestand die zentrale Aufgabe von pmOne darin, eine übergreifende Zugriffschicht auf den Data Lake zu gewährleisten. Hierzu kam Azure Synapse Analytics zum Einsatz, das einen Zugang für andere Systeme, Berichte und Nutzende ermöglicht. Dabei zeigten sich Lücken, was die fehlerfreie Übernahme von Daten aus Vorsystemen angeht. Hier ist standardmäßig das Parquet-Format vorgesehen, das für die Verarbeitung komplexer Daten in großen Mengen optimiert ist und eine effiziente Datenkomprimierung ermöglicht – ideale Voraussetzungen für die Datenspeicherung in Data Lakes. Die inhomogene Struktur führte zu Fehlinterpretationen, etwa, wenn Datenfelder unterschiedliche Formate aufwiesen oder Zeichenmengen überschritten wurden. Aufgrund der zentralen Bedeutung der Datentransformation für das Gesamtsystem galt es, hier eine optimale Lösung für alle Fehlerquellen zu finden.

Die erforderliche Konvertierung der Daten aus den Vorsystemen erfolgt in Databricks. Dabei handelt es sich um eine Lösung, die Unternehmen hilft, Innovationen zu beschleunigen, indem sie Datenteams mit einer offenen, skalierbaren Plattform für alle datengesteuerten Anwendungsfälle zusammenführt. Die Aufgabe bestand nun darin, per Databricks eine passende Datenkonvertierungslogik zu etablieren, die auf der erforderlichen Zielstruktur basiert. Dabei greift Databricks auf umfangreiche Metadaten zu, um die gewünschten Transformationen automatisch durchzuführen. Einziger Haken: Sobald es um große Datenmengen ging, traten zunächst Performance-Einbußen auf. Mit einem genauen Blick auf die entsprechenden „Zeit-Treiber“ gelang es den ExpertInnen von pmOne, Schritt für Schritt eine zentrale Mechanik aufzubauen, die alle Konvertierungsprobleme löste, ohne große Verzögerungen auszulösen. So stellte das Team sicher, dass Anwendungen, Berichten und Nutzenden über Azure Synapse Analytics ein konsistenter und fehlerfreier Zugriff auf den Data Lake über die Cloud-Migration in der Microsoft Azure Cloud jederzeit ermöglicht wird.

Mit der Implementierung der passenden Konvertierungslogik in Databricks und der Bereitstellung des Zugriffs über Azure Synapse Analytics stand der umfassenden und übergreifenden Nutzung des Data Lakes in der Microsoft Azure Cloud durch die verschiedenen Systeme und Nutzende nichts mehr im Wege und die Cloudtransformation konnte erfolgreich durchgeführt werden. Damit gelang dem Unternehmen ein entscheidender Schritt in Richtung seiner Strategie zu einer globalen Cloud-Migration – mit entsprechenden Kosteneinsparungen und Effizienzgewinnen.