Modern Data Warehouse
21.04.2020 | D. Müller MDWH Data Warehouse Cloud Snowflake Azure
Was unterscheidet ein Modern Data Warehouse von einem traditionellen DWH, welche Vorteile bietet es und was sind erste Schritte in Richtung Modernisiierung? D. Müller beschreibt in diesem Blogbeitrag was ein Modern Data Warehouse von einem traditionellen DWH unterscheidet und wie gelingt es, die unterschiedlichen Anforderungen miteinander zu verbinden.
Der Wettbewerb um Kunden, Umsätze und Marktanteile wird mit wachsender Intensität und Geschwindigkeit geführt. In sämtlichen Unternehmensbereichen werden Entscheidungen für eine effektive als auch effiziente Ausführung der Geschäftsprozesse erwartet, die zu greifbaren Vorteilen in der betrieblichen Leistungserbringung führen sollen. Obwohl für entsprechende gute Entscheidungen eine qualitativ hochwertige Datengrundlage sowie eine hohe Verfügbarkeit und Performanz der Systeme zur Verfügung stehen muss, klaffen diesbezüglich in heutigen Organisationen oftmals Anspruch und Wirklichkeit auseinander.
In den vergangenen Jahren wurde nicht nur aus diesem Grund das Ende eine zentralen Enterprise Data Warehouse immer wieder vorhergesagt. Zunehmend ist zu beobachten, dass traditionelle DWHs von den kontinuierlich wachsenden Datenmengen oder Technologien wie dem Internet of Things zunehmend überfordert sind. Dennoch bleibt die Idee von einer konsolidierten und harmonisierten Datenhaltung weiterhin attraktiv. Die zentrale Bereitstellung von qualitativ aufbereiteten Daten erleichtert die Umsetzung von Analysen und Berichten, sodass auch Fachbereichen der Zugang zu Informationen einfach möglich ist. Daher ist es eine logische Konsequenz zu überlegen, wie das traditionelle Data Warehouse neu gedacht und modernisiert werden kann.
Vor allem die großen Cloud Plattformen forcieren diesen Ansatz, aber auch moderne Anbieter von Cloud DWHs, deren Technologie von Grund auf für die Cloud konzipiert wurde und deren Vorteile nutzt. Aber was unterscheidet ein Modern Data Warehouse von einem traditionellen DWH? Und wie gelingt es, die unterschiedlichen Anforderungen miteinander zu verbinden.
Traditionelles DWH vs. Modern Data Warehouse
Ein weiterer Unterschied zwischen traditionellem DWH und Modern DWH (MDWH) betrifft die Datenhaltung. Beim DWH werden Daten durchgängig tabellarisch in einer relationalen Datenbank abgelegt. Dieses Vorgehen eignet für strukturierte Daten wie Tabellen, aber nicht für semi-strukturierte oder unstrukturierte Daten, weshalb in der Vergangenheit zusätzlich zum Data Warehouse mit dem Data Lake eine weitere Datenplattform eingeführt wurde, die sich für die Speicherung dieser Daten eignet.
Das Ziel war es jedoch niemals, die Datenlandschaft in mehrere unterschiedlichen Systeme aufzuteilen, sondern das Ziel bestand darin, eine zentrale Plattform für alle Unternehmensdaten bereitzustellen. Diesen Gedanken folgt ein Modern Data Warehouse, indem es Data Warehouse und Data Lake wieder vereint und die Datenabfrage über SQL standardisiert und vereinfacht.
Exemplarisch ergibt sich dann der folgende Aufbau eines Modern Data Warehouse mit Snowflake on Azure. Zusätzlich wurde in dieser Architektur eine Datenvirtualisierungsschicht integriert, die je nach Aufgabenstellung und Zielsetzung zusätzliche Vorteile bietet. Abhängig von der Aufgabenstellung kann die Architektur generell mit entsprechenden Cloud-Diensten und Technologien beliebig modifiziert werden.
Abb. 1: Exemplarische Architektur für ein Modern Data Warehouse
Anwendungsfälle für ein Modern Data Warehouse
Migration zum Modern Data Warehouse
Gegebenenfalls existiert auch schon ein Big-Data-Cluster lokal im Unternehmen. Solche Lösungen, etwa auf Basis von Hadoop, sind jedoch aufwändig in Betrieb und Wartung und relativ teuer. Daher ist ein Umzug in die Cloud im Regelfall empfehlenswert. Gleiches gilt, wenn der limitierte Speicher und die begrenzte Rechenleistung der On-Premise-Umgebung an ihre Grenzen stoßen.
Den Ausgangspunkt für eine erfolgreiche Migration eines Modern Data Warehouse markiert das zugrundeliegende Konzept, welches im Rahmen eines initialen Workshops und anhand eines konkreten Anwendungsfalls ausgearbeitet werden sollte. Ergebnis des Workshops sollte ein dokumentiertes Umsetzungskonzept für das Modern Data Warehouse sein, das für die Erprobung in ein Data Lab übergehen kann. In dieser Laborumgebung können durch schnelle Iterationszyklen lauffähige Ergebnisse produziert (Prototyping), um den praktischen Nutzen anhand des ausgewählten Anwendungsfalls beurteilen und einschätzen zu können. Die zentralen Funktionen des Data Labs besteht dabei in der Identifikation der erforderlichen Datenquellen und Schnittstellen, der Beurteilung der Datenqualität, der Entwicklung eines Architekturprototyps sowie der Bewertung der Machbarkeit des ausgewählten Use Cases.
Ein Anwendungsfall, der eine erfolgsversprechende Bewertung erhalten hat, mündet schließlich in einer projektierten Umsetzung im Rahmen der Data Factory, in der es um die detaillierte Ausarbeitung des letztendlichen MDWH-Systems, dessen Integration in Ihre produktive Systemumgebung sowie um die Einbettung in die entsprechenden Geschäftsprozesse geht. Unsere Projekterfahrung zeigt, dass dieses Vorgehen schnelle und fundierte Ergebnisse liefert, da Durchlaufzeiten und Projektrisiken minimiert werden.
Abb. 2: Methodisches Vorgehen zur Implementierung von MDWH-Systemen - von der konzeptuellen Idee bis zum produktiven Nutzen
Eine umfangreiche Einführung in das Konzept eines Modern Data Warehouse erhalten Sie in unserem Whitepaper „Modern Data Warehouse“ oder Sie buchen eine kostenlosen Beratungstermin mit einem unserer Experten, der mit Ihnen anhand Ihrer individuellen Anforderungen die Potentiale eines Modern Data Warehouse bespricht.