Modern Data Warehouse

21.4.2020

 

Dirk Müller beschreibt in diesem Blogbeitrag was ein Modern Data Warehouse von einem traditionellen DWH unterscheidet und wie gelingt es, die unterschiedlichen Anforderungen miteinander zu verbinden.

 

Der Wettbewerb um Kunden, Umsätze und Marktanteile wird mit wachsender Intensität und Geschwindigkeit geführt. In sämtlichen Unternehmensbereichen werden Entscheidungen für eine effektive als auch effiziente Ausführung der Geschäftsprozesse erwartet, die zu greifbaren Vorteilen in der betrieblichen Leistungserbringung führen sollen. Obwohl für entsprechende gute Entscheidungen eine qualitativ hochwertige Datengrundlage sowie eine hohe Verfügbarkeit und Performanz der Systeme zur Verfügung stehen muss, klaffen diesbezüglich in heutigen Organisationen oftmals Anspruch und Wirklichkeit auseinander.

 

In den vergangenen Jahren wurde nicht nur aus diesem Grund das Ende eine zentralen Enterprise Data Warehouse immer wieder vorhergesagt. Zunehmend ist zu beobachten, dass traditionelle DWHs von den kontinuierlich wachsenden Datenmengen oder Technologien wie dem Internet of Things zunehmend überfordert sind. Dennoch bleibt die Idee von einer konsolidierten und harmonisierten Datenhaltung weiterhin attraktiv. Die zentrale Bereitstellung von qualitativ aufbereiteten Daten erleichtert die Umsetzung von Analysen und Berichten, sodass auch Fachbereichen der Zugang zu Informationen einfach möglich ist. Daher ist es eine logische Konsequenz zu überlegen, wie das traditionelle Data Warehouse neu gedacht und modernisiert werden kann.

 

Vor allem die großen Cloud Plattformen forcieren diesen Ansatz, aber auch moderne Anbieter von Cloud DWHs, deren Technologie von Grund auf für die Cloud konzipiert wurde und deren Vorteile nutzt. Aber was unterscheidet ein Modern Data Warehouse von einem traditionellen DWH? Und wie gelingt es, die unterschiedlichen Anforderungen miteinander zu verbinden

Traditionelles DWH vs. Modern Data Warehouse

Das traditionelle Data Warehouse findet man üblicherweise innerhalb einer Infrastruktur, die von Unternehmen kontrolliert und verwaltet wird, d.h. On-Premise im eigenen Rechenzentrum. Speicher und Rechenleistung sind somit auf absehbare Zeit festgelegt und orientieren sich an den Anforderungen, die zu Spitzenzeiten anfallen. Dementsprechende unflexibel verhalten sich diese Systeme bei neuen und schnell wechselnden Anforderungen. Eine Erweiterung der Ressourcen und Anpassung and diese Anforderungen ist mit einigen Zeitaufwand und Kosten verbunden.

 

Im Unterschied dazu nutzt ein Modern Data Warehouse die Vorteile der Cloud. Aktuell benötigte Ressourcen und Dienste können nach Bedarf in Anspruch genommen und dann auch wieder zurückgefahren werden. Zusätzlich sind Speicher und Berechnungen beim Modern Data Warehouse voneinander getrennt, sodass diese Ressourcen unabhängig voneinander skaliert werden können, was speziell im Kontext von Big Data von Vorteil sein kann. Ein Modern Data Warehouse ist dadurch insgesamt wesentlich flexibler und skalierbarer als ein traditionelles DWH.

 

Ein weiterer Unterschied zwischen traditionellem DWH und Modern DWH (MDWH) betrifft die Datenhaltung. Beim DWH werden Daten durchgängig tabellarisch in einer relationalen Datenbank abgelegt. Dieses Vorgehen eignet für strukturierte Daten wie Tabellen, aber nicht für semi-strukturierte oder unstrukturierte Daten, weshalb in der Vergangenheit zusätzlich zum Data Warehouse  mit dem Data Lake eine weitere Datenplattform eingeführt wurde, die sich für die Speicherung dieser Daten eignet.

 

Das Ziel war es jedoch niemals, die Datenlandschaft in mehrere unterschiedlichen Systeme aufzuteilen, sondern das Ziel bestand darin, eine zentrale Plattform für alle Unternehmensdaten bereitzustellen. Diesen Gedanken folgt ein Modern Data Warehouse, indem es Data Warehouse und Data Lake wieder vereint und die Datenabfrage über SQL standardisiert und vereinfacht.

 

Exemplarisch ergibt sich dann der folgende Aufbau eines Modern Data Warehouse mit Snowflake on Azure. Zusätzlich wurde in dieser Architektur eine Datenvirtualisierungsschicht integriert, die je nach Aufgabenstellung und Zielsetzung zusätzliche Vorteile bietet. Abhängig von der Aufgabenstellung kann die Architektur generell mit entsprechenden Cloud-Diensten und Technologien beliebig modifiziert werden.

 

Abb. 1: Exemplarische Architektur für ein Modern Data Warehouse

Zusammengefasst ermöglicht ein Modern Data Warehouse durch die Erneuerung der Architektur und Infrastruktur die Etablierung einer funktionierenden Analytics-Plattform und kann damit einen messbaren Wertbeitrag zu den Unternehmenszielen darstellen. Ein MDWH kann die Anforderungen erfüllen, die sich aus der Digitalen Transformation ergeben und mit denen Verantwortliche der Unternehmens- und IT-Führung regelmäßig konfrontiert werden. Zusätzlich spricht das Kostenargument und die flexible Skalierbarkeit für ein Modern Data Warehouse.

Anwendungsfälle für ein Modern Data Warehouse

Entsprechend vielfältig sind dann auch die Use Cases, die sich mit einem Modern Data Warehouse verwirklichen lassen. Neben der Unterstützung von Business Intelligence mit Standard-Reporting und Self Service BI bieten das MDWH auch für Anwendungsfälle aus dem Umfeld von Data Science, Internet of Things, Echtzeit und Künstlicher Intelligenz eine geeignete Plattform, die bei Bedarf mit passenden Cloud-Diensten interagieren kann..

 

Data Scientists erhalten so Zugriff auf Rohdaten, um neue Muster und Zusammenhänge zu erkennen. Gleichzeitig existiert eine qualitativ hochwertige Datenbasis, um Fachanwendern neben vormodellierten, fachlichen Cubes auch Self-Service-Modelle nach individuellen Anforderungen bereitzustellen. Zusätzlich können alte Daten, die selten gebraucht werden, im Data Lake archiviert werden, um das Relationale Datenbanksystem zu entlasten.

Migration zum Modern Data Warehouse

Die Migration einer bestehenden On-Premise-Lösung zum Cloud-MDWH kann durch verschiedene Gründe motiviert sein. Ein Szenario, welches wir in unseren Projekten häufig vorfinden ist, dass sich mit dem bestehenden Data Warehouse die wachsenden Anforderungen aus dem Bereich Big Data nicht mehr bewältigen lassen. Dabei kann es sich um schnell eintreffende Streaming-Daten von Maschinen handeln, umfangreiche Log- und Sensordaten oder auch variierende Dateiformate aus vielen diversen Quellen.

 

Gegebenenfalls existiert auch schon ein Big-Data-Cluster lokal im Unternehmen. Solche Lösungen, etwa auf Basis von Hadoop, sind jedoch aufwändig in Betrieb und Wartung und relativ teuer. Daher ist ein Umzug in die Cloud im Regelfall empfehlenswert. Gleiches gilt, wenn der limitierte Speicher und die begrenzte Rechenleistung der On-Premise-Umgebung an ihre Grenzen stoßen.

 

Den Ausgangspunkt für eine erfolgreiche Migration eines Modern Data Warehouse markiert das zugrundeliegende Konzept, welches im Rahmen eines initialen Workshops und anhand eines konkreten Anwendungsfalls ausgearbeitet werden sollte. Ergebnis des Workshops sollte ein dokumentiertes Umsetzungskonzept für das Modern Data Warehouse sein, das für die Erprobung in ein Data Lab übergehen kann. In dieser Laborumgebung können durch schnelle Iterationszyklen lauffähige Ergebnisse produziert (Prototyping), um den praktischen Nutzen anhand des ausgewählten Anwendungsfalls beurteilen und einschätzen zu können. Die zentralen Funktionen des Data Labs besteht dabei in der Identifikation der erforderlichen Datenquellen und Schnittstellen, der Beurteilung der Datenqualität, der Entwicklung eines Architekturprototyps sowie der Bewertung der Machbarkeit des ausgewählten Use Cases.

 

Ein Anwendungsfall, der eine erfolgsversprechende Bewertung erhalten hat, mündet schließlich in einer projektierten Umsetzung im Rahmen der Data Factory, in der es um die detaillierte Ausarbeitung des letztendlichen MDWH-Systems, dessen Integration in Ihre produktive Systemumgebung sowie um die Einbettung in die entsprechenden Geschäftsprozesse geht. Unsere Projekterfahrung zeigt, dass dieses Vorgehen schnelle und fundierte Ergebnisse liefert, da Durchlaufzeiten und Projektrisiken minimiert werden.

 

Abb. 2: Methodisches Vorgehen zur Implementierung von MDWH-Systemen - von der konzeptuellen Idee bis zum produktiven Nutzen

 

Eine umfangreiche Einführung in das Konzept eines Modern Data Warehouse erhalten Sie in unserem Whitepaper „Modern Data Warehouse“ oder Sie buchen eine kostenlosen Beratungstermin mit einem unserer Experten, der mit Ihnen anhand Ihrer individuellen Anforderungen die Potentiale eines Modern Data Warehouse bespricht.

Mein Tipp für Sie: Sichern Sie sich unsere kostenlose Broschüre zum Thema MDWH

Moderne Data Warehouse-Systeme - Verständnis und praktische Umsetzung

 

 

Diese Broschüre beantwortet Ihre Fragen. Fachlich präzise, verständlich ausformuliert.

Bitte tragen Sie Ihre Kontaktdaten ein

Dirk Müller

Dirk Müller ist seit 15 Jahren in der IT Branche zuhause und beschäftigt sich seit über zehn Jahren mit Themen zu Data Management, Business Intelligence und Data Science. Sein Ziel ist es, Unternehmen von den Potentialen und Vorteilen der Datennutzung zu überzeugen sowie eine Transformation zu datengetriebenen Entscheidungen und Geschäftsmodellen anzustoßen.