Modern Data Warehouse

Ein Modern Data Warehouse ist ideal für strukturierte Daten

Ein Data Warehouse bzw. das Konzept eines Modern Data Warehouse wird seit vielen Jahren diskutiert und realisiert. Ein Modern Data Warehouse gilt als Fundament für unternehmensweite Business Intelligence Lösungen, weil es der „Single-Point-of-Truth“ ist, in dem die „absolute Unternehmenswahrheit“ enthalten ist. Obwohl viel Zeit und Ressourcen dafür verwendet wurde, Unternehmensprozesse zu harmonisieren und zu strukturieren, damit die anfallenden Daten ins Modern Data Warehouse übernommen werden konnten, haben diese Bemühungen nur in seltenen Fällen zum Erfolg geführt. Die vermeintlichen Ursachen waren – verbunden mit entsprechenden Schuldzuweisungen - schnell gefunden: Die Unternehmensprozesse seien zu unstrukturiert bzw. wurden nicht eingehalten, die Anwender in den Fachabteilungen seien zu undiszipliniert, vom Fachbereich sei zu wenig Zeit und Aufmerksamkeit auf die Konzeption verwendet worden, etc. Kurzum: der Faktor Mensch war inkompatibel mit der Idee – besser: der Utopie - des „Single Point of Truth“.

Deswegen ist ein Data Warehouse aber keinesfalls sinnlos. Für viele Anforderungen der Anwender gerade im Finanzbereich und im Controlling wird nach wie vor ein Data Warehouse die richtige Lösung sein. Ganz wichtig ist das Verständnis dafür, dass nicht alle Anforderungen an eine Business Intelligence Lösung von einem Data Warehouse abgedeckt werden können und sollen. Vielmehr ist ein Data Warehouse ein Bestandteil eines Data Lake bzw. eines Daten Repository.

Bislang wurde immer versucht, ein Data Warehouse „am Reißbrett“ zu entwerfen. Dafür wurden die Anforderungen gesammelt zusammengeführt (Whiteboarding) und dann implementiert. In der Hoffnung, dass das Resultat den Erwartungen entsprach.

Ein solches Vorgehen ist bei stark vordefinierten Prozessen, wie sie beispielsweise in der Finanzabteilung oder im Controlling vorzufinden sind, auch erfolgreich. Wenn die Prozesse weniger vordefiniert oder gar als intransparent gelten, wie das beispielsweise im Vertrieb oder im Marketing der Fall ist, scheint ein solches Vorgehensmodell regelmäßig zu scheitern. Ein einfacher Grund dafür ist, dass sobald Systeme und Prozesse eine gewisse Komplexität erreicht haben, sich diese kaum vordefinieren lassen. Dieser Faktor bekommt durch den Einzug von Technologien, die mit großen Mengen von strukturierten Daten (Zahlen) und unstrukturierten Daten (Texten) umgehen können, noch stärkeres Gewicht. Solche Technologien, wie etwas das Hadoop Framework, werden derzeit unter den Schlagworten Big Data Analytics oder Data Lake diskutiert und kommen in der Unternehmenspraxis bereits zum Einsatz.

Änderungsfähigkeit und Agilität einer Lösung

Für Business Intelligence und Analyse sind kritische Faktoren für deren Erfolg, weil sich die Anforderungen permanent ändern. Veränderung ist Teil des Systembetriebs. Diese Realität findet sich aber in keinem Data Warehouse. Data-Warehouse-Verantwortliche diskutieren in der Praxis über statische Architekturen bzw. Architekturen die immer nur auf „perfekte“ Endzustände abzielen.

Die Berücksichtigung von geänderten Anforderungen der Anwender im Zeitablauf ist ein ganz wichtiger Bestandteil eines Daten Repository bzw. einem Data Lake. Im Unternehmensalltag entstehen unzählige Fragen, deren Beantwortung eine Aufarbeitung von Daten bedarf.

Würde ein klassisches Data Warehouse versuchen, alle Anfragen zu beantworten, die in einem Unternehmen auftauchen, würde spätestens nach mehreren Jahren ein großer Teil des Data Warehouse irrelevant sein, aber im Betrieb weiter Kosten verursachen. In der Realität wird das Data-Warehouse-Team nicht annähernd alle Anforderungen erfüllen können, weshalb die Fachbereiche versuchen, ihre Probleme selbstständig zu lösen – nötigenfalls auch heimlich.

Mit der Idee des Data Lake gibt es heute die notwendigen Technologien, um die iterative und agile Analyse-Welt der Data Scientists mit der vordefinierten, standardisierten Welt des Data Warehouse zu integrieren. 

Die Experten der pmOne können hinsichtlich eines Data Warehouse eine End-to-End-Angebot machen: Von der Konzeption und Architektur, über das Design bis hin zur Implementierung einer Lösung. Und die laufende Betreuung von Applikationen, also die Operation Services, übernimmt die pmOne auch gerne.