Die heterogene Datenstruktur aus verschiedenen Systemen mit der komplexen gasmarktspezifischen Datenlogik stellte GRTgaz Deutschland beim Erstellen übersichtlicher, aktueller und zuverlässiger Berichte lange Zeit vor eine Herausforderung. Bisher erfolgte das Reporting ausschließlich über eine direkte Anbindung der Vorsysteme an Power BI, mit zunehmenden Einschränkungen: Berichte waren nur separat pro Vorsystem möglich, die Aktualisierung nahm enorm viel Zeit in Anspruch und aufgrund der Datenmengen-Limitierung von Power BI waren die Betrachtungszeiträume historischer Daten zu begrenzen – denn die Zeitreihen erfassen stundengenau eine sehr große Menge an kommerziellen Daten. Auch Wartung und Pflege der Berichte waren aufgrund ihrer Komplexität kaum mehr zu leisten.

Die Lösung heißt: Modern DWH (Data Warehouse). Neben den Vorteilen eines cloudbasierten Betriebs kann dieses im Gegensatz zu einem klassischen DWH auch unstrukturierte Datenformate wie XML oder JSON unproblematisch speichern und verarbeiten. Zudem werden die Speicher- von den Berechnungsprozessen entkoppelt, was die Skalierung der Infrastruktur für die Verarbeitung großer Datenmengen deutlich effizienter gestaltet. Der Weg dorthin gelang agil in Sprints, um möglichst alle Kundenanforderungen flexibel abzubilden. Ausgangspunkt war ein gemeinsam erarbeitetes Verständnis der zentralen Geschäftsprozesse rund um die Themenfelder Netzmonitoring, verfügbare Pipeline-Kapazitäten und Umsatzreporting.

Auf dieser Grundlage wurde eine Datenarchitektur und ein analyseorientiertes Datenmodell entworfen: Azure Synapse Analytics und Spark-Notebooks für die Implementierung der Datentransformationen sowie -beladungen, Datenspeicherung in einem Data Lake und Datenvisualisierung wie gehabt in Power BI. Die Implementierung des Modern DWH erfolgte durchgängig nach Best Practices. Hierzu gehören beispielsweise metadatenbasierte Ladeprozesse, um neue Tabellen auch ohne Code-Anpassungen verarbeiten zu können. Zudem unterstützte ein Logging während der Datenverarbeitung bei Performanceoptimierung und Fehlerbehebung. Inkrementelle Ladeprozesse, die lediglich geänderte Daten abrufen, tragen weiterhin zur Effizienzsteigerung bei.

Ab sofort ermöglicht die neue Architektur die Verknüpfung von Daten aus den verschiedenen Vorsystemen (Single Point of Truth), um übergreifende Analysen durchführen zu können. Zudem werden die Reports deutlich schneller und zuverlässiger aktualisiert. Ein weiterer Vorteil: Es sind keine datenmengenbedingten Limitierungen der Betrachtungszeiträume mehr erforderlich, so dass auch historische kommerzielle Daten Eingang in die Berichte finden. Hinzu kommt eine hohe Skalierbarkeit des Systems, wodurch das Reporting auch bei weiter anwachsenden Datenmengen oder bei der Anbindung weiterer Quellsysteme problemlos nutzbar ist. Last but not least: Wartung und Pflege sind deutlich vereinfacht.