Data Lake und Big Data Analytics

Wenn es um Data Lake und  Big Data geht, haben Unternehmen bereits seit mehreren Jahren folgende vier Herausforderungen:

• Die Menge der anfallenden Daten, die sinnvoll ausgewertet können und sollen, wächst stark.
• In der Menge der anfallenden Daten gibt es viele unstrukturierte oder semistrukturierte Daten, welche die mittels eines Datenmodells vollständig strukturierten Daten ergänzen.
• Die Menge der anfallenden Daten soll für eine sinnvolle Auswertung immer aktueller sein bis hin zur Anforderung nach Auswertungen in Echtzeit, also Realtime.
• Zur gezielten Beantwortung von Fragestellungen werden Abfragen zur sinnvollen Auswertung immer komplexer.

Schema on read versus schema on write

Eine Data-Lake ist immer auch eine Investition in die Zukunft, denn: Wir wissen heute nicht, was wir morgen wissen wollen. Deshalb wird im Data Lake die Idee des „schema on read“ verfolgt: Dabei erfolgt eine Datenaufbereitung oder Datenstrukturierung erst dann, wenn ein Fachanwender, Data Analyst oder Data Scientist die von ihm gewünschten Analysen durchführen möchte.

Bei einem Data Warehouse gilt die Idee des „schema on write“: Die verfügbaren Daten werden mittels Prozessen für die Extraktion, Transformation und das Laden (ETL) in einer vordefinierten Struktur (schema) abgespeichert. Das erlaubt eine schnelle Aufbereitung der Daten für Reportingzwecke. Die Art der Analysen, die ein Fachanwender, Data Analyst oder Data Scientist durchführen konnte, unterliegen dadurch den Restriktionen, die sich aus der Struktur ergeben.

Ein „schema on write“ gilt seit vielen Jahren oder Jahrzehnten als einzig adäquate Vorgehensweise, damit die Abfragen (Queries), die für Analysen notwendig sind, kurze Antwortzeiten haben, also performant sind. Aber neue Algorithmen, wie zum Beispiel der Map-and-Reduce-Algorithmus, in Verbindung mit neuen, leistungsstarken Prozessoren sowie Scale-out-Architekturen, erlauben neue Wege zu gehen, und ermöglichen performante Analysen mit der Idee des „schema on read“.

Profitieren Sie von unserer Kompetenz beim Thema Data Lake und Big Data Analytics

Wir unterstützen Unternehmen beim Thema Big Data Analytics und Data Lake mit folgenden Leistungen:

• Konzeption, Design und Sizing von Data Lake Architekturen
• Auswahl von geeigneten Werkzeugen und Lieferanten
• Setup und Konfiguration der Architektur und der Tools
• Data Ingestion und Transformation von Daten
• Implementierung von datengetriebenen Anwendungen
• Maintenance, Support und Enhancements

Die Experten von pmOne haben umfassendes Know-how zu Apache Hadoop mit dem Hadoop Distributed File System (HDFS), zu Apache Storm zur Verarbeitung von Datenströmen in Echtzeit und Apache Spark.