Data Lakehouse und Open Table Format: eine neue Architektur für Big Data

Unsere Gegenwart ist geprägt von Big Data und den Möglichkeiten, die deren Analyse bietet. Von der Medizin bis zur Landwirtschaft gibt es keinen Bereich, der nicht davon betroffen ist. Ihre Nutzung und Verwaltung stellen jedoch eine Herausforderung dar. In den letzten Jahren haben sich Data Lakes als ideale Lösung für die Analyse von Big Data erwiesen. In einem Data Lake werden Daten aus verschiedenen Quellen und in unterschiedlichen Formaten in ihrem Rohzustand gespeichert. Dies bietet große Vorteile, unter anderem die Skalierbarkeit des Systems, Compute on Demand zur Kostenoptimierung und die Möglichkeit, die Analyseprozesse iterativ anzupassen, um aus bereits vorhandenen Daten neue, bisher verborgene Informationen zu extrahieren. Data Lakes führen jedoch wiederum zu Problemen bei der Daten-Governance, die unter anderem auf die unzureichende Unterstützung von ACID-Transaktionen und Versionierungsmechanismen zurückzuführen sind. Experten schlagen daher eine neue Lösung vor: das Data Lakehouse, eine Mischung aus Data Lake und Data Warehouse, die die von Data Warehouses garantierte Compliance mit der Flexibilität von Data Lakes verbindet. Ermöglicht wird dies durch eine neu aufkommende Technologie: das Open Table Format. In diesem Vortrag wird die Architektur des Data Lakehouse vorgestellt und die Technologie des Open Table Formats, mit besonderem Bezug auf Apache Iceberg.