什么是数据湖仓一体？

Data Lakehouse 与 Data Lake 对比数据仓库

当我们谈论数据湖仓一体时，我们指的是当前数据存储库平台的组合使用。

• 数据湖（湖仓中的“湖”）：数据湖是一个成本低廉的存储库，主要由数据科学家使用，也由业务分析师、产品经理和其他类型的最终用户使用。这是一个大数据概念。来自各种组织来源的非结构化原始数据进入湖中，通常在加载到数据仓库和构建数据集之前进行暂存。
  
  
  搜索数据池
  
  
• 数据仓库（湖仓中的“仓库”）：数据仓库是来自数据湖的不同类型的存储库，因为数据仓库存储已处理和结构化数据，专为特定用途整理，并以指定格式存储。这些数据通常由业务用户查询，业务用户在分析工具中使用准备的数据进行报告和预测。数据仓库通常包含数据管理功能，例如数据清理和提取/加载/转换 (ETL)。
  
  
  了解数据仓库

那么，数据湖仓一体化如何实现这两个目标？通常，数据湖仓一体会消除数据湖与数据仓库之间的孤岛墙壁。这意味着数据可以轻松地在数据湖的低成本和灵活存储之间迁移到数据仓库，反之亦然。这样，您可以轻松访问数据仓库的管理工具来实施模式和治理，而这通常是基于机器学习和人工智能进行数据清理。结果创建了一个数据存储库，集成了经济实惠、非结构化的数据池集合和数据仓库的强大准备。通过在利用工具和功能准备数据供业务使用的同时提供从精心策划的数据源收集的空间，数据湖仓一体可加快流程。在某种程度上，数据湖是数据仓库，它从概念上源于 20 世纪 80 年代初，为现代数据驱动的世界重新引导。

数据湖仓一体功能

通过了解数据湖仓一体的一般概念，让我们更深入地了解所涉及的具体元素。数据湖仓储提供了许多从历史数据湖和数据仓库概念中熟悉的部件，但以一种将它们合并到新的、更有效的数字世界中。

数据管理功能

数据仓库通常提供数据管理功能，例如数据清理、ETL 和方案实施。这些数据整合到一个数据湖仓中，作为快速准备数据的一种方式，允许来自精选来源的数据自然协同工作，并为进一步的分析和商务智能 (BI) 工具做好准备。

打开的存储格式

使用开放和标准化的存储格式意味着来自精选数据源的数据从一开始就能够协同工作并准备好进行分析或报告。

灵活的存储

您可以根据需要将计算与存储资源隔开，从而轻松扩展存储。

支持流处理

许多数据源直接使用来自设备的实时流处理。与标准数据仓库相比，数据湖仓一体旨在更好地支持这种类型的实时摄取。随着世界日益与 Internet of Things 设备集成，实时支持变得越来越重要。

各种负载

由于数据湖仓一体集成了数据仓库和数据湖的功能，因此非常适合处理许多不同负载。从业务报告到数据科学团队再到分析工具，数据湖仓一体化的内在品质可以支持组织内的不同负载。

数据湖仓一体优势：现代数据平台

通过构建数据湖仓一体，组织可以使用统一的数据平台简化整体数据管理流程。数据湖仓储可以通过在多个资料档案库之间拆分孤岛墙来取代单个解决方案。通过此集成，您可以通过精选数据源创建更高效的端到端流程。这会产生多个好处。

• 更少管理：通过使用数据湖仓一体，任何与其相连的源都可以访问和合并数据以供使用，而不是从原始数据中提取数据并在数据仓库内准备工作。
• 改善数据治理：数据湖库通过整合资源和数据源来简化并改进治理，并且采用标准化的开放模式构建，可以更好地控制安全性、指标、基于角色的访问和其他关键管理元素。
• 简化标准：数据仓库起源于 20 世纪 80 年代，连接极有限，这意味着本地化的方案标准通常在组织内甚至在部门内创建。如今，许多类型的数据都存在开放式模式标准，数据湖库通过摄取多个具有重叠标准化模式的数据源来简化流程，从而充分利用这些标准。
• 提高成本效益：数据池所构建的基础设施采用了隔离计算和存储的基础设施，可以轻松添加存储，而无需增加计算能力。这样，您可以轻松使用低成本数据存储，实现经济高效的扩展。

虽然一些组织将构建数据湖仓一体，但其他组织将购买数据湖仓一体云服务。

了解 OCI 为何是打造湖仓一体的最佳场所

随着时间的推移，越来越多的数据源正在全球范围内发送大量数据。对于任何组织来说，这种结构化和非结构化数据的组合仍然是一个挑战。数据湖将各种输出链接、关联和分析到一个可管理系统中。