什么是数据湖仓一体?

数据湖仓一体、数据湖与数据仓库的区别

当我们提到数据湖仓一体时，我们指的是现有数据存储库平台的组合使用：

• 数据湖（湖仓一体中的“湖”）：数据湖是一个低成本存储库，主要用户为数据科学家，以及业务分析师、产品经理和其他类型的最终用户。这是一个大数据概念。数据湖汇聚了来自不同组织的非结构化原始数据，通常是在加载到数据仓库和构建数据集之前进行暂存。
  
  
  了解有关数据湖的更多信息
  
  
• 数据仓库（湖仓一体中的“仓”）：数据仓库是一种不同于数据湖的存储库，数据仓库存储经过处理和结构化的数据，为特定目的维护，并以特定的格式存储。这些数据通常由业务用户查询，业务用户在分析工具中使用准备好的数据进行报告和预测。数据仓库通常包含数据管理功能，例如数据清理和提取/加载/转换 (ETL)。

那么，数据湖仓一体如何合二为一？一般上，数据湖仓一体能够打通数据湖和数据仓库之间的围墙。这意味着数据可以轻松地在数据湖的低成本和灵活存储之间迁移到数据仓库，反之亦然。这样，您可以轻松访问数据仓库中基于机器学习和人工智能的管理工具，进行数据清理以实施模式和治理。这形成了一个数据存储库，同时拥有数据湖经济实惠的非结构化数据集以及数据仓库的准备就绪。通过在利用工具和功能准备数据供业务使用的同时提供从精心策划的数据源收集的空间，数据湖仓一体可加快流程。在某种程度上，数据湖是数据仓库，它从概念上源于 20 世纪 80 年代初，为现代数据驱动的世界重新引导。

数据湖仓一体的特性

认识了数据湖仓一体的一般概念后，让我们再深入了解一下其中的具体内容。数据湖仓一体与以前数据湖和数据仓库概念有许多相似之处，但它已将这两个概念整合成全新的概念，更适合今天的数字世界。

数据管理特性

数据仓库通常提供数据管理功能，例如数据清理、ETL 和方案实施。这些数据整合到一个数据湖仓中，作为快速准备数据的一种方式，允许来自精选来源的数据自然协同工作，并为进一步的分析和商务智能 (BI) 工具做好准备。

开放存储格式

使用开放和标准化的存储格式意味着来自精选数据源的数据从一开始就能够协同工作并准备好进行分析或报告。

灵活的存储

您可以根据需要将计算与存储资源隔开，从而轻松扩展存储。

支持流处理

许多数据源直接使用来自设备的实时流处理。与标准数据仓库相比，数据湖仓一体旨在更好地支持这种类型的实时摄取。随着世界与物联网设备的结合越来越紧密，实时支持也变得越来越重要。

各种工作负载

由于数据湖仓一体集成了数据仓库和数据湖的功能，因此非常适合处理多种不同的工作负载。从业务报告到数据科学团队再到分析工具，数据湖仓一体的内在品质可以支持企业内不同的工作负载。

数据湖仓一体的优势：现代数据平台

通过构建数据湖仓一体，组织可以使用统一的现代数据平台简化整体数据管理流程。数据湖仓一体可以打通多个资料档案库，取代多个单独的解决方案。通过此集成，您可以通过精选数据源创建更高效的端到端流程。这将产生许多好处：

• 减少管理任务：通过使用数据湖仓一体，用户可以访问和整合任何与其相连的数据源，而无需从原始数据中提取数据，并在数据仓库内执行准备工作。
• 更好的数据治理：数据湖仓一体通过整合资源和数据源来简化和改善治理，它采用标准化的开放方案构建，可以更好地控制安全性、指标、基于角色的访问和其他关键管理元素。
• 简化标准：数据仓库起源于 20 世纪 80 年代，当时的连接性十分有限，这意味着本地化模式标准通常是在企业内，甚至是在部门内创建的。今天，许多类型的数据都支持开放的模式标准，数据湖仓一体利用这一优势，以重叠的标准化模式摄取多个数据源，从而简化流程。
• 提高成本效益：数据湖仓一体采用现代基础设施，可以分离计算和存储，从而轻松增加存储，而无需增强计算能力。这样，您可以轻松使用低成本数据存储，实现经济高效的扩展。

了解 OCI 为何是构建数据湖仓一体的理想平台

随着时间的推移，越来越多的数据源正在全球范围内发送大量数据。对于任何组织来说，这种结构化和非结构化数据的组合仍然是一个挑战。数据湖仓一体可将不同的输出数据连接和关联到一个可管理的系统中并加以分析。