面向零售业的 Oracle Data Platform

实时数据分析

运用优秀实践来改进关键零售数据分析

使用优质数据进行实时数据分析对于许多行业的企业至关重要,对于零售商而言尤其如此。例如,通过从准确的数据中及时获得洞察,零售商可以获得即时产品建议,确保在适当的时间和地点提供适当库存,从而提高客户满意度;通过实时评估促销活动效果,零售商可优化产品促销、营销和销售工作;通过更加精准的库存预测,零售商还可降低成本和风险;其好处不一而足。简而言之,高效的实时数据分析将对整个企业的零售业务产生积极影响。

为了充分发挥实时数据分析的价值,您需要使用统一方法优化关键数据集中的数据生命周期管理。这种方法可帮助您

  • 降低数据复杂性和重复项。
  • 降低质量数据带来的风险和成本。
  • 创建统一、一致的数据视图。
  • 在整个企业内提供一致的数据。
  • 利用自助商务智能 (BI) 进行报告和高级数据分析,无论域团队使用何种工具。
  • 在数据环境中提供灵活性,尽可能降低未来变化成本。

使用经过优化的分析解决方案来实现分析现代化

下图架构展示了 Oracle Data Platform 如何为零售商提供统一的综合框架来管理整个数据分析生命周期。Oracle Data Platform 的核心包含两个关键组件:运营数据存储 (ODS) — 用于存储未进行转换、以原始格式摄取和持久保存的运营数据;以及数据仓库 — 用于存储经过优化的数据,以提高查询性能和改善高级分析。

ODS 和数据仓库结合使用时,可以创建一个更高效并提供高级分析的数据平台。这种架构不仅可以有效应用高级分析和可视化工具,还可以保留以原始格式分析数据的能力,在不影响基础事务应用性能的情况下发现异常或洞察。这种方法尤为适合零售商,因为它可以防止同一来源的数据出现矛盾、不准确的重复等问题,如果企业基于这些数据制定决策,将导致延迟和错误,最终影响销售额。

下面我们详细了解一下 Oracle Data Platform 如何结合使用 ODS、数据仓库和其它关键组件帮助零售商高效使用实时数据分析。

实时数据分析图示说明如下

该图显示了面向零售业的 Oracle Data Platform 如何用于对实时数据和历史数据执行优化分析。该平台包括以下五个支柱:

  1. 1. 数据源、探索
  2. 2. 连接、摄取、转换
  3. 3. 持久保存、整理、创建
  4. 4. 分析、学习、预测
  5. 5. 评估、行动

“数据源、探索”支柱包括两类数据。

  1. 1. 应用包括来自 ERP、SCM、CX 和 WMS 应用、Fusion SaaS、Oracle NetSuite、E-Business Suite、PeopleSoft、JD Edwards、Salesforce、SAP 和 Workday 的数据。
  2. 2. 业务记录包括销售事务、客户数据、产品数据、退货事务、供应商数据、库存数据、POS 系统数据以及收入和利润数据。

“连接、摄取、转换”支柱包括两个功能。

  1. 1. 批量摄取使用 OCI Data Integration、Oracle Data Integrator 和数据库工具。更改数据捕获使用 OCI GoldenGate 和 Oracle Data Integrator。
  2. 2. 这两种功能均单向连接至“持久保存、整理、创建”支柱中的运营数据存储功能。

“持久保存、整理、创建”支柱包括三个功能。

  1. 1. 操作数据存储使用 Oracle Autonomous Transaction Processing。
  2. 2. 服务数据存储使用 Oracle Autonomous Data Warehouse 和数据库工具。
  3. 3. 治理使用 OCI Data Catalog。

这些功能在支柱内互联。运营数据存储单向连接至服务数据存储。

一个功能连接至“分析、学习、预测”支柱:服务数据存储单向连接至分析和可视化功能。

“分析、学习和预测”支柱包括一个功能。

  1. 1. 分析和可视化使用 Oracle Analytics Cloud、GraphStudio 和 ISV。

“测量、行动”支柱包括一个使用者分类:仪表盘和报告。

“摄取、转换”、“持久保存、整理、创建”及“分析、学习、预测”这三大核心支柱由基础设施、网络、安全和 IAM 提供支持。



目前有两种(或三种)主要方法可以将数据注入架构,帮助零售商更高效地分析数据。

  • 首先,我们需要了解业务记录和应用中的最新数据(例如不同零售地点的库存水平)。为此,我们使用 OCI GoldenGate 来启用变更数据捕获 (CDC) 从运营数据库中摄取近乎实时的数据(事务处理)。这些数据包括与零售交易相关的所有记录或离散记录集,如销售点和 Web 交易(销售和退货)以及库存、物流和供应链数据。除了使用时间戳或标志筛选器触发数据摄取外,还可以通过能够第一时间检测到发生的变更的 CDC 机制来摄取数据。OCI GoldenGate 提供一种 CDC 机制,这种机制以非入侵方式处理源变更,包括处理已完成事务的日志文件以及将捕获到的变更存储在独立于数据库的外部轨迹文件中,然后将变更可靠地传输到临时数据库或运营数据存储中。
  • 我们现在可以添加与核心零售交易相关的数据集,包括库存和产品数据、客户记录以及优惠和价格数据。这些数据集通常包含大量本地数据,在大多数情况下,批量摄取通常是较为有效的。

    也就是说,在决定如何从运营源收集事务数据来填充运营数据存储时,需要考虑一些因素。从计划内的每日批量摄取到持续实时摄取,不同技术在数据集成延迟方面有着非常大的差异。通过基于时间戳或标志进行筛选的增量查询都可以从多个数据源捕获数据。此外,不同技术在使用拉取或推送操作方面也有所不同,拉取操作每隔一段时间拉入新的数据,而推送操作会在出现变化时将数据加载到目标中。对于长期趋势数据等不要求当日新鲜度的数据或财务结算信息等一天计算一次的数据,每日批量摄取最合适不过。如果业务模式不需要 24 小时的数据仓库可用性,则可以在停机间隙执行批量加载。当没有停机间隙时,可以使用实时分区或 Trickle 和 Flip 等技术来尽量减少加载活动对实时数据仓库的影响。
  • 我们也可以使用流摄取(可选)来摄取通过 IoT、机器通信和其它方式从商店信标中读取的数据。视频成像也可以用这种方式。此外,在该使用场景中,我们打算通过分析社交媒体消息、对第一方帖子的响应以及热门消息来分析和快速响应消费者情绪。我们可以选择在摄取社交媒体(应用)消息/事件时对其执行一些基础的转换/聚合,然后再将数据存储到云端存储中。我们还可以使用其它流分析来识别相关的消费者事件和行为,并将识别到的模式(手动)反馈至 OCI Data Science,以检查原始数据。

数据持久性和处理建立在两个组件之上。

  • 运营数据存储用于对原始数据生成运营报告,作为企业级或域级服务数据存储或企业数据仓库 (EDW) 的数据源。在决策支持环境下,它是 EDW 的补充。ODS 通常是一个关系数据库,可集成和持久保存来自多个来源的数据,用于其它业务、报告、控制和运营决策支持,而 EDW 则用于战术和战略决策支持。一般来说,ODS 的数据模型非常接近 OLTP 源应用的数据模型。ODS 可接受任何来源的数据,几乎不实施任何数据质量规则,以确保您能够完整存储当天来自运营系统的所有数据。不同于生产主数据存储,ODS 数据不会传回运营系统。数据仓库通常设置为只读模式,按特定时间表进行批量更新,而运营数据存储可以接近实时地进行维护,持续不断地接收数据。
  • 我们创建了一个经过处理的数据集,以经过优化的关系形式持久保存数据,从而提高服务数据存储的管理效率和查询性能。在这种使用场景中,服务数据存储是一个数据仓库 — 一种专为支持商务智能活动以及越来越先进的分析功能而设计的持久性平台。数据仓库的主要目标是整合数据,为业务用户提供准确的指标,帮助他们在日常工作中做出明智决策以及为更重大的战略性业务决策提供支持。为此,数据仓库采用高度专业化设计,通常存储有大量历史数据,仅用于执行查询和分析。数据仓库可集中整合来自应用日志文件和事务应用等多个来源的大量数据,然后将这些数据转化为最合适的格式执行分析。借助数据仓库的分析功能,企业可从数据中获得宝贵的业务洞察,改善决策。同时,随着时间推移,它还会建立一个对于数据科学家和业务分析人员极具价值的历史记录。得益于这些强大的功能,数据仓库可为企业提供一个“信息源”。许多人倾向于将数据仓库单纯地视为技术资产,但实际上它们提供了一个独特的环境,让业务用户和 IT 人员对零售商运营环境达成共识,并完成以下任务:
    • 定义业务需求(关键指标);确定与关键指标相关的源数据;制定业务规则,将源信息转化为关键指标
    • 对目标仓库的数据结构进行建模,用于存储关键指标
    • 通过实施业务规则来填充指标
    • 通过设置数据质量规则来衡量数据的整体准确性
    • 编写关键指标报告
    • 通过即席查询工具或预定义报告为业务用户提供关键指标和元数据
    • 衡量业务用户的满意度,添加或修改关键指标

分析、学习和预测能力建立在两种技术方法之上。

  • 分析和可视化服务提供描述性分析(用直方图和图表描述当前趋势)、预测性分析(预测未来事件、识别趋势以及确定不确定结果的可能性)和规范性分析(提出合适的行动,从而做出理想决策),让零售商能够轻松回答以下问题:
    • 这一时期的实际销售额与目前的计划相比如何?
    • 现有库存的零售价值是多少,与去年同期间相比如何?
    • 部门中的畅销商品是什么?
    • 上次促销的效果如何?

    除了使用高级分析和可视化技术之外,零售商还可以开发、训练和部署机器学习模型。

    治理是构建此类解决方案时要考虑的一个关键因素。业务用户依靠数据仓库中准确的关键指标制定决策。如果指标不准确,将导致决策错误。因此,业务用户需要根据定义的数据质量策略积极参与数据差异监视工作。他们需要帮助 IT 团队改进指标的计算方式,协助鉴定和识别错误数据,进而反向影响业务规则,对其进行修改和测试性改进。

  • 您可以对经过整理、测试的高质量数据和模型应用治理规则和策略,并将其作为数据网格架构中的“数据产品” (API) 公开,以便在整个零售企业中分发。这对于解决数据质量问题至关重要。几乎所有零售企业都会因糟糕的数据质量而受影响。不一致、不准确、不完整和过时的数据往往是造成运营效率低下、分析错误、无法实现规模经济和客户满意度低等重大业务问题的根本原因。通过利用上文介绍的架构功能全面提升全企业范围内的数据质量,这些数据质量问题和由此产生的业务问题将迎刃而解。

利用更优质的数据做出更明智的决策

Oracle Data Platform 可确保您能够在全企业范围内随时随地访问一致的优质数据,从而:

  • 制定更明智的决策。
  • 通过一致、灵活的数据环境尽可能降低未来变化成本。
  • 反映流程和数据的多次变化,但数据孤岛更少,且不影响数据可用性和质量
  • 消除企业数据环境中具有不同转换逻辑的数据孤立副本,从而降低关键财务和监管报告出错的风险。
  • 提供自助式高级分析和数据发现功能,提高报告数据可用性 — 数据访问不再与域团队使用的特定工具绑定。
  • 降低因 ODS 和其它数据存储增长而增加的存储成本。
  • 无需花过多时间识别因孤立环境中存在多个副本而导致的数据偏差,将更多时间用于查看数据洞察。
  • 不再存在多个数据副本(会增加攻击面),从而降低风险。

注:为免疑义,本网页所用以下术语专指以下含义:

  1. Oracle专指Oracle境外公司而非甲骨文中国。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。