什么是数据挖掘？

数据挖掘的定义

什么是数据挖掘？简单地说，就是从大规模数据中发现洞察的过程。其中，数据可能来自多个来源，也可能源于单个数据库；洞察可以通过手动方法捕获，也可以通过自动化技术来生成。生成洞察的途径有很多种，具体选择何种途径通常取决于各种变量，例如资源、机器学习/人工智能功能、数据复杂性、数据量以及员工的经验和接受的培训。总之，数据挖掘意味着深入分析数据来识别数据模式和潜在因素，最终得出有效结论，做出明智决策。

大数据领域中的数据挖掘

在过去二十年里，数据挖掘的使用量显著增长，这背后的一个重要原因是更多数据源构成了一个大数据环境。大数据是指海量数据，通常表现为连续、高速、来自多个源的数据流。在商务智能的早期阶段，数据表通常需从设备中导出，再通过人工处理以供生成洞察。然而，随着全球日益互联，数据规模变得过于庞大，超出了人工分析能力的极限 — 尤其是同时存在结构化数据和非结构化数据时。

数据挖掘是一个让大数据发挥作用的过程。如果没有数据挖掘，面对各种来源、各种类型的数以 TB 计的海量数据，例如物联网 (IoT) 设备、数据库、企业社交媒体、营销电子邮件、传感器、网站使用情况数据以及相应的元数据集，企业可能束手无策，入宝山而空回。在现实中，人工梳理海量数据是无法实现的。而数据挖掘技术可利用算法从海量记录中识别数据模式，然后输出一组可指导行动的建议和洞察。

数据挖掘的一个简单使用场景是线上购物。其中，客户历史记录会被编译到一个庞大的数据库；数据挖掘算法会从中查找数据关联，例如一些客户仅购买特定品牌狗粮；进而查找相关购买的信息，例如补充剂或狗狗零食品牌；随着模式浮现，营销团队可基于洞察来创建可触发与此特定品牌相关的推广活动。

数据挖掘的工作原理

以上部分从宏观角度解释了数据挖掘，下面我们来探究数据挖掘的实际运行过程。要充分发挥数据挖掘的价值，需同时运用自动化处理与人工分析：工作人员负责制定指导方针，机器学习和人工智能负责梳理海量数据。通常而言，数据挖掘遵循以下工作流：

1. 目标：您的数据挖掘目标是什么？所有利益相关者必须就数据挖掘目标达成共识。如果不深思熟虑地制定明确目标，那么整个数据挖掘工作可能“中道崩殂”，不得不从头再来。
2. 数据准备：数据准备工作涉及大量流程，包括清理数据源、确立格式、清洗数据集（以消除异常和噪音）。
3. 构建模型：数据科学家构建模型，通过迭代方法优化和和训练模型。许多情况下，这需要构建和测试多个模型，以找到实现目标的理想路径。对此，评估流程需采用交叉验证和接受者操作特性 (ROC) 曲线分析等技术来验证模型。

数据挖掘模型构建完毕后，下一步是面向数据集部署模型。这需要实施主动监视，以便在发现意外或其他问题时调整和优化模型。如果一切工作都按计划推进，最终得到的数据应符合有效性与实用性标准，可供业务用户审查，用于制定数据驱动的决策。

数据挖掘的使用场景

除了上述零售业场景外，数据挖掘对于许多行业来说都是一个变革性工具。以下示例重点介绍了如何使用数据挖掘来满足行业特定需求。

面向医疗卫生行业的数据挖掘

数据挖掘可以优化并驱动更高效的提供商和患者体验，改变医疗卫生行业。提供商可以使用数据挖掘来加速和推进研究工作；洞悉运营数据，更好地满足人员配置需求；识别关于保险/记录欺诈的危险信号。对于患者，数据挖掘有助于识别数据模式来推进预防性护理，从而提前启动医患对话，消除不必要的治疗工作。此外，它还可以识别隐藏模式，例如副作用，更好地了解患者特定的独特状况如何影响治疗效果。

面向制造业的数据挖掘

从物料采购、物流装配、质量控制、发运日期一直到制造缺陷导致的退货，制造业整个流程会生成大量数据。数据挖掘既能分析流程中的各个单独步骤，也能审视整体全局，帮助各个团队解决微观和宏观问题。

例如，数据挖掘可能发现某家供应商虽发运时间较长，但总体缺陷较少，对此经理可以判断是利大于弊 — 可通过并行运行作业步骤来降低延迟的影响；还可能发现另一供应商虽然能做到稳定交付，但缺陷率较高，对制造流程影响较大。总之，数据挖掘可以识别这些关联，帮助企业基于数据来优化整个制造流程而不是凭空决策。

面向金融服务的数据挖掘

数据挖掘为金融服务提供商提供了许多优势，包括内部运营和客户体验。在运营上，数据挖掘可以增强从人力资源到营销的一切工作。不过，对金融行业而言，鉴于可用性和安全性是所有金融相关工作的重中之重，数据挖掘的优势更在于尽可能降低 IT 风险。

在客户方面，数据挖掘既具备防护作用，也能为客户带来更出色的体验。通过对交易模式进行数据挖掘，可以根据地理位置、时间、购买类别，或所有这些信息来识别和标记可疑异常，随后可将这些结果转交至反诈团队，由其判断是否需要跟进。对于最终用户，数据挖掘识别出的模式可以触发针对性的营销活动，例如再融资或 HELOC 贷款。

面向企业的数据挖掘

从内部运营到客户服务，企业中的所有部门都可以从数据挖掘中获益。成功的数据挖掘始于强大的基础设施，以充分利用广泛的高速数据源。免费试用 Oracle Cloud Infrastructure，了解它如何为数据挖掘奠定基础。