Data Flow

托管式基础设施

OCI Data Flow 可面向 Spark 作业执行基础设施供应和网络设置，并在作业结束时拆卸基础设施。同时，它还将负责存储和安全性管理，可降低您的 Spark 大数据分析应用的构建和管理工作负担。

简化集群管理

借助 OCI Data Flow，无需安装、修补或执行集群升级，可有效缩短项目用时，降低项目成本。

简化容量规划

OCI Data Flow 将在专有资源中运行每一个 Spark 作业，无需您提前进行容量规划。

降低成本

借助 OCI Data Flow，IT 人员只需为 Spark 作业运行时使用的基础设施资源付费。

高级流处理支持功能

零管理、自动容错、自动修补的 Spark Streaming。

持续处理

借助 Spark Streaming 支持，您将能够持续检索数据，提供持续的处理后数据可用性。OCI Data Flow 使用 Spark 执行大量流处理任务，支持使用 MLLib 对流数据运行机器学习。OCI Data Flow 支持 Oracle Cloud Infrastructure (OCI) Object Storage 以及任何与 Kafka 兼容的流处理源，包括使用 Oracle Cloud Infrastructure (OCI) Streaming 作为数据源和数据宿。

自动容错

Spark 可处理因停机导致的迟到数据，通过水印（一种维护、存储和聚合延迟数据的 Spark 功能）捕获积压数据，而无需手动重启作业。而 OCI Data Flow 可以适时、自动重启您的应用。重启后，您的应用将从最后一个检查点恢复运行。

云原生身份验证

OCI Data Flow 流处理应用可以通过资源主体进行云原生身份验证，将应用运行时间延长到 24 小时以上。

云原生安全性和治理

Oracle Cloud Infrastructure 具有无可比拟的安全性，它可以出色满足身份验证、隔离和所有其他关键需求，为业务数据提供超高水平的安全保护。

细粒度安全性

OCI Data Flow 在本地使用 Oracle Cloud 的 Identity and Access Management 系统执行数据控制和访问控制，确保数据安全。

托管式资源

您只需设置配额和限值即可管理 OCI Data Flow 的可用资源，有效控制成本。

简化运营

OCI Data Flow 可简化常见运营任务，例如日志管理和操作 UI 访问，让开发人员专注于应用构建。

更高的可见性

OCI Data Flow 可将操作信息汇总到一个可搜索的 UI 中，助您轻松洞悉 Spark 用户的当前状况。

轻松调试和诊断

通过涵盖日志输出、Spark 历史服务器等信息的整合视图高效进行 Spark 作业故障排除，无需耗费数小时时间进行日志跟踪和工具跟踪。

避免未来成本

通过排序、搜索和过滤操作来分析历史应用，从而更好地处理高开销作业，避免不必要的支出。

管理失控的 Spark 作业

管理员可轻松发现并停止运行时间过长或消耗资源过多，导致成本增加的实时 Spark 作业。

简化开发

常见大数据生态系统含大量活动部件，需要执行大量的集成工作，而 OCI Data Flow 兼容现有的 Spark 投资和大数据服务，可助您轻松管理服务，实现所需成果。

与现有应用兼容

您可以轻松从 Hadoop 或其他大数据服务迁出现有 Spark 应用。

安全输出管理

自动、安全地捕获和存储 Spark 作业输出，然后通过 UI 或 REST API 访问并进行分析。

利用 REST API 进行控制

您可使用简单的 REST API 来全面管理 OCI Data Flow — 从应用创建到执行再到 Spark 作业的结果访问。