Oracle Cloud Infrastructure HPC 文件系统 (HFS)

高性能文件系统可满足具有极高数据读写吞吐率要求的工作负载的需求。您可以通过 Oracle Cloud Marketplace 获取 OCI HPC 文件系统 (HFS)，进而轻松部署各种先进的高性能文件服务器。只需点三下鼠标，您就能启动和运行一个支持 PB 级容量和数十 Gb 级吞吐量的文件服务器。

部署 HFS 解决方案时

部署 HFS 解决方案时，您可以指定您对文件系统的要求，包括：

  • 类型（暂存或持久）
  • 工作负载类型（小型、混合或大型文件）
  • 文件系统规模（文件服务器数量和存储容量）

在指定上述参数后，HFS Marketplace 解决方案即会应用默认参数，以此降低复杂性和缩短部署用时。例如，在构建暂存文件系统时，它将选择本地 NVMe 存储；对于混合或小型文件工作负载，它将自定义元数据。然后，文件系统会在 15 分钟内启动并投入运行。

利用 HFS Marketplace 解决方案，您只需几次点击操作即可部署 BeeGFS、Lustre 和 GlusterFS。

部署 HPC 文件系统

HFS 自定义项

对于复杂部署，如果您希望尽可能提高可配置性，Oracle 还在 Github 上提供了 Oracle Cloud Marketplace Stacks（基于 Web 的 GUI）和基于 Terraform 的 Oracle 快速入门部署模板。您可以轻松对 Terraform 模板或 Oracle Cloud Marketplace Stacks 进行自定义，满足您的独特需求，然后通过 Resource Manager 启动。

基于 OCI HPC 的 HFS 的优势

基于 Oracle Cloud Infrastructure 的共享文件存储解决方案能够以高吞吐量和一致的低延迟优势满足高性能工作负载的要求。

快速

使用搭载了本地 NVMe 的 HPC 裸金属计算实例和 100 Gbps 的低延迟集群网络，可实现高达 500 GB/秒的聚合吞吐量。

易于使用

只需几次点击操作即可轻松、快速地部署和运行标准配置。

万事俱备

基于 Terraform 脚本的一体化解决方案可帮助您轻松、快速地启动和运行符合 POSIX 标准的 Lustre、GlusterFS 或 BeeGFS。

成本低廉

本地部署文件服务器集群通常需要大量资本投资，而 Oracle Cloud 可以通过弹性扩展来满足存储和性能需求，最高吞吐量可达 500 GB/秒。

使用场景

Oracle 的预配置环境已在各行各业中得到了广泛应用，包括：

  • 将数据迁移到云端

    HFS 可用于构建一个可从本地部署计算节点，使用文件系统原生客户端 (NFSv3/NFSv4) 或 SMB 访问的 POSIX 文件系统，从而将数据迁移到 Oracle Cloud。

  • 工程和科学计算

    碰撞模拟、计算流体动力学 (CFD) 以及计算化学领域的 HPC 工作负载需要海量的训练数据，需要执行并行数据集处理，因此通常使用共享文件存储。

  • 人工智能和机器学习 (ML)

    AI 和机器学习工作负载的数据集通常十分庞大，文件存储系统必须能够非常快速地提供海量数据，同时满足多个模型的训练和验证要求。OCI 支持 WEKA、Lustre 以及 GlusterFS 等等。

  • 媒体处理和转码

    媒体数据处理工作流（例如视频渲染、视觉效果和媒体制作）需要大量的计算和存储资源，以此从大型资源数据集中创建大量视频文件。

  • 大数据和财务分析

    大数据分析使用场景（包括欺诈检测和财务分析）会产生大量数据，需要高性能存储来满足数据密集型应用需求。

"Oracle Cloud is the only major cloud provider delivering Spectrum Scale in a shared-storage architecture on bare-metal hardware.The Oracle offering has been tuned for the demands of HPC and big-data analytics and offers performance advantage over virtualized cloud offerings, improved flexibility, scalability, and manageability."

Michael SedlmayerRe-Store 总裁

“My team has tested SAS Grid on many public clouds.We are happy to say that Oracle Cloud’s infrastructure was able to provide the I/O throughput to the IBM Spectrum Scale shared file system that is needed for SAS Grid.”

Margaret Crevar SAS 公司 SAS 性能实验室高级经理

“The OCI HPC File system (HFS) graphical interface and its file system provisioning workflow, designed to be customer use case centric (scratch or persistent space, large, mixed or small file workloads, etc.) versus technology centric, reduces barriers to quickly deploy a parallel filesystem like BeeGFS on Oracle Cloud.Oracle Cloud offers infrastructure resources like 100Gbps RDMA RoCEv2 Clustered Network, Multi-attach Shared Block Volume service, local NVMe SSDs attached to Compute & Bare metal Compute shapes to deploy BeeGFS in many different configurations and deliver triple digit Giga-Byte throughput (500 GB/s) at lower price point compared to other public clouds.”

Howard WeissPacific Teck 创始人兼总经理

“Oracle's bare metal compute and clustered networking technology allowed BeeGFS on Oracle Cloud to outperform on-premise HPC file system performance (latency & IO throughput) for MPAS workload at a very low price point.Using Oracle Cloud's Cluster Network RDMA network, BeeGFS can see performance of up to 140 GB/s with as little as 14 servers.”

Simon Ponsford YellowDog 首席技术官

“The OCI parallel file system solution of BeeGFS using 100 Gbps RoCEv2 and local NVMe storage achieved similar or better IO write throughput performance compared to Lustre-based NVMe storage on a traditional DiRAC HPC system for the SWIFT cosmological application benchmark depending on the file type written.For 370 GB snapshot files, OCI achieved 6.2 GB/s and Lustre 7.0 GB/s and for 994 GB restart files OCI achieved 70 GB/s and Lustre 29.2 GB/s.”

Andrew Turner 爱丁堡大学并行计算中心 DiRAC 技术经理

基于 OCI 的 HPC 文件系统 — 特性对比

特性 BeeGFS GlusterFS IBM Spectrum Scale Lustre
许可类型 开源及面向企业特性的商业许可 开源 商业许可 开源
可伸缩 — 存储和性能 是 是 是 是
复制 是 * 是 是 是
高可用性 是 是 是 是
分层存储 是 * 否，实验性 是 是
POSIX 是 是 是 是
NFS 版本 v4 v3、v4 v3、v4 v3、v4
服务器消息块 (SMB) 是 是 是 否
RDMA 支持 是 否 是，纠删码版本 否
文件系统支持 SI 和社区 社区 SI SI 和社区
部署 HFS、Oracle 快速入门 HFS、Oracle 快速入门 Oracle 快速入门 HFS、Oracle 快速入门

* — 企业级特性，仅在商业许可版软件中可用。开源版本免费提供所有企业级特性，但仅可用于评估和非生产用途。
SI 表示系统集成商

2022 年 4 月 15 日

基于 OCI 的 WEKA 每秒性能高达 2 TB

首席解决方案架构师 Pinkesh Valdria

Oracle 和 WEKA 宣布推出基于 Oracle Cloud Infrastructure (OCI) 的 WEKA。两家公司一直在共同努力验证 WEKA 可以在 OCI 裸金属实例上运行，以满足客户对关键工作负载的严苛性能要求。除了性能以外，我们还使用与 S3 兼容的 OCI Object Storage 作为低成本层，验证了 WEKA 的透明存储分层特性。这一选项支持客户使用本地 NVMe SSD 存储热数据，使用对象存储存储暖数据和冷数据，进而在高性能文件系统中实现 PB 级性能。

阅读全文

精选博客

资源

Oracle Cloud 快速入门


Oracle Cloud 免费套餐

免费在 OCI 上构建、测试和部署应用。您只需一次注册，就能获得两项免费服务。

免费试用 Oracle Cloud

云技术培训 — Oracle Cloud Infrastructure

探索云技术培训资源，包括 Oracle Cloud Infrastructure 培训视频、自主学习实验室和认证。

了解您可以学习哪些知识

了解 Oracle Cloud Infrastructure

Oracle Cloud Infrastructure 不仅能提供公有云技术的弹性和实用性，还具有本地计算环境的控制性、安全性、性能和可预测性。

阅读指南 (PDF)

注：为免疑义，本网页所用以下术语专指以下含义：

  1. 除Oracle隐私政策外，本网站中提及的“Oracle”专指Oracle境外公司而非甲骨文中国 。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。