Oracle Cloud Infrastructure HPC 文件系统 (HFS)

高性能文件系统可满足具有极高数据读写吞吐率要求的工作负载的需求。您可以通过 Oracle Cloud Marketplace 获取 OCI HPC 文件系统 (HFS),进而轻松部署各种先进的高性能文件服务器。只需点三下鼠标,您就能启动和运行一个支持 PB 级容量和数十 Gb 级吞吐量的文件服务器。

部署 HFS 解决方案时

部署 HFS 解决方案时,您可以指定您对文件系统的要求,包括:

  • 类型(暂存或持久)
  • 工作负载类型(小型、混合或大型文件)
  • 文件系统规模(文件服务器数量和存储容量)

在指定上述参数后,HFS Marketplace 解决方案即会应用默认参数,以此降低复杂性和缩短部署用时。例如,在构建暂存文件系统时,它将选择本地 NVMe 存储;对于混合或小型文件工作负载,它将自定义元数据。然后,文件系统会在 15 分钟内启动并投入运行。

利用 HFS Marketplace 解决方案,您只需几次点击操作即可部署 LustreGlusterFS

HFS 自定义项

对于复杂部署,如果您希望尽可能提高可配置性,Oracle 还在 Github 上提供了 Oracle Cloud Marketplace Stacks(基于 Web 的 GUI)和基于 Terraform 的 Oracle 快速入门部署模板。您可以轻松对 Terraform 模板或 Oracle Cloud Marketplace Stacks 进行自定义,满足您的独特需求,然后通过 Resource Manager 启动。

基于 OCI HPC 的 HFS 的优势

基于 Oracle Cloud Infrastructure 的共享文件存储解决方案能够以高吞吐量和一致的低延迟优势满足高性能工作负载的要求。

快速

使用搭载了本地 NVMe 的 HPC 裸金属计算实例和 100 Gbps 的低延迟集群网络,可实现高达 500 GB/秒的聚合吞吐量。

易于使用

只需几次点击操作即可轻松、快速地部署和运行标准配置。

万事俱备

基于 Terraform 脚本的一体化解决方案可帮助您轻松、快速地启动和运行符合 POSIX 标准的 Lustre 和 GlusterFS 所需的一切。

成本低廉

本地部署文件服务器集群通常需要大量资本投资,而 Oracle Cloud 可以通过弹性扩展来满足存储和性能需求,最高吞吐量可达 500 GB/秒。

使用场景

Oracle 的预配置环境已在各行各业中得到了广泛应用,包括:

  • 将数据迁移到云端

    HFS 可用于构建一个可从本地部署计算节点,使用文件系统原生客户端 (NFSv3/NFSv4) 或 SMB 访问的 POSIX 文件系统,从而将数据迁移到 Oracle Cloud。

  • 工程和科学计算

    碰撞模拟、计算流体动力学 (CFD) 以及计算化学领域的 HPC 工作负载需要海量的训练数据,需要执行并行数据集处理,因此通常使用共享文件存储。

  • 人工智能和机器学习 (ML)

    AI 和机器学习工作负载的数据集通常十分庞大,文件存储系统必须能够非常快速地提供海量数据,同时满足多个模型的训练和验证要求。OCI 支持 WEKA、Lustre 以及 GlusterFS 等等。

  • 媒体处理和转码

    媒体数据处理工作流(例如视频渲染、视觉效果和媒体制作)需要大量的计算和存储资源,以此从大型资源数据集中创建大量视频文件。

  • 大数据和财务分析

    大数据分析使用场景(包括欺诈检测和财务分析)会产生大量数据,需要高性能存储来满足数据密集型应用需求。

“Oracle Cloud 是一家在裸金属硬件上以共享存储架构提供 Spectrum Scale 的主流云服务提供商。该 Oracle 产品专为满足高性能计算和大数据分析的需求而进行了深度优化。与虚拟化云服务相比,它不仅具备显著的性能优势,还提供了更高的灵活性、可扩展性和可管理性。”

Michael SedlmayerRe-Store 总裁

“我的团队已经在多个公有云上对 SAS Grid 进行了测试。我们很高兴地宣布,Oracle Cloud 的基础设施能够为 IBM Spectrum Scale 共享文件系统提供 SAS Grid 所需的 I/O 吞吐量。”

Margaret Crevar SAS 公司 SAS 性能实验室高级经理

“OCI HPC 文件系统 (HFS) 的图形界面及其文件系统预配工作流,采用了以‘客户使用场景为中心’(而非以技术为中心)的设计理念,支持用户灵活配置临时空间或持久化空间,以及大文件、混合文件或小文件等工作负载。这大幅降低了在 Oracle Cloud 上快速部署 BeeGFS 等并行文件系统的门槛。Oracle Cloud 提供了丰富的基础设施资源,包括 100Gbps RDMA RoCEv2 集群网络、多挂载共享块存储卷服务,以及附加在计算实例和裸金属计算实例上的本地 NVMe SSD。借助这些资源,用户可以以多种不同的配置来部署 BeeGFS,并以更具竞争力的价格实现三位数(高达 500 GB/s)的 GB 级吞吐量。”

Howard WeissPacific Teck 创始人兼总经理

“Oracle 的裸金属计算与集群网络技术,使 BeeGFS 在 Oracle Cloud 上运行 MPAS 工作负载时,能够以极低的成本,在性能(延迟与 I/O 吞吐量)上超越本地部署的 HPC 文件系统。借助 Oracle Cloud 的集群网络 RDMA 网络,BeeGFS 仅需 14 台服务器即可实现高达 140 GB/s 的性能。”

Simon Ponsford YellowDog 首席技术官

“在 SWIFT 宇宙学应用基准测试中,采用 100 Gbps RoCEv2 网络和本地 NVMe 存储的 OCI BeeGFS 并行文件系统解决方案,根据所写入的文件类型,实现了与 Lustre 相当甚至更优的 I/O 写入吞吐量性能。具体而言,对于 370 GB 的快照文件,OCI 的写入速度为 6.2 GB/s,而 Lustre 为 7.0 GB/s;对于 994 GB 的重启文件,OCI 的写入速度高达 70 GB/s,而 Lustre 为 29.2 GB/s。”

Andrew Turner 爱丁堡大学并行计算中心 DiRAC 技术经理
2022 年 4 月 15 日

基于 OCI 的 WEKA 每秒性能高达 2 TB

首席解决方案架构师 Pinkesh Valdria

Oracle 和 WEKA 宣布推出基于 Oracle Cloud Infrastructure (OCI) 的 WEKA。两家公司一直在共同努力验证 WEKA 可以在 OCI 裸金属实例上运行,以满足客户对关键工作负载的严苛性能要求。除了性能以外,我们还使用与 S3 兼容的 OCI Object Storage 作为低成本层,验证了 WEKA 的透明存储分层特性。这一选项支持客户使用本地 NVMe SSD 存储热数据,使用对象存储来存储暖数据和冷数据,进而在高性能文件系统中实现 PB 级性能。

阅读全文

资源

开始使用 Oracle Cloud


Oracle Cloud 免费套餐

免费在 Oracle Cloud 上构建、测试和部署应用。您只需一次注册,就能获得两项免费服务。


Oracle Cloud Infrastructure 平台概览

Oracle Cloud Infrastructure 能够提高企业级性能密集型应用的性能和安全性并为您节省成本。


云技术培训 — Oracle Cloud Infrastructure

探索云技术培训资源,包括 Oracle Cloud Infrastructure 培训视频、自主学习实验室和认证。


了解 Oracle Cloud Infrastructure

Oracle Cloud Infrastructure 不仅能提供公有云技术的弹性和实用性,还具有本地计算环境的控制性、安全性、性能和可预测性。

注:为免疑义,本网页所用以下术语专指以下含义:

  1. 除Oracle隐私政策外,本网站中提及的“Oracle”专指Oracle境外公司而非甲骨文中国。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。