GPU 实例

Oracle Cloud Infrastructure (OCI) Compute 提供基于 NVIDIA GPU 的裸金属和虚拟机实例,为一系列广泛的使用场景提供强大支持,包括主流的图形和视频、要求严苛的 AI 训练和 HPC 工作负载

SoundHound 在 OCI 上扩展语音 AI,提高性能
SoundHound 在 OCI 上扩展语音 AI,将性能提高 50% 至 60% (3:28)
Oracle 和 NVIDIA 徽标 Oracle 携手 NVIDIA 在全球范围提供主权 AI 服务

Oracle 和 NVIDIA 联手提供加速计算和生成式 AI 服务,助力各类组织解决数字主权问题,严格管理国家和个人专有数据。

Scalability

65,536

Maximum number of GPUs in an OCI Supercluster1

Performance

3,200

Up to 3,200 Gb/sec of RDMA cluster network bandwidth2

Value

220%

GPUs for other CSPs can be up to 220% more expensive3

1: OCI Supercluster scales up to 65,536 NVIDIA B200 GPUs (planned); 32,768 NVIDIA A100 GPUs; and 16,384 NVIDIA H100 GPUs. 2: For bare metal instances with NVIDIA H100 GPUs. 3: Based on on-demand pricing as of June 5, 2024.

GPU 实例关键特性

实例之间的远程直接内存访问 (Remote Direct Memory Access, RDMA) 通信支持具有 3,200 Gb/秒带宽和超低延迟的大型 GPU 集群。

高性能 NVIDIA GPU 实例

NVIDIA Tensor Core GPU

OCI 通过以下 NVIDIA GPU 为裸金属和虚拟机计算实例提供了高价值和高性能:H100L40S(即将推出)、A100A10V100 以及 P100

裸金属级性能

裸金属计算实例让客户能够像在本地部署中一样,直接在服务器硬件上运行对延迟敏感的特殊工作负载。

高性能集群网络

Oracle 基于 RDMA 的超低延迟集群网络可提供微秒级延迟。在不影响性能的情况下,客户可以在一个集群中托管至多 512 个 GPU,并通过 OCI Superclusters 托管超过 512 个 GPU。

高性能 NVIDIA GPU 实例
集群节点的带宽;1 个节点 = 8 个 NVIDIA A100 GPU。

多种 VM 和裸金属计算实例选择

虚拟机和裸金属

根据您的工作负载选择合适的实例类型。

虚拟机 (VM) 实例

对于虚拟机来说,可以从 NVIDIA Ampere、Volta 和 Pascal GPU 中选择,这些 GPU 具有 1 至 4 个核心,16 至 64 GB 的 GPU 内存,以及高达 480 GB 的本地连接闪存。

裸金属实例

使用 NVIDIA H100 或 A100 Tensor Core GPU 为 HPC 和 AI 训练提供集群裸金属实例,每个节点具有 640 GB GPU 内存。

多种 VM 和裸金属计算实例选择
比较 NVIDIA V100 和 A10 GPU 的性能

安全的云基础设施

隔离网络虚拟化

通过隔离网络虚拟化防止租户遭受攻击。作为 Oracle Cloud Infrastructure 安全优先架构的核心,该特性可通过定制设计的 SmartNIC 实现网络隔离和虚拟化,有效防范恶意软件攻击。

Oracle Cloud Infrastructure Identity and Access Management

利用可按用户和资源逻辑组轻松定义的策略,控制哪些用户能够访问 Oracle Cloud Infrastructure 资源,用户拥有哪些类型的访问权限,以及具体可以访问哪些资源。或通过现有的组织层级结构和联合目录服务(包括 Microsoft、Okta 和其他 SAML 目录提供程序)来管理身份,进行访问授权。

硬件信任根

利用定制构建且基于硬件的信任根技术,在每次供应新服务器或建立新租户时擦除并重新安装固件,从而降低 Oracle Cloud Infrastructure 租户遭受基于固件的攻击的风险。

Oracle Web Application Firewall

利用基于云技术、符合 PCI 标准的全局 Web 应用防火墙 (WAF) 服务保护应用免受恶意和非授权互联网流量攻击。该服务结合了威胁情报和一致的规则实施,能够有效增强防御力并保护面向互联网的应用服务器。

Oracle Cloud Infrastructure Vault

集中管理和控制用于保护企业数据和访问资源的加密密钥和机密凭证,并将其安全存储在符合联邦信息处理标准 (FIPS) 140-2 级别 3 认证的硬件安全模块 (HSM) 中。

用户可以通过 OCI Identity and Access Management 进一步控制单个密钥和密钥库的访问权限,并利用 OCI Audit 来监视密钥生命周期中的所有变更,确保满足日益严格的合规要求。

支持多种操作系统

多种主流操作系统选项

Oracle 支持广泛的 Microsoft Windows Server 和企业 Linux 操作系统,包括 Oracle Linux、CentOS 和 Ubuntu 等。Oracle Autonomous Linux 是一款免费的自治操作环境,可有效帮助客户消除复杂性和人为错误,从而显著节省成本、增强安全性并提高可用性。

自动管理操作系统

使用 OCI OS Management 服务,您可以为操作系统环境设置自动更新和打补丁策略。

查看文档

自带映像 (BYOI)

您可以在 Oracle 计算实例上运行自己的操作系统和虚拟机管理程序,并在不同配置下使用同一映像。

访问现成的软件

获取软件和磁盘映像

Oracle Cloud Marketplace 针对数据科学分析人工智能 (AI) 以及机器学习 (ML) 模型提供相应的软件和磁盘映像,您可以快速获取数据洞察。

NVIDIA GPU Cloud

获取上百种针对 GPU 优化的应用,轻松运行各种行业的机器学习、深度学习和高性能计算工作负载。了解更多

NVIDIA RTX 虚拟工作站

借助基于 Oracle Cloud 运行的 NVIDIA RTX Virtual Workstation,您可以随时随地为员工提供强大的工作站性能。

微服务和容器

容器注册表

使用容器构建应用的开发人员可以利用 Oracle 托管的高可用性专用容器注册表服务来存储和共享容器映像,并利用 Docker V2 API 和标准的 Docker 命令行界面 (CLI) 在注册表与容器之间推送/拉取 Docker 映像。支持将映像直接拉取到 Kubernetes 部署中。

Oracle Functions

函数即服务 (FaaS) 支持开发人员运行与 Oracle Cloud Infrastructure、Oracle Cloud Applications 以及第三方服务集成的无服务器应用。借助开源 Fn Project 社区的集体智慧提高开发人员的工作效率。

GPU 实例使用场景

面向深度学习训练和推理的人工智能基础设施

使用 OCI Data Science、裸金属实例、基于 RDMA 的集群网络和 NVIDIA GPU 训练 AI 模型。


AI 训练和推理 下图描述了深度学习模型开发的两个阶段:模型训练和模型推理。在左侧的模型训练中,未经训练的神经网络被输入到由 OCI Data Science、裸金属计算、本地存储和集群网络支持的训练算法中。训练算法的输出是具有新功能的训练模型。右侧描述了模型推理步骤。DALL-E 2 等经过训练的模型可以接受文本输入并生成图像。文本输入被馈送到经过训练的模型中,并提供模型的图像输出。

Virtual Desktop Infrastructure (VDI)

由 NVIDIA GPU 提供支持的 OCI Compute 为 VDI 提供一致的高性能。


Virtual Desktop Infrastructure Virtual Desktop Infrastructure

使用 GPU 实例的 CFD 和高性能计算

OCI 支持计算机辅助工程和计算流体动力学快速预测对象的空气动力学特性。


使用 GPU 实例的 CFD 和高性能计算 使用 GPU 实例的 CFD 和高性能计算

了解 OCI 和 NVIDIA 如何为新一代 AI 模型提供强大支持

Adept 携手 Oracle 和 NVIDIA 为每个人打造强大的 AI 队友

“With the scalability and computing power of OCI and NVIDIA technology, we are training a neural network to use every software application, website, and API in existence—building on the capabilities that software makers have already created.”

Adept 首席执行官 David Luan

National Grid 利用 Oracle Cloud,将天气分析准确率提高 40%

“Oracle Cloud Infrastructure allows us to process tens of thousands of models, so we can train our algorithms very quickly.It’s one of the best platforms in the world for the type of work we do.”

James Kelloway
National Grid ESO 能源智能经理

SoundHound 使用 OCI 驱动企业高速增长

“We view this relationship with OCI as long term.We’re excited about taking advantage of the GPUs and using that to train our next generation of voice AI.There's a lot that we think that OCI will provide for us in terms of future growth.”

联合创始人兼产品副总裁 James Hom
SoundHound

Softdrive 利用 OCI Compute 和 NVIDIA A10 提供新一代工作站

“Softdrive is the future of business computers.In the cloud PC market, performance means everything.NVIDIA GPUs on OCI bare metal servers have dramatically improved the experience for our customers.”

Leonard Ivey,联合创始人
Softdrive

Twist Bioscience 利用 OCI 和 AI 推进蛋白质计划

“With NVIDIA GPUs running on OCI bare metal instances, Twist experiences significant performance improvements across its ParaFold and ESMFold AI models.”

基于 OCI 的 WEKA 每秒性能高达 2 TB

“Oracle Cloud Infrastructure is a top tier Hyperscaler cloud that provides XaaS compute and application services to Oracle customers, and offers a lot more than you might expect, including AI/ML and GPU workloads.”

Joel Kaufman
WEKA 高级技术营销经理

Tango Eye 利用 Oracle 产品,以更低的成本为更多客户提供服务

“we have quadrupled our data footprint while reducing our costs by 40%.We use 33% less GPU compute capacity on OCI.”

Suren Gounder
Tango Eye 首席执行官

Altair 在 OCI 上连夜测试和运行复杂的模拟程序

“The integration with Oracle’s cloud platform provides us with state-of-the-art GPU compute resources, world-class security, and highly flexible VMware environments.Ultimately, this leads to improved productivity, optimized resource utilization, and faster time to market.”

Sam Mahalingam
Altair 首席技术官

Suno 在 OCI 上使用基础模型创建高质量音乐和音频
2023 年 11 月 13 日

Oracle 宣布计划在 OCI 上提供 NVIDIA Grace Hopper 超级芯片

Oracle Cloud Infrastructure 副总裁 Sagar Rawal

今天,在 SC23 大会上,我们宣布即将推出由 NVIDIA GH200 Grace Hopper 超级芯片提供支持的 Oracle Cloud Infrastructure (OCI) Compute 实例。GH200 包含一颗 Arm CPU(Grace),通过 576 GB 高带宽内存空间连接 NVIDIA H100 Tensor Core GPU(Hopper)。

阅读全文

Get started with GPU instances

Try Oracle AI and get a 30-day trial

Oracle offers a free pricing tier for most AI services as well as a free trial account with US$300 in credits to try additional cloud services. AI services are a collection of offerings, including generative AI, with prebuilt machine learning models that make it easier for developers to apply AI to applications and business operations.

  • Which Oracle AI and ML services offer a free pricing tier?

    • OCI Speech
    • OCI Language
    • OCI Vision
    • OCI Document Understanding
    • Machine Learning in Oracle Database
    • OCI Data Labeling

    You also only have to pay compute and storage charges for OCI Data Science.

See how much you can save with OCI

Oracle Cloud pricing is simple, with consistent low pricing worldwide, supporting a wide range of use cases. To estimate your low rate, check out the cost estimator and configure the services to suit your needs.

Access a GPU and AI expert

Get help building your next GPU solution or deploying your AI workload on OCI AI infrastructure.

  • They can answer questions such as

    • How do I get started with Oracle Cloud?
    • What kinds of AI workloads can I run on OCI?
    • What types of AI services does OCI offer?

注:为免疑义,本网页所用以下术语专指以下含义:

  1. Oracle专指Oracle境外公司而非甲骨文中国。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。