GPU 執行個體

Oracle Cloud Infrastructure (OCI) Compute 為裸機與虛擬機器 (VM) 執行個體提供業界領先的可擴充性與效能，並採用 NVIDIA 與 AMD GPU，支援主流圖形處理、AI 推論、AI 訓練、數位分身及高效能運算 (HPC)。

瞭解我們的 AI 創新最新動態
Evidium 透過 Oracle AI Infrastructure 擴展醫學研究 (3:04)

閱讀最新的 OCI 公告

瞭解如何使用 OCI 和 NVIDIA RTX PRO 支援生產 AI。

存取 OCI 和 NVIDIA RTX PRO 6000 GPU 的網路研討會

為什麼 GPU 執行個體需要使用 OCI？

可擴展性

131,072

OCI Supercluster 中的 GPU 數量上限 1

效能

3,200

高達 3,200 Gb/秒的 RDMA 叢集網路頻寬2

多元選擇

VM/BM

透過虛擬機器調整至合適規模，並透過裸機執行個體最佳化效能

1. OCI Supercluster 最多可擴充至 131,072 個 NVIDIA Blackwell B200 GPU；NVIDIA Grace Blackwell GB200 Superchips 中的 131,072 個 NVIDIA Blackwell B200 GPU；65,536 個 NVIDIA H200 Tensor Core GPU；32,768 個 NVIDIA A100 Tensor Core GPU；16,384 個 NVIDIA H100 Tensor Core GPU；以及 16,384 個 AMD MI300X GPU。

2. 適用於配備 NVIDIA B200、H200 和 H100 GPU 以及 AMD Instinct MI300X 加速器的裸機執行個體。

立即報名參加 OCI Compute 服務最新推出的「先試後買」計畫，親自體驗 AMD Instinct MI300X GPU 的強大運算力。

GPU 執行個體 - 主要功能

OCI 是唯一提供配備 NVIDIA 與 AMD GPU 裸機執行個體的主要雲端供應商，能夠帶給客戶極致效能，同時免除虛擬化的間接費用。對於 AI 訓練期間的檢查點，我們的執行個體可為每個節點提供最大的本機儲存空間 (使用 H100 GPU 時為 61.4 TB)。搭載 NVIDIA GPU 的 OCI 虛擬機器完美兼顧效能與價格，且費用始終比 AWS 和 Azure 更便宜。

高效能 NVIDIA 和 AMD GPU

NVIDIA Tensor Core GPU

無論是裸機還是虛擬機器運算執行個體，OCI 都能提供超高價值與頂尖效能，同時支援 NVIDIA Blackwell GPU、H200 Tensor Core GPU、H100 Tensor Core GPU、L40S GPU、A100 Tensor Core GPU、A10 Tensor Core GPU 及早期型號的 NVIDIA GPU。

NVIDIA 超級晶片

OCI 提供 NVIDIA GB200 Grace Blackwell Superchip，其超級叢集可擴充至超過 10 萬個 GPU。

AMD Instinct 加速器

OCI 提供配備 192 GB 記憶體的 AMD Instinct MI300X GPU，價格極具競爭力，每 GPU 小時僅需 6 美元。

高效能叢集網路

Oracle 採用基於遠端直接記憶體存取 (RDMA) 的超低延遲叢集網路，可實現微秒級延遲。

高效能 NVIDIA GPU 執行個體
GPT-3 175B 訓練：訓練時間與 OCI Supercluster 中部署的 NVIDIA H100 GPU 數量之關係 (0:55)。來源：OCI 的 MLPerf v4.1 訓練效能

在 VM、裸機執行個體和 Kubernetes 叢集上部署

VM 執行個體

針對 VM，您可以選擇 NVIDIA 的 Hopper、Ampere 與舊版 GPU 架構，每台 VM 配備 1 至 4 個核心、16 至 64 GB 的 GPU 記憶體，並提供高達 48 Gb/秒的網路頻寬。

裸機執行個體

將 OCI Supercluster 與搭載 AMD Instinct GPU、NVIDIA Blackwell GPU 或超級晶片、NVIDIA Hopper GPU 或超級晶片、NVIDIA Ampere GPU 的裸機執行個體搭配使用。

Kubernetes 協調作業

利用託管 Kubernetes、服務網格和容器登錄，透過容器協調 AI 與機器學習 (ML) 的訓練及推論。

從各種 VM 和裸機運算執行個體中選擇
比較 NVIDIA V100 和 A10 GPU 的效能

存取立即可用的現成軟體

存取軟體和磁碟映像檔

Oracle Cloud Marketplace 為資料科學、分析、人工智慧 (AI) 和機器學習 (ML) 模型提供軟體和磁碟映像檔，讓客戶能夠快速從資料中取得洞察分析。

NVIDIA AI Enterprise

存取 NVIDIA AI Enterprise，這是一個專為資料科學和生產 AI 打造的端對端軟體平台，內建生成式 AI、電腦視覺和語音 AI。

NVIDIA DGX Cloud

OCI 上的 NVIDIA DGX Cloud 是一個 AI 訓練即服務平台，為開發人員提供針對生成式 AI 最佳化的無伺服器體驗。

NVIDIA GPU Cloud Machine Image

透過 NVIDIA GPU Cloud Machine Image，取得數百種已針對機器學習、深度學習與高效能運算完成 GPU 最佳化的應用程式，適用於各行各業與各種工作負載。

NVIDIA RTX Virtual Workstation

在 Oracle Cloud 上執行 NVIDIA RTX Virtual Workstation，讓員工無論身在何處，都能享受強大的工作站效能。

控制您的 AI 運算環境和資料

分散式雲端

與 GPU 運算結合時，OCI 的分散式雲端可協助組織在需要的地方以所需方式執行 AI 和雲端服務。

主權雲端

支援特定地區或國家內的資料駐留，包括歐盟、美國、英國和澳洲。

OCI Dedicated Region

透過 OCI Dedicated Region 在您的資料中心部署完整的雲端區域，以完全掌控您的資料和應用程式。

Oracle Alloy

成為 Oracle Alloy 的合作夥伴，提供雲端服務來滿足特定的市場需求。

微服務和容器

容器登錄

使用容器建置應用程式的開發人員，可利用高可用性且由 Oracle 託管的私有容器登錄服務來儲存和共用容器映像檔。使用 Docker V2 API 和標準 Docker 命令行介面 (CLI)，將 Docker 映像檔推送至登錄或從中提取。映像檔可直接提取至 Kubernetes 部署中。

Oracle Functions

函數即服務 (FaaS) 可讓開發人員執行與 Oracle Cloud Infrastructure、Oracle Cloud Applications 及第三方服務整合的無伺服器應用程式。善用開放原始碼 Fn Project 社群，提高開發人員的效率。

GPU 執行個體 - 使用案例

專為深度學習訓練與推論打造的 AI 基礎架構

使用 OCI Data Science、裸機執行個體、基於 RDMA 的叢集網路與 NVIDIA GPU 來訓練 AI 模型。


AI 訓練和推論 此圖表描述深度學習模型開發的兩個階段：模型訓練和模型推論。在左側的模型訓練中，未訓練的神經網路會輸入至由 OCI Data Science、裸機運算、本機儲存空間與叢集網路驅動的訓練演算法。訓練演算法的輸出結果為具備全新能力的訓練模型。右側描述模型推論步驟。假設有一個訓練模型 (例如 DALL-E 2)，可接收文字輸入並生成影像。文字輸入會饋送至訓練模型，並由模型輸出對應的影像。

虛擬桌面基礎架構 (VDI)

由 NVIDIA GPU 驅動的 OCI Compute 可為 VDI 提供一致的高效能。


虛擬桌面基礎架構 虛擬桌面基礎架構

使用 GPU 執行個體進行 CFD 和高效能運算

OCI 支援電腦輔助工程與運算流體動力學，能快速預測物體的空氣動力特性。


使用 GPU 執行個體進行 CFD 和高效能運算 使用 GPU 執行個體進行 CFD 和高效能運算

GPU 執行個體 - 客戶

開始使用 GPU 執行個體

試用 Oracle AI，並享有 30 天試用期

Oracle 針對大多數 AI 服務提供免費定價層級，並提供內含 300 美元點數的免費試用帳戶，可用於體驗更多雲端服務。AI 服務是一系列內建生成式 AI 的服務方案，配備預建的機器學習模型，可讓開發人員更輕鬆地將 AI 整合至應用程式與營運活動中。

  • 哪些 Oracle AI 和機器學習服務提供免費的定價層級？

    • OCI Speech
    • OCI Language
    • OCI Vision
    • OCI Document Understanding
    • Oracle Database 中的機器學習功能
    • OCI Data Labeling

    您同樣只需支付 OCI Data Science 的運算與儲存空間費用。

立即運用 GPU

瞭解 Oracle 如何協助客戶在各種 AI 使用案例中運用 NVIDIA 和 AMD GPU。

  • GPU 執行個體能做什麼？

    • 託管使用 NVIDIA 和 AMD GPU 的大型語言模型 (LLM)
    • 使用 NVIDIA GPU 執行分散式多節點訓練
    • 使用 LLM 和檢索增強生成功能自動執行任務
    • 擴展 NVIDIA NIM 推論

瞭解 OCI 可以助您節省多少成本

Oracle Cloud 的定價簡單明瞭，在全球各地保持一致的實惠價格，而且支援廣泛的使用案例。若要預估您的費率，請查看費用預估工具，並依照您的需要設定服務。

體驗與眾不同之處

  • 1/4 的輸出頻寬成本
  • 3 倍運算性價比
  • 每個區域的定價同樣實惠
  • 定價實惠且無須長期承諾

享有 GPU 與 AI 專家的專業支援

取得協助，以建置下一個 GPU 解決方案或在 OCI AI 基礎架構上部署 AI 工作負載。

  • 這些專家可以為您解答以下問題：

    • 如何開始使用 Oracle Cloud？
    • 我可以在 OCI 上執行哪些類型的 AI 工作負載？
    • OCI 提供哪些類型的 AI 服務？