GPU 執行個體
Oracle Cloud Infrastructure (OCI) Compute 為裸機和虛擬機器 (VM) 執行處理提供業界頂尖的可擴展性，並具備成本效能，此執行處理由 NVIDIA GPU 提供，可用於主流圖形、 AI 推論、AI 訓練、數位分身和 HPC 。
OCI Supercluster 可支援數千個 NVIDIA 和 AMD GPU，並具備更多優點，例如硬體加速、不含虛擬機器管理程式負荷的裸機執行個體等等。
為什麼 GPU 執行個體需要使用 OCI？
可擴展性
131,072
OCI Supercluster 中的 GPU 數目上限 1
效能
3,200
高達 3,200 Gb/ 秒的 RDMA 叢集網路頻寬 2
價值
220%
其他 CSP 的 GPU 成本可能高出 220%3
多樣選擇
VM/BM
透過虛擬機器調整規模並透過裸機執行個體調整效能
1.OCI Supercluster 最多可擴展至 131,072 個 NVIDIA B200 GPU (計畫中)；NVIDIA GB200 Superchips 中超過 100,000 個 NVIDIA B200 GPU；65,536 H200 GPU；32,768 個 NVIDIA A100 GPU；16,384 個 NVIDIA H100 GPU；和 16,384 個 AMD MI300X GPU。
2. 適用於具有 NVIDIA H100 GPU 和 AMD MI300X GPU 的裸機執行個體。
3。 根據截至 2024 年 6 月 5 日的按需定價。
使用 AMD Instinct MI300X GPU 註冊 OCI Compute 全新「免費試用」計畫。
GPU 執行個體 - 主要功能
OCI 是唯一提供配備 NVIDIA 和 AMD GPU 的裸機執行個體的主要雲端供應商，以實現高效能且無需虛擬化開銷。對於 AI 訓練期間的檢查點，我們的執行個體為每個節點提供最大的本地儲存 (使用 H100 GPU 時為 61.4 TB)。
高效能 NVIDIA 和 AMD GPU
NVIDIA Tensor Core GPU
OCI 為由 NVIDIA H100 Tensor Core GPU 、L40S GPU 、A100 Tensor Core GPU 、A10 Tensor Core GPU 及舊版 NVIDIA GPU 提供的裸機和虛擬機器運算執行個體提供最高價值和效能。OCI 計畫提供配備 NVIDIA H200 和 Blackwell GPUs 的執行個體。
NVIDIA 超級晶片
OCI 提供 NVIDIA GH200 Grace Hopper Superchip，並計畫提供用於 LLM 推論的 GB200 Grace Blackwell Superchip。
AMD Instinct GPU
OCI 提供帶有 192 GB 記憶體的 AMD Instinct MI300X GPU，以具有競爭力的價格提供。
高效能叢集網路
Oracle 的超低延遲叢集網路是基於遠端直接記憶體存取 (RDMA)，可達到微秒級低延遲。
在 VM、裸機執行個體和 Kubernetes 叢集上部署
VM 執行個體
對於虛擬機器，可以選擇 NVIDIA 的 Hopper、Ampere 和舊版 GPU 架構；每個虛擬機器具有一至四個核心、16 至 64 GB GPU 記憶體，以及高達 48 Gb/秒的網路頻寬。
裸機執行個體
使用搭載 AMD Instinct GPU、NVIDIA Blackwell GPU 或 Superchips、NVIDIA Hopper GPU 或 Superchips、NVIDIA Ampere GPU 的裸機執行個體。
Kubernetes 協調流程
利用託管 Kubernetes 、服務網格和容器登錄來協調 AI 和機器學習 (ML) 訓練和容器推論。
存取現成的軟體
存取軟體和磁碟映像
Oracle Cloud Marketplace 為資料科學、分析、人工智慧 (AI) 和機器學習 (ML) 模型提供軟體和磁碟映像，讓客戶能夠快速從資料中取得洞察分析。
NVIDIA AI Enterprise
存取 NVIDIA AI Enterprise，這是一個用於資料科學和生產 AI 的端對端軟體平台，其中包括生成式 AI、電腦視覺和語音 AI。
NVIDIA DGX Cloud
OCI 上的 NVIDIA DGX Cloud 是一個 AI 訓練即服務平台，為開發人員提供針對生成式 AI 進行最佳化的無伺服器體驗。
NVIDIA GPU Cloud Machine Image
使用 NVIDIA GPU Cloud Machine Image 存取數百個 GPU 最佳化的應用程式，以進行涵蓋各種產業和工作負載的機器學習、深度學習和高效能運算。
NVIDIA RTX Virtual Workstation
每當有需要時，員工可在 Oracle Cloud 上執行 NVIDIA RTX Virtual Workstation，以獲得強大的工作站效能。
控制您的 AI 運算環境和資料
OCI Dedicated Region
藉助 OCI Dedicated Region，在您的資料中心部署完整的雲端區域，以完全掌控您的資料和應用程式。
Oracle Alloy
成為 Oracle Alloy 的合作夥伴，提供雲端服務來滿足特定的市場需求。
微服務和容器
容器登錄
開發人員使用容器建置的應用程式，會利用 Oracle 管理的專用容器登錄服務來儲存和共用容器映像。使用 Docker V2 API 和標準 Docker 指令行介面 (CLI)，將 Docker 映像推送至登錄或從中提取。映像可直接下載到 Kubernetes 部署位置。
Oracle Functions
函數即服務 (FaaS) 使開發人員能夠執行與 Oracle Cloud Infrastructure、Oracle Cloud Applications 和第三方服務整合的無伺服器應用程式。利用開源 Fn Project 社群來提高開發人員效率。
GPU 執行個體 - 使用案例
用於深度學習訓練和推論的 AI 基礎架構
使用 OCI Data Science、裸機執行個體、以 RDMA 為基礎的叢集網路和 NVIDIA GPU 訓練 AI 模型。
此圖表描述深度學習模型開發的兩個階段：模型訓練和模型推斷。在左側的模型訓練中，未訓練的神經網路會輸入至由 OCI 資料科學、裸機運算、本機儲存及叢集網路提供的訓練演算法。訓練演算法的輸出為具有新功能的訓練模型。右側描述模型推斷步驟。假設有一個訓練模型 (例如 DALL-E 2)，可採用文字輸入並產生影像。文字輸入會饋送至訓練模型，然後從該模型提供影像輸出。
使用 GPU 執行個體進行 CFD 和高效能運算
OCI 啟用電腦輔助工程和運算流體動力學，以快速預測物體的空氣動力特性。
使用 GPU 執行個體進行 CFD 和高效能運算
GPU 執行個體 — 客戶
現已正式推出：最快、最快的雲端 AI 超級電腦
OCI 首席產品經理 Sagar ZanwarOCI 產品行銷總監 Akshai Parthasarathy
我們很高興宣布推出搭載 NVIDIA H200 Tensor Core GPU 的 Oracle Cloud Infrastructure (OCI) Supercluster。最大的雲端 AI 超級電腦，我們最新的超級叢集可擴充至領先業界的 65,536 個 GPU。
閱讀完整文章精選部落格
- 2024 年 9 月 26 日 正式推出具備 AMD MI300X GPU 的 OCI Compute BM.GPU.MI300X.8
- 2024 年 9 月 11 日 宣布正式推出適用於 AI、模擬及數位分身工作負載的 NVIDIA L40S GPU OCI Compute
- 2024 年 7 月 10 日 MLPerf OCI GPU Superclusters 上的訓練基準 4.0 結果
瞭解 Oracle AI 基礎架構和 AMD Instinct GPU 如何提供高效能、可擴展且具成本效益的基礎，以最佳化 AI/ML 工作負載。
開始使用 GPU 執行個體
試用 Oracle AI，並享有 30 天試用期
Oracle 針對大多數 AI 服務提供免費的定價等級，以及附贈 300 美元點數的免費試用帳戶，這些點數可用於試用額外的雲端服務。AI 服務是一系列具有預建機器學習模型的服務 (包括生成式 AI)，可讓開發人員更輕鬆地將 AI 套用至應用程式和業務營運。
-
哪些 Oracle AI 和機器學習服務提供免費的定價等級？
- OCI Speech
- OCI Language
- OCI Vision
- OCI Document Understanding
- Oracle Database 中的機器學習功能
- OCI Data Labeling
您也只需要支付 OCI 資料科學的運算和儲存空間費用。
瞭解 OCI 可以助您節省多少成本
Oracle Cloud 的定價簡單明瞭，在全球各地保持一致的實惠價格，而且支援廣泛的使用案例。若要預估您的費率，請查看費用預估工具，並依照您的需要設定服務。
體驗與眾不同之處
- 1/4 的外送頻寬成本
- 3 倍運算性價比
- 每個區域的定價同樣實惠
- 定價實惠，且無須長期履行合約
-
我們的業務代表可以為您解答以下問題：
- 如何開始使用 Oracle Cloud？
- 我可以在 OCI 上執行哪些類型的 AI 工作負載？
- OCI 提供哪些類型的 AI 服務？