簡介
如何針對大型語言模型大規模提供推論要求，並加速 AI 部署？透過在 Oracle Cloud Infrastructure (OCI) Container Engine for Kubernetes (OKE) 上部署企業級解決方案 NVIDIA NIM。在此示範中，我們將示範如何使用 OCI Object Storage 上代管的模型儲存庫，在 OKE 上部署 NVIDIA NIM。使用 Helm 部署，可根據推論要求的數目輕鬆縱向擴展和縮減複本數目，並輕鬆監控。運用 OCI Object Storage 從任何地方部署模型，並支援各種類型的模型。由 NVIDIA GPU 支援，充分利用 NIM，協助您獲得推論要求的最高傳輸量和最低延遲。