1. Oracle Japan
  2. クラウド
  3. 人工知能
  4. ソリューション
AIソリューション

OCI Container Engine for Kubernetesによる大規模なNVIDIA NIM推論マイクロサービス

AIソリューション・トピック

概要

大規模な言語モデルに対して推論リクエストを大規模に提供し、AI導入を加速するにはどうすればよいでしょうか。Oracle Cloud Infrastructure (OCI) Container Engine for Kubernetes (OKE)にエンタープライズ対応ソリューションNVIDIA NIMをデプロイします。このデモでは、OCI Object Storageでホストされているモデル・リポジトリを使用して、OKEにNVIDIA NIMをデプロイする方法を示します。Helmデプロイメントを使用して、推論リクエストの数に応じてレプリカの数を簡単にスケール・アップおよびスケール・ダウンし、簡単に監視できます。OCI Object Storageを活用して、さまざまなタイプのモデルをサポートし、どこからでもモデルを導入できます。NVIDIA GPUを搭載し、NIMを最大限に活用して、推論リクエストの最大スループットと最小レイテンシを実現できます。

前提条件と設定

  1. Oracle Cloudアカウント- サインアップ・ページ
  2. 単一のNVIDIA A10 Tensor Core GPUを搭載したVM.GPU.A10.1へのアクセス- サービス制限
  3. インスタンス・プリンシパル—ドキュメント
  4. OCI Marketplaceの一部であるNVIDIA AI Enterprise - ドキュメント
  5. ユーザー・アクセス・トークンを使用するHuggingFace - ドキュメント
  6. OCI Container Engine for Kubernetes—ドキュメント

ここから始めよう