概要
大型言語モデル(LLM)は、テキスト生成、問題解決、および指示に従って大きな進歩を遂げました。企業がLLMを使用して最先端のソリューションを開発するにつれて、スケーラブルで安全かつ効率的なデプロイメント・プラットフォームの必要性がますます重要になります。Kubernetesは、そのスケーラビリティ、柔軟性、移植性、および自己回復性を優先するオプションとなっています。
このデモでは、ファインチューニングLLM推論コンテナをOracle Cloud Infrastructure Container Engine for Kubernetes (OKE)にデプロイする方法をデモンストレーションします。これは、企業の導入と運用を大規模に簡素化するマネージドKubernetesサービスです。このサービスにより、サードパーティの推論APIに依存することなく、カスタム・モデルおよびデータ・セットを独自のテナンシ内に保持できます。
テキスト生成推論(TGI)を推論フレームワークとして使用してLLMを公開します。
デモ
前提条件と設定
- Oracle Cloudアカウント- サインアップ・ページ
- Oracle Cloud Infrastructure - ドキュメンテーション
- OCI生成AI - ドキュメント
- OCI Container Engine for Kubernetes—ドキュメント