AI 解決方案

在 OCI 上使用 Hugging Face 和 Kubernetes 部署 LLM

簡介

大型語言模型 (LLM) 在文字產生、解決問題及遵循指示方面取得了重大進展。隨著企業使用 LLM 開發尖端解決方案,可擴充、安全且有效率的部署平台需求越來越重要。Kubernetes 已成為擴展性、彈性、可攜性及抗逆力的首選選項。

In this demo, we demonstrate how to deploy fine-tuned LLM inference containers on Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE), a managed Kubernetes service that simplifies deployments and operations at scale for enterprises.該服務使他們能夠在自己的租戶內保留自訂模型和資料集,而無需仰賴第三方推論 API。

我們將使用文字產生推論 (TGI) 作為推論架構,以公開 LLM。

展示

示範:在 OCI 上使用 Hugging Face 和 Kubernetes 部署 LLM (1:30)

先決條件與設定

  1. Oracle Cloud 帳戶 — 註冊頁面
  2. Oracle Cloud Infrastructure —文件
  3. OCI Generative AI - 文件
  4. OCI Container Engine for Kubernetes —文件