1. 甲骨文中国
  2. Cloud
  3. 人工智能
  4. 解决方案
AI 解决方案

在 OCI 上使用 Hugging Face 和 Kubernetes 部署 LLM

AI 解决方案主题

介绍

大型语言模型 (LLM) 在文本生成、问题解决和遵循指令方面取得了重大进展。随着企业使用 LLM 开发尖端解决方案，对可扩展、安全和高效部署平台的需求变得越来越重要。Kubernetes 已成为其可扩展性、灵活性、可移植性和弹性的首选。

在本演示中，我们将演示如何在 Oracle Cloud Infrastructure Container Engine for Kubernetes (OKE) （一种可简化企业大规模部署和操作的托管 Kubernetes 服务）上部署经过微调的 LLM 推断容器。通过该服务，客户可以在自己的租户中保留定制模型和数据集，而无需依赖第三方推断 API。

我们将使用文本生成推断 (TGI) 作为推断框架来公开 LLM。

演示

演示：在 OCI 上使用 Hugging Face 和 Kubernetes 部署 LLM (1:30)

先决条件和设置

  1. Oracle Cloud 账户 - 注册页面
  2. Oracle Cloud Infrastructure — 文档
  3. OCI Generative AI —文档
  4. OCI Container Engine for Kubernetes — 文档

快速入门

注：为免疑义，本网页所用以下术语专指以下含义：

  1. 除Oracle隐私政策外，本网站中提及的“Oracle”专指Oracle境外公司而非甲骨文中国 。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。