Generative AI Service 的特性

模型

OCI Generative AI 支持 Cohere 和 Meta 模型，具体包括：

Cohere Command R：作为 Cohere 新推出的可扩展模型的一部分，Command R 旨在同时为检索增强生成 (RAG) 应用提供高效率与高准确性。相比原始 Cohere 模型，Command R 支持 10 种语言，吞吐量更高、延迟更低、上下文窗口更大、性能更强。
Cohere Command R+： Command R+ 是 Command R 接受进一步训练后的增强版本，适用于更专业场景。它能够更深入理解语言，生成更精细、上下文相关度更高的响应。Command R+ 的使用场景包括长文本生成、文本摘要、问答以及面向特定领域或行业的语言生成等等。
Cohere Embed：这些英语和多语言嵌入模型 (v3) 能够将文本转化为向量嵌入表示。嵌入的“轻量版”更小也更快（仅支持英语）。
Meta Llama 3： Llama 3 模型是前沿的开源模型，性能更强，响应也更具多样性。它提供丰富的增强功能，包括推理、代码生成和指令遵循。OCI Generative AI 提供 Llama 3 70B 模型并支持使用 LoRA 方法进行微调。

借助专用 AI 集群，您可以在专用的 GPU 上托管私有的基础模型。这些集群提供了生产使用场景所需的稳定、高吞吐量性能，并支持托管和微调工作负载。OCI Generative AI 支持您轻松扩展集群，无需停机即可处理大量的变更。

聊天式体验提供 Cohere 和 Meta 模型的开箱即用界面，用户可以通过 OCI 控制台或 API 提出问题并获得对话式响应。

OCI Generative AI 与 LangChain 相集成。LangChain 是一个开源框架，可用于基于语言模型为生成式 AI 应用开发新接口。它支持轻松更换使用语言模型所必需的提取结果和组件。

OCI Generative AI 支持使用 LlamaIndex（一个用于构建上下文增强型应用的开源框架）来轻松构建 RAG 解决方案或代理。您可以使用自定义数据源和灵活的工具，快速驱动您的解决方案从原型走进生产阶段。

OCI Generative AI 支持内容审核控制，即将推出零停机端点模型交换和端点停用与激活功能。对于每个模型端点，OCI Generative AI 还能捕获和提供一系列分析数据，包括调用统计信息、经过处理的令牌、错误计数等。

通过将 OCI Generative AI 创建的功能直接嵌入 Oracle Cloud Applications，Oracle 让客户无需进行复杂的集成即可轻松、即时访问。

注：为免疑义，本网页所用以下术语专指以下含义：