1. 甲骨文中国
  2. Cloud
  3. 人工智能

AI 解决方案中心

使用专为企业构建的生成式 AI 解决方案，帮助您的企业走进生产力新时代。在整个技术体系中根据需要使用嵌入式 AI 技术。

人工智能和机器学习

分析和 AI

计算

容器

数据湖

开发人员服务

生成式 AI

身份和安全性

  • 快速部署 AI 应用

    使用 Oracle Cloud 和 Kubernetes 加速部署 AI 应用，利用云原生策略提高可扩展性和可靠性。

集成

市场

  • 扩展 NVIDIA NIM 推断

    在 OCI Kubernetes Engine 上部署 NVIDIA NIM，使用 OCI Object Storage 和 NVIDIA GPU 来以强大的性能实现可扩展的高效推断。

开源数据库

Oracle Database

存储

推断

模型开发

提取和摘要

使用检索增强生成 (RAG) 技术获得情境化结果

自然语言处理

计算机视觉

语音识别

情感分析

典型场景

使用 OCI Generative AI 构建

观看解决方案示例视频 (1:36)

在托管服务中利用 LLM 的强大功能

在快节奏的软件开发领域，保持信息畅通至关重要。试想一下，如果有一个 AI 助手可以迅速将复杂的网页内容转化为简洁、易于理解和分享的形式，那将会是多么好。Oracle Cloud Infrastructure (OCI) Generative AI 正是能帮助您实现这一目标的功能之一。

下面举例说明如何使用 OCI Generative AI 构建此类 AI 助手。

AI 驱动的 GitHub 趋势项目汇总器是一个个人内容生成引擎，可自动检索和汇总排名前 25 位的 GitHub 趋势项目。OCI Generative AI 可提取、读取每个项目的 README 文件，并将其编译成简明扼要、引人入胜且包含大量信息的摘要，以便与他人共享。

立即试用，详细步骤和示例代码可在 GitHub 上查看。

选择模型

您只需修改 summarize_llm.py 中的 model_id 变量，即可轻松在 OCI Generative AI 提供的多个 LLM 之间切换。

  • cohere.command-r-16k：用于文本生成、摘要和翻译等通用语言任务的通用模型，上下文大小为 16K 标记，能够在性能和成本效益之间取得了良好的平衡，非常适合用来构建对话式 AI。
  • cohere.command-r-plus：这是一个增强版，具有更复杂的理解能力和更深入的语言能力，适合需要细微响应和更高处理能力的复杂任务。
  • meta.llama-3.3-70b-instruct：70B 参数模型，具有 128K 令牌上下文长度，支持多种语言。
  • meta.llama-3.1-405b-instruct：超大型的公开可用 LLM（405B 参数），在推理、合成数据生成和工具使用方面具有强大功能，非常适合需要高性能的企业应用。

以上是可用模型的子集，我们将不断提供更新的模型。

下面是调用 OCI Generative AI 的代码片段：

content.text = """Generate an abstractive summary of the given Markdown contents. Here are the contents to summarize: {}""".format(summary_txt)


chat_detail.content = content.text 

chat_detail.serving_mode = oci.generative_ai_inference.models.OnDemandServingMode(model_id="meta.llama-3.1-405b-instruct") # configurable model chat_response = generative_ai_inference_client.chat(chat_detail)

将 OCI Generative AI Agents 与 RAG 结合使用

观看解决方案示例视频 (1:44)

改进对知识库的访问

检索增强生成 (RAG) 是其中一个重要的 AI 用例。RAG 可以在不重新训练 LLM 的情况下增强 LLM 的知识。这是让 LLM 从数据库或其他地方提取新信息并快速呈现给最终用户的一种方法。

这样一来，无论何时训练 LLM 以及何时运行推理，LLM 都可以获取最新的知识。因此，更新的数据几乎不费吹灰之力就可以让 LLM 更加智能。

将文档上传到 Oracle Cloud Infrastructure (OCI) GenAI Agents 后，该服务将处理数据，并提供通过聊天机器人使用数据的方法。

立即试用，详细步骤和示例代码可在 GitHub 上查看。

下面是在 OCI 中使用 RAG agent 的代码片段：

# ask a question to RAG agent question = "What steps do I take if I have a new patient under the patient admission recommendations?" # Initialize service client with default config file agent_runtime_client = GenerativeAiAgentRuntimeClient(config)


chat_response = agent_runtime_client.chat( agent_endpoint_id="ocid1.test.oc1..<id>", chat_details=ChatDetails(user_message=question)) 

# Get the data from response print(chat_response.data)

使用 Oracle HeatWave GenAI 构建

观看解决方案示例视频 (3:54)

通过集成的 GenAI 加速 AppDev

如本方案所示所示，生成式 AI 特别擅长帮助总结情感。一个电商网站可能有数百个库存单位 (SKU)，每个库存单位都有数十条评论。为了帮助快速总结产品评论，开发人员可以利用 HeatWave GenAI 的集成功能，使用数据库内的大型语言模型和数据库内的自动向量存储。

HeatWave GenAI 还可以帮助按需翻译和分析情感。所有操作均可通过 HeatWave GenAI 实现自动化，并在添加新评论时保持摘要更新。

通过将数据和处理保留在 HeatWave 中，开发人员可以根据 GenAI 需求扩展解决方案，使 AI 变得像数据库查询一样简单。

立即试用，详细步骤和示例代码可在 GitHub 上查看。

下面的代码片段说明了如何汇总正面评论：

SELECT "################### Computing summaries for EXISTING reviews on a product ###################" AS "";

SELECT "" AS "";

CALL SUMMARIZE_TRANSLATE(1, "POSITIVE", "en", @positive_english_summary);
SELECT @positive_english_summary AS "--- English summary of positive reviews on the T-Shirt ---";

在 OCI 上使用开源模型构建

观看解决方案示例视频 (1:30)

在统一平台上利用开源 GenAI 模型

开源 LLM（如 Hugging Face 创建的 LLM）是功能强大的工具，可让开发人员相对快速地尝试 GenAI 解决方案。Kubernetes 与 Oracle Cloud Infrastructure (OCI) 相结合，支持 GenAI 解决方案进行扩展，同时提供灵活性、可移植性和弹性。

在本演示中，您将看到在 OCI Kubernetes Engine 上部署经过微调的 LLM 推理容器是多么简单。OCI Kubernetes Engine 是一种托管 Kubernetes 服务，可简化企业的大规模部署和运营。借助该服务，开发人员可以在自己的租户内保留自定义模型和数据集，而无需依赖第三方推理 API。

我们将使用文本生成推理作为推理框架来公开 LLM。

立即试用，详细步骤和示例代码可在 GitHub 上查看。

下面的代码片段说明了如何部署开源 LLM：

# select model from HuggingFace

model=HuggingFaceH4/zephyr-7b-beta


# deploy selected model
docker run ghcr.io/huggingface/text-generation-inference:2.0 --model-id $model

# invoke the deployed model
curl IP_address:port/generate_stream \
    -X POST \
    -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":50}}' \
    -H 'Content-Type: application/json'

使用 Oracle Code Assist 构建

观看解决方案示例视频 (3:40)

提高开发人员的工作效率并增强代码一致性

Oracle Code Assist 是一款人工智能代码辅助工具，旨在帮助提高开发人员的开发速度并增强代码一致性。Oracle Code Assist 由 Oracle Cloud Infrastructure (OCI) 上的大型语言模型 (LLM) 提供支持，并针对 OCI 上的 Java、SQL 和应用开发进行了微调和优化，为开发人员提供了特定于具体情境的建议。您可以根据组织的优秀实践和代码库进行定制。

该工具目前处于测试阶段，适用于 JetBrains IntelliJ IDEA 和 Microsoft Visual Studio Code，可帮助编写文档、理解旧代码和完成代码。

要了解如何加入测试版计划并开始使用，请访问我们的 GitHub 资源库。

OCI AI Blueprints

Oracle Cloud Infrastructure (OCI) AI Blueprints 提供完整的硬件建议、软件组件以及现成可用的监视工具，将助您在短短数分钟内部署、扩展并监视 GenAI 工作负载。

    • 使用 vLLM 有效部署和扩展 LLM，轻松实现超快速推断和无缝集成。

    • 选择自定义模型，或通过 Hugging Face 获取各种开源模型。

    • 自动供应 GPU 节点，并在 OCI Object Storage 中存储模型。

    • 获取现成可用的 API 端点，即时进行模型推断。

    • 为关键任务应用启用基于推断延迟的自动缩放。

    • 轻松集成和扩展推断工作负载 — 无需具备深厚的专业技术知识。

    • 使用 Prometheus、Grafana 等内置观测工具来监视性能。

    • 更智能地微调性能 — 基于数据驱动的洞察来开展性能基准测试，优化 AI 训练结果。

    • 使用 MLCommons 方法进行性能微调基准测试。

    • 使用标准化数据集微调量化的 Llama 2 70B 模型。

    • 跟踪训练时间、资源利用率和性能指标。

    • 自动在 MLflow 中记录结果，在 Grafana 中以可视化方式呈现洞察。

    • 制定数据驱动的基础设施决策，优化微调工作。

    • 使用低秩适应 (LoRA) 方法显著优化 LLM 微调过程 — 更快速、更高效且部署就绪。

    • 使用 LoRA 方法高效进行 LLM 微调，尽可能降低计算开销。

    • 利用自定义数据集或来自 Hugging Face 的公共数据集来开展训练。

    • 跟踪和分析 MLflow 在整个微调过程中记录的训练指标。

    • 在对象存储桶中存储微调后模型和训练结果，实现无缝部署。

    • 通过相应的设计来优化性能，确保模型具有快速、有效的适应性并降低资源需求。

    • 按需扩展解决方案，满足从小型数据集到大规模模型微调的所有需求。

注：为免疑义，本网页所用以下术语专指以下含义：

  1. 除Oracle隐私政策外，本网站中提及的“Oracle”专指Oracle境外公司而非甲骨文中国 。
  2. 相关Cloud或云术语均指代Oracle境外公司提供的云技术或其解决方案。