HeatWave GenAI 特性

数据库内大语言模型

数据库内大语言模型 (LLM) 能够极大简化 GenAI 应用开发，它支持您快速使用生成式 AI 技术而不必选择外部 LLM，不必担忧集成复杂性和成本问题，不必考虑某一外部 LLM 是否在多个数据中心可用。

跨云为各种使用场景构建生成式 AI 应用

• 使用内置 LLM 生成内容或摘要；搜索 HeatWave Vector Store 中数据，执行检索增强生成 (RAG)。
• 结合使用生成式 AI 与其他内置 HeatWave 功能（例如机器学习）来为客户创造更多价值，降低成本，更快速获得更准确的结果。
• 在所有 Oracle Cloud Infrastructure (OCI) 区域、OCI Dedicated Region、Oracle Alloy、Amazon Web Services (AWS) 和 Microsoft Azure 中使用内置 LLM，凭借可预测的性能在各种部署环境下获得一致的结果。
• Oracle HeatWave GenAI 与 OCI Generative AI 服务 以及 Amazon Bedrock 集成，支持访问 Cohere 与 Meta 预训练的基础模型。
• 数据库内 LLM 和 HeatWave Chat 能够帮助开发人员交付针对情境化的自然语言对话进行了预配置的应用，无需开发人员订阅外部 LLM 或供应 GPU。
• LLM 推断批处理可同时执行多个请求，帮助开发人员提高应用吞吐量。
• 同时，LLM 可不依赖微调，充分利用 HeatWave Vector Store 中的专有数据来扩展知识。

降低成本和风险

• 数据库内 LLM 不仅不需要额外付费，
• 而且还无需供应 GPU，有助于节约基础设施成本。另外，系统资源经过优化，例如优化了线程数量、批大小和分割大小配置，能够进一步降低成本。
• HeatWave 的本机 LLM 执行设计有助于尽可能降低数据移动的相关风险。

HeatWave Vector Store

HeatWave Vector Store 支持结合使用 LLM 和专有数据来获得更准确、上下文相关度更高的答案 — 相比使用仅接受公共数据训练的模型。它能够摄取包括 PDF 在内的广泛格式的文档，通过一个嵌入模型将文档存储为嵌入。对于特定的用户查询，它能够针对所存储的嵌入和已嵌入的查询执行相似性搜索，识别相似度最高的文档。相似度最高的文档将增强面向 LLM 提交的提示，确保 LLM 提供更符合情境的答案。

无需 AI 专业知识

• HeatWave Vector Store 支持对业务文档使用生成式 AI 技术而无需专门学习 AI 专业知识，也无需将数据移动到一个单独的向量数据库。
• 开发人员只需一行 SQL 命令，即可为企业非结构化内容创建矢量存储。
• 对于嵌入生成，HeatWave Vector Store 能够利用所有集群节点，多线程、并行处理多个输入文件。由此，它不仅可以非常快速地创建向量存储和摄取多种格式的（例如 PDF、DOCX、HTML、TXT 和 PPTX）非结构化数据，还可以随着集群规模扩展而增强创建和摄取能力。
• 自动化的专有文档发现和摄取管道（包括自动转换非结构化文本数据和生成嵌入），支持开发人员和分析师轻松使用向量存储 — 即使不具备 AI 专业知识。
• 多语言支持 — 您可以将 27 种语言的文档加载到 HeatWave Vector Store 来执行相似性搜索并以多种语言提问。
• 原生 JavaScript 支持 — 开发人员可以结合使用 JavaScript 与 VECTOR 数据类型并从 JavaScript 程序调用 HeatWave GenAI 功能，满足自身需求，例如轻松构建可访问企业数据的聊天机器人。
• 光学字符识别支持 — 您可以利用 HeatWave Vector Store 将保存为图像的扫描内容转换为可供分析的文本数据，进而执行相似性搜索，例如检测抄袭。

降低成本和风险

• 向量存储驻留在对象存储中，不仅经济高效，而且高度可扩展 — 即使对于大型数据集。您可以轻松与其他应用共享向量存储。
• 数据转换操作在 HeatWave 内完成，这既消除了数据移动操作，降低了安全性风险，又不使用客户资源，有助于节约成本。

灵活、快速的向量处理

HeatWave 通过内存中表示和横向扩展架构加速执行向量处理，它支持一种新型本机 VECTOR 数据类型，允许使用标准 SQL 语句来创建、处理和管理向量数据。

• 结合使用向量和其他 SQL 运算符，例如运行连接多个表和多个文档的分析查询；跨所有文档执行相似性搜索。
• 内存中表示和横向扩展架构支持跨最多 512 个 HeatWave 集群节点，基于内存带宽来并行执行向量处理，不仅速度超快，而且不会有任何准确性损失。

HeatWave Chat

全新的 HeatWave Chat 界面支持使用自然语言来开展专有文档（来自向量存储）增强的情境化对话。

• 使用自然语言与 MySQL Database 和对象存储中的数据交互。HeatWave 将保留问题上下文，支持与后续问题进行“类人”对话。具体而言，它将保留历史问题的上下文、源文档引用以及 LLM 提示，有助于实现情境化对话和验证 LLM 所生成答案的来源。另外，这种上下文还对所有使用 HeatWave 的应用可用。
• 集成式 Lakehouse Navigator 支持查看 MySQL Database 和对象存储中的可用数据。然后，您可以轻松在 HeatWave Vector Store 中加载选定的数据，指示 LLM 从特定来源检索信息。由此，您可以只搜索更小规模的数据集，降低成本，同时提高速度和准确性。
• 搜索整个数据库或将搜索范围限定到特定文件夹。
• 通过 HeatWave Chat 选择多个 LLM — 无论是内置 LLM 还是通过 OCI Generative AI 服务访问的 LLM。