HeatWave GenAI 功能

功能主題

資料庫內大型語言模型

資料庫內大型語言模型 (LLM) 大幅簡化了 GenAI 應用程式的開發作業。您可以快速享受生成式 AI 的好處，無需自行選擇外部 LLM，也不必擔心為了整合遍布各個資料中心的外部 LLM ，而產生的複雜性、成本或可用性問題。

  • 例如，您可以使用內建 LLM 來協助生成或摘要內容，並透過 HeatWave 向量儲存區進行資料搜尋，以執行檢索增強生成 (RAG)。
  • 您也可以將生成式 AI 與其他內建的 HeatWave 功能 (例如機器學習) 搭配使用，以協助降低成本，並加速獲得更準確的結果。
  • 您可以跨所有 OCI 區域、OCI 專用區域和雲端使用內建 LLM，在各個部署中獲得一致的結果和可預測的效能。
  • 使用資料庫內 LLM 不需要額外付費。您無需配置 GPU，因此可降低基礎架構成本。此外，系統資源會經過最佳化 (確保執行緒計數、批次大小及區段大小達到最佳組態)，有助於進一步降低成本。
  • 資料庫內 LLM 和 HeatWave Chat 可協助開發人員交付預設支援以自然語言進行情境式對話的應用程式。您無需訂閱外部 LLM 或佈建 GPU。
  • 在 HeatWave 內執行原生 LLM，有助於將資料移動的相關風險降至最低。LLM 可以發揮 HeatWave 向量儲存區的優勢，使用專有資料擴展知識，無需仰賴微調。
  • Oracle HeatWave GenAI 已與 OCI Generative AI 服務整合，可存取來自 Cohere 和 Meta 的預先訓練基礎模型。

HeatWave 向量儲存區

相較於使用僅經過公開資料訓練的模型，HeatWave 向量儲存區能將 LLM 的強大功能與您的專屬資料相結合，協助您獲得更準確、更符合情境的答案。向量儲存區會擷取各種格式的文件 (包括 PDF)，並將它們儲存為透過嵌入模型產生的內嵌資料。當使用者提出查詢時，向量儲存區會對已儲存的內嵌資料執行相似性搜尋，以找出最相近的文件。這些文件將用於增強給 LLM 的提示，以根據您的業務生成更符合情境的答案。

  • HeatWave 向量儲存區可讓您針對業務文件使用生成式 AI，無需將資料移至獨立的向量資料庫，也無需具備 AI 專業知識。
  • 內嵌資料是在向量儲存區中生成，因此可以在所有叢集節點上的多個執行緒間平行處理多個輸入檔案。因此，建立向量儲存區以及擷取各種格式的非結構化資料 (例如 PDF、DOCX、HTML、TXT 或 PPTX ) 變得非常迅速，且效能可隨著叢集擴大而相應提升。
  • 向量儲存區提供自動化的專有文件探索和擷取管線，從轉換使用者的非結構化文字資料到生成內嵌資料，皆能自動完成。因此，即使不具備 AI 專業知識，開發和分析人員也能輕鬆享受向量儲存區的好處。
  • 向量儲存區位於物件儲存體中，即使是大型資料集，也十分符合成本效益並具有高度擴充性。您也可以輕鬆地將向量儲存區與不同的應用程式共用。
  • 資料轉換已於資料庫內完成，免除了資料移動和用戶端資源的需求，有助於降低安全性風險和成本。

彈性且快速的向量處理能力

HeatWave 的記憶體內和橫向擴展架構，有助於加快向量處理速度。HeatWave 支援新的原生 VECTOR 資料類型，可讓您使用標準 SQL 建立、處理和管理向量資料。

  • 您可以將向量與其他 SQL 運算子搭配使用。例如，您可以針對分布於不同文件中的數個表格執行分析查詢，並跨所有文件執行相似性搜尋。
  • 基於記憶體內表示法和橫向擴展架構，向量處理會在多達 512 個 HeatWave 叢集節點間平行執行，而且是以記憶體頻寬執行 - 速度極快，而且絲毫不影響準確性。

HeatWave Chat

全新的 HeatWave Chat 介面可讓您使用自然語言，基於向量儲存區中的專屬文件進行更高階的情境式對話。

  • 您可以使用自然語言，與儲存在 MySQL Database 和物件儲存體中的非結構化資料互動。系統會記憶對話脈絡，讓後續提問過程更加自然流暢，彷彿與真人交談。HeatWave 會記憶提問歷桯的對話脈絡、引用的來源文件，以及向 LLM 送出的提示。這有助於進行情境式對話，並讓您驗證 LLM 所生成答案的來源。這些情境資料會保留在 HeatWave 中，可供所有使用 HeatWave 的應用程式存取。
  • 您可以透過整合式 Lakehouse Navigator，查看 MySQL Database 和物件儲存體中的可用資料。接著，您可以輕鬆載入 HeatWave 向量儲存區中的選定資料，並指示 LLM 從該特定來源擷取資訊。如此一來，您就可以縮小資料集的搜尋範圍以降低成本，同時提高速度和準確性。
  • 您可以搜尋整個資料庫，或將搜尋範圍限制在某個資料夾。
  • 您可以透過 HeatWave Chat，選擇數個內建或可透過 OCI Generative AI 服務存取的 LLM。