HeatWave GenAI Features

Themen zu Features

Datenbankinterne große Sprachmodelle

Datenbankinterne große Sprachmodelle (LLMs) vereinfachen die Entwicklung von GenAI-Anwendungen erheblich. Sie können schnell von generativer KI profitieren. Sie müssen kein externes LLM auswählen und nicht die Komplexität der Integration, die Kosten oder die Verfügbarkeit eines externen LLM in verschiedenen Data Centern berücksichtigen.

  • Sie können beispielsweise die integrierten LLMs verwenden, um Inhalte und Suchdaten zu generieren oder zusammenzufassen, um eine Retrieval-Augmented Generation (RAG) mit dem HeatWave Vector Store durchzuführen.
  • Sie können auch die Leistung der generativen KI mit anderen integrierten HeatWave-Funktionen, wie z. B. dem maschinellen Lernen, kombinieren, um Kosten zu senken und schneller genauere Ergebnisse zu erzielen.
  • Sie können die integrierten, optimierten LLMs in allen Oracle Cloud Infrastructure-(OCI-)Regionen, OCI Dedicated Region und Cloud-übergreifend verwenden und konsistente Ergebnisse mit vorhersehbarer Leistung über alle Bereitstellungen hinweg erzielen.
  • Für die Verwendung der datenbankinternen LLMs fallen keine zusätzlichen Kosten an. Sie können die Infrastrukturkosten reduzieren, indem Sie die Bereitstellung von GPUs überflüssig machen. Darüber hinaus werden Systemressourcen optimiert (optimale Konfiguration von Threadanzahl, Batchgröße und Segmentgröße), um die Kosten weiter zu senken.
  • Mit datenbankinternen LLMs und dem HeatWave Chat können Entwickler Apps bereitstellen, die für kontextbezogene Unterhaltungen in natürlicher Sprache vorkonfiguriert sind. Sie müssen keine externen LLMs abonnieren oder GPUs bereitstellen.
  • Die native LLM-Ausführung innerhalb von HeatWave minimiert die mit der Datenverschiebung verbundenen Risiken. Die LLMs können HeatWave Vector Store nutzen, um ihr Wissen mit proprietären Daten zu erweitern, anstatt sich auf eine Feinabstimmung zu verlassen.
  • Oracle HeatWave GenAI ist in den OCI Generative AI-Service integriert, um auf vortrainierte, grundlegende Modelle von Cohere und Meta zuzugreifen.

HeatWave Vector Store

Mit HeatWave Vector Store können Sie die Leistung von LLMs mit Ihren eigenen Daten kombinieren, um genauere und kontextrelevante Antworten zu erhalten als mit Modellen, die nur auf öffentlichen Daten trainiert wurden. Der Vektorspeicher nimmt Dokumente in einer Vielzahl von Formaten auf, einschließlich PDFs, und speichert sie als Einbettungen, die über ein Einbettungsmodell generiert werden. Der Vektorspeicher identifiziert bei einer Benutzerabfrage die jeweils ähnlichsten Dokumente, indem er eine Ähnlichkeitssuche in den gespeicherten Einbettungen in Bezug auf die eingebettete Abfrage durchführt. Diese Dokumente werden verwendet, um den Prompt, den das LLM erhalten hat, anzureichern, sodass es eine kontextbezogenere Antwort für Ihr Unternehmen liefert.

  • Mit HeatWave Vector Store können Sie generative KI für Ihre Geschäftsdokumente nutzen, ohne Daten in eine separate Vektordatenbank zu verschieben und ohne KI-Kenntnisse.
  • Die Erzeugung von Einbettungen im Vektorspeicher verarbeitet mehrere Eingabedateien parallel über mehrere Threads auf allen Clusterknoten. Die Erstellung des Vektorspeichers und die Aufnahme unstrukturierter Daten in verschiedenen Formaten wie PDF, DOCX, HTML, TXT oder PPTX ist daher sehr schnell und skaliert mit der Größe des Clusters.
  • Die Pipeline zur Erkennung und Aufnahme eigener Dokumente in den Vektorspeicher ist automatisiert, einschließlich der Umwandlung unstrukturierter Textdaten der Benutzer und der Generierung von Einbettungen, was es für Entwickler und Analysten ohne KI-Kenntnisse sehr einfach macht, den Vektorspeicher zu nutzen.
  • Der Vektorspeicher befindet sich im Objektspeicher, was ihn sehr kosteneffizient und hoch skalierbar macht – selbst bei großen Datensätzen. Sie können den Vektorspeicher auch einfach mit verschiedenen Anwendungen teilen.
  • Die Datenumwandlung erfolgt innerhalb der Datenbank, was zur Verringerung der Sicherheitsrisiken beiträgt, da die Daten nicht mehr verschoben werden müssen, und zur Kostensenkung, da keine Client-Ressourcen mehr benötigt werden.

Flexible und schnelle Vektorverarbeitung

Die Vektorverarbeitung wird durch die In-Memory- und Scale-Out-Architektur von HeatWave beschleunigt. HeatWave unterstützt einen neuen nativen VECTOR-Datentyp, mit dem Sie Vektordaten mit Standard-SQL erstellen, verarbeiten und verwalten können.

  • Sie können Vektoren mit anderen SQL-Operatoren kombinieren. Beispiel: Sie können analytische Abfragen ausführen, die mehrere Tabellen mit verschiedenen Dokumenten verknüpfen und Ähnlichkeitssuchen in allen Dokumenten durchführen.
  • Die In-Memory-Darstellung und eine Scale-Out-Architektur bedeuten, dass die Vektorverarbeitung über bis zu 512 HeatWave-Clusterknoten hinweg parallelisiert und mit einer Speicherbandbreite ausgeführt wird – extrem schnell und ohne Genauigkeitsverlust.

HeatWave Chat

Mit einer neuen HeatWave-Chatschnittstelle können Sie kontextbezogene Unterhaltungen im Vektorspeicher mit natürlicher Sprache durch proprietäre Dokumente erweitern.

  • Sie können mit unstrukturierten Daten, die in MySQL Database und im Objektspeicher gespeichert sind, in natürlicher Sprache interagieren. Der Kontext der Fragen bleibt erhalten, um ein „menschliches“ Gespräch mit Folgefragen zu ermöglichen. HeatWave verwaltet einen Kontext mit der Historie der gestellten Fragen, den Zitaten der Quelldokumente und dem Prompt für das LLM. Dies erleichtert eine kontextbezogene Unterhaltung und ermöglicht es Ihnen, die vom LLM generierte Antwortquelle zu überprüfen. Dieser Kontext wird in HeatWave verwaltet und ist für alle Anwendungen verfügbar, die HeatWave verwenden.
  • Mit dem integrierten Lakehouse Navigator können Sie die in MySQL Database und Object Storage verfügbaren Daten anzeigen. Sie können dann einfach ausgewählte Daten im HeatWave Vector Store laden und das LLM anweisen, Informationen aus dieser bestimmten Quelle abzurufen. Dadurch können Sie Kosten senken, indem Sie einen kleineren Datensatz durchsuchen und gleichzeitig die Geschwindigkeit und Genauigkeit erhöhen.
  • Sie können die gesamte Datenbank durchsuchen oder die Suche auf einen Ordner beschränken.
  • Über den HeatWave-Chat können mehrere LLMs ausgewählt werden, entweder integriert oder zugänglich mit dem OCI Generative AI-Service.