Features von MySQL HeatWave GenAI

Hauptmerkmale

Datenbankinterne große Sprachmodelle

Datenbankinterne große Sprachmodelle (LLMs) vereinfachen die Entwicklung von GenAI-Anwendungen erheblich. Sie können in kürzester Zeit von generativer KI profitieren, ohne ein externes LLM auswählen zu müssen, und Sie müssen sich keine Gedanken über die Komplexität und die Kosten der Integration oder die Verfügbarkeit eines externen LLM in verschiedenen Rechenzentren machen.

Entwicklung generativer KI-Apps für eine Vielzahl von Anwendungsfällen in verschiedenen Clouds

  • Sie können beispielsweise die integrierten LLMs verwenden, um Inhalte und Suchdaten zu generieren oder zusammenzufassen, um eine Retrieval-Augmented Generation (RAG) mit dem HeatWave Vector Store durchzuführen.
  • Sie können auch die Leistung der generativen KI mit anderen integrierten Oracle MySQL HeatWave-Funktionen, wie z. B. dem maschinellen Lernen, kombinieren, um den Kunden einen Mehrwert zu bieten, Kosten zu senken und schneller genauere Ergebnisse zu erzielen.
  • Sie können die integrierten LLMs in allen Oracle Cloud Infrastructure-(OCI-)Regionen, OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) und Microsoft Azure verwenden und erhalten einheitliche Ergebnisse mit vorhersehbarer Leistung über alle Bereitstellungen hinweg.
  • Oracle MySQL HeatWave GenAI ist in OCI Generative AI Service und in Amazon Bedrock integriert, um auf vorab trainierte Basismodelle von Cohere und Meta zuzugreifen.
  • Mit datenbankinternen LLMs und dem Oracle HeatWave Chat können Entwickler Apps bereitstellen, die für kontextbezogene Unterhaltungen in natürlicher Sprache vorkonfiguriert sind. Sie müssen keine externen LLMs abonnieren oder GPUs bereitstellen.
  • Die Batch-Verarbeitung von LLM-Inferenzen hilft Entwicklern, den Anwendungsdurchsatz zu verbessern, indem mehrere Anfragen gleichzeitig ausgeführt werden.
  • Die LLMs können HeatWave Vector Store nutzen, um ihr Wissen mit proprietären Daten zu erweitern, anstatt sich auf eine Feinabstimmung zu verlassen.

Reduzierung von Kosten und Risiken

  • Für die Verwendung der datenbankinternen LLMs fallen keine zusätzlichen Kosten an.
  • Sie können die Infrastrukturkosten reduzieren, indem Sie die Bereitstellung von GPUs überflüssig machen. Darüber hinaus werden Systemressourcen optimiert (optimale Konfiguration von Threadanzahl, Batchgröße und Segmentgröße), um die Kosten weiter zu senken.
  • Die native LLM-Ausführung innerhalb von MySQL HeatWave minimiert die mit der Datenverschiebung verbundenen Risiken.

HeatWave Vector Store

Mit HeatWave Vector Store können Sie die Leistung von LLMs mit Ihren eigenen Daten kombinieren, um genauere und kontextrelevante Antworten zu erhalten als mit Modellen, die nur auf öffentlichen Daten trainiert wurden. Der Vektorspeicher nimmt Dokumente in einer Vielzahl von Formaten auf, einschließlich PDFs, und speichert sie als Einbettungen, die über ein Einbettungsmodell generiert werden. Der Vektorspeicher identifiziert bei einer Benutzerabfrage die jeweils ähnlichsten Dokumente, indem er eine Ähnlichkeitssuche in den gespeicherten Einbettungen in Bezug auf die eingebettete Abfrage durchführt. Diese Dokumente werden verwendet, um den Prompt, den das LLM erhalten hat, anzureichern, sodass es eine kontextbezogenere Antwort für Ihr Unternehmen liefert.

Keine KI-Kenntnisse erforderlich

  • Mit HeatWave Vector Store können Sie generative KI ohne KI-Kenntnisse und ohne Verschieben von Daten in eine separate Vektordatenbank in Ihren Geschäftsdokumenten verwenden.
  • Entwickler können mit einem einzigen SQL-Befehl einen Vektorspeicher für unstrukturierte Unternehmensinhalte erstellen.
  • Die Erzeugung von Einbettungen im Vektorspeicher verarbeitet mehrere Eingabedateien parallel über mehrere Threads auf allen Clusterknoten. Die Erstellung des Vektorspeichers und die Aufnahme unstrukturierter Daten in verschiedenen Formaten wie PDF, DOCX, HTML, TXT oder PPTX ist daher sehr schnell und skaliert mit der Größe des Clusters.
  • Die Pipeline zur Erkennung und Aufnahme eigener Dokumente in den Vektorspeicher ist automatisiert, einschließlich der Umwandlung unstrukturierter Textdaten der Benutzer und der Generierung von Einbettungen, was es für Entwickler und Analysten ohne KI-Kenntnisse sehr einfach macht, den Vektorspeicher zu nutzen.
  • Die mehrsprachige Unterstützung ermöglicht es Ihnen, Dokumente in 27 Sprachen in HeatWave Vector Store zu laden, um Ähnlichkeitssuchen durchzuführen und Fragen in verschiedenen Sprachen zu stellen.
  • Die native JavaScript-Unterstützung erlaubt es Entwicklern, JavaScript mit dem VECTOR-Datentyp zu verwenden und die HeatWave GenAI-Funktionen von einem JavaScript-Programm aus aufzurufen, um beispielsweise auf einfache Weise Chatbots zu erstellen, die Unternehmensdaten nutzen.
  • Die Unterstützung der optischen Zeichenerkennung hilft Ihnen bei Ähnlichkeitssuchen, indem sie HeatWave Vector Store nutzt, um gescannte Inhalte, die als Bilder gespeichert sind, in Textdaten umzuwandeln, die beispielsweise analysiert werden können, um Plagiate aufzudecken.

Kosten und Risiken können gesenkt werden

  • Der Vektorspeicher befindet sich im Objektspeicher, was ihn sehr kosteneffizient und hoch skalierbar macht – selbst bei großen Datensätzen. Sie können den Vektorspeicher ganz einfach mit verschiedenen Anwendungen teilen.
  • Die Datenumwandlung wird in MySQL HeatWave abgeschlossen. So werden Sicherheitsrisiken durch den Wegfall von Datentransfers und Kosten durch den Wegfall von Client-Ressourcen reduziert.

Flexible und schnelle Vektorverarbeitung

Die Vektorverarbeitung wird durch die In-Memory- und Scale-Out-Architektur von MySQL HeatWave beschleunigt. MySQL HeatWave unterstützt einen neuen nativen Vektordatentyp, mit dem Sie Vektordaten mit Standard-SQL erstellen, verarbeiten und verwalten können.

Sehen Sie sich den Leistungs- und den Preis-Leistungs-Vergleich an (1:59).
  • Sie können Vektoren mit anderen SQL-Operatoren kombinieren. Beispiel: Sie können analytische Abfragen ausführen, die mehrere Tabellen mit verschiedenen Dokumenten verknüpfen und Ähnlichkeitssuchen in allen Dokumenten durchführen.
  • Die In-Memory-Darstellung und eine Scale-Out-Architektur bedeuten, dass die Vektorverarbeitung über bis zu 512 HeatWave-Clusterknoten hinweg parallelisiert und mit einer Speicherbandbreite ausgeführt wird – extrem schnell und ohne Genauigkeitsverlust.
  • Wie ein Benchmark eines 300-GB-Vektorspeichers anhand einer Mischung aus Ähnlichkeitssuchabfragen zeigt, ist HeatWave Vector Store kostengünstiger und 15-mal schneller als Databricks, 18-mal schneller als Google BigQuery, 26-mal schneller als Amazon Aurora PostgreSQL und 30-mal schneller als Snowflake.

HeatWave Chat.

Mit einer neuen HeatWave-Chatschnittstelle können Sie kontextbezogene Unterhaltungen im Vektorspeicher mit natürlicher Sprache durch proprietäre Dokumente erweitern.

  • Sie können mit unstrukturierten Daten, die in MySQL Database und im Objektspeicher gespeichert sind, in natürlicher Sprache interagieren. Der Kontext der Fragen bleibt erhalten, um ein „menschliches“ Gespräch mit Folgefragen zu ermöglichen. MySQL HeatWave verwaltet einen Kontext mit der Historie der gestellten Fragen, den Zitaten der Quelldokumente und dem Prompt für das LLM. Dies erleichtert eine kontextbezogene Unterhaltung und ermöglicht es Ihnen, die vom LLM generierte Antwortquelle zu überprüfen. Darüber hinaus wird dieser Kontext in MySQL HeatWave verwaltet und steht jeder Anwendung zur Verfügung, die MySQL HeatWave verwendet.
  • Mit dem integrierten Lakehouse Navigator können Sie die in MySQL Database und Object Storage verfügbaren Daten anzeigen. Sie können dann einfach ausgewählte Daten im HeatWave Vector Store laden und das LLM anweisen, Informationen aus dieser bestimmten Quelle abzurufen. Dadurch können Sie Kosten senken, indem Sie einen kleineren Datensatz durchsuchen und gleichzeitig die Geschwindigkeit und Genauigkeit erhöhen.
  • Sie können die gesamte Datenbank durchsuchen oder die Suche auf einen Ordner beschränken.
  • Über den HeatWave-Chat können mehrere LLMs ausgewählt werden, entweder integriert oder zugänglich mit dem OCI Generative AI-Service.