HeatWave GenAI – Häufig gestellte Fragen

Allgemeines

Was ist HeatWave GenAI?

Oracle HeatWave GenAI bietet integrierte, automatisierte und sichere generative KI mit datenbankinternen großen Sprachmodellen (LLMs), einem automatisierten Vektorspeicher in der Datenbank, Scale-out-Vektorverarbeitung und der Möglichkeit, kontextbezogene Konversationen in natürlicher Sprache zu führen. So können Sie die Vorteile generativer KI ohne KI-Expertise, Datenbewegung oder zusätzliche Kosten nutzen.

Was sind die wichtigsten Features von HeatWave GenAI?

Die wichtigsten Features von HeatWave GenAI sind:

• Datenbankinterne LLMs
• Integration mit OCI Generative AI und Amazon Bedrock,
• ein datenbankinterner Vektorspeicher,
• automatisierte Generierung von Einbettungen,
• Scale-out-Vektorverarbeitung,
• HeatWave Chat.

Welche LLMs sind als datenbankinterne Modelle in HeatWave verfügbar?

Quantisierte Versionen der folgenden in der Datenbank enthaltenen LLMs sind derzeit in HeatWave verfügbar:

• llama3-8b-instruct-v1
• mistral-7b-instruct-v1

Wie wird HeatWave Vector Store automatisiert?

Sie können mit einem einzigen SQL-Befehl einen Vektorspeicher für unstrukturierte Unternehmensinhalte erstellen. Alle Schritte zur Erstellung eines Vektorspeichers und von Vektoreinbettungen werden automatisiert und innerhalb der Datenbank ausgeführt, einschließlich der Erkennung der Dokumente im Objektspeicher, ihrer Analyse, der Generierung von Einbettungen auf hochgradig parallele und optimierte Weise und ihrer Einfügung in den Vektorspeicher, wodurch HeatWave Vector Store effizient und benutzerfreundlich wird.

Benötigt HeatWave GPUs, um datenbankinterne LLMs auszuführen?

HeatWave läuft auf handelsüblicher Hardware. Datenbankinterne LLMs laufen nicht auf GPUs, sondern auf CPUs. Dadurch können Sie Kosten senken und müssen sich keine Sorgen über die Verfügbarkeit von LLMs in verschiedenen Rechenzentren machen.

Wie trägt HeatWave GenAI zur Verbesserung der Datensicherheit bei?

Bei der Verwendung von datenbankinternen LLMs und einem datenbankinternen Vektorspeicher verlassen die Daten die Datenbank nicht, was zur Erhöhung der Datensicherheit beiträgt.

Kann ich HeatWave GenAI auf AWS ausführen?

Ja, HeatWave GenAI ist nativ auf AWS verfügbar, zusammen mit anderen HeatWave-Funktionen, darunter HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML und HeatWave Autopilot.

Werden mehrere Sprachen für die Erstellung von Einbettungen unterstützt?

Ja, Einbettungen können für Textdaten in 27 Sprachen generiert werden.

Welche Sprachen werden für die Ausgabe von Prompts unterstützt?

Prompts können auf Englisch ausgegeben werden. Prompts, die in anderen Sprachen wie Spanisch und Deutsch ausgegeben werden, können ins Englische übersetzt werden.

Kann ich die Vektorsuche ohne den HeatWave-Cluster verwenden?

Nein, die Vektorsuche wird innerhalb des HeatWave-Clusters durchgeführt.

Welche Ausprägungen sollten für HeatWave GenAI verwendet werden?

HeatWave wird auf einem MySQL-Knoten ausgeführt. Wir empfehlen einen MySQL-Knoten mit einer MySQL.32-Ausprägung sowie HeatWave-Knoten mit der Ausprägung HeatWave.512 GB für eine Produktionsumgebung. Für die Entwicklung/Tests kann eine kleinere MySQL-Ausprägung verwendet werden. Sie können die unterstützten MySQL-Ausprägungen hier einsehen. Für HeatWave GenAI wird die Ausprägung HeatWave.32 GB nicht unterstützt.

Welche Arten von Dokumenten werden für die Erstellung von Vektorspeichern unterstützt?

PDF, Text, PowerPoint, Word und HTML werden unterstützt.

Wie hoch sind die Kosten für HeatWave GenAI?

Für die Nutzung von HeatWave GenAI fallen keine zusätzlichen Kosten an, die über die Kosten des HeatWave-Clusters hinausgehen. Sie können ohne zusätzliche Kosten datenbankinterne LLMs und Einbettungsmodelle aufrufen, die mit HeatWave GenAI bereitgestellt werden. Sie können außerdem externe LLMs aufrufen, die über OCI Generative AI auf OCI und Amazon Bedrock auf AWS verfügbar sind. Die Services werden Ihnen anschließend in Rechnung gestellt.

Werden meine Daten zum Trainieren von LLMs verwendet?

Nein, LLMs sind vortrainierte Modelle. Ihre Daten werden nicht zum Trainieren von LLMs verwendet.

Unterstützt HeatWave GenAI die Feinabstimmung?

Nein, die mit HeatWave bereitgestellten datenbankinternen LLMs können nicht verfeinert werden.

Kann ich meine eigenen LLMs oder Einbettungsmodelle mitbringen?

Nein, Sie können keine eigenen LLMs oder Einbettungsmodelle mitbringen. Sie können jedoch die externen LLMs oder Einbettungsmodelle aufrufen, die über OCI Generative AI verfügbar sind, wenn Sie HeatWave GenAI auf OCI ausführen, und über Amazon Bedrock, wenn Sie HeatWave GenAI auf AWS ausführen.

Welche Qualität der Ergebnisse ist aufgrund der Quantisierung der in der Datenbank enthaltenen LLMs zu erwarten?

Basierend auf unseren Tests sind die Ergebnisse für Anwendungsfälle, die auf HeatWave Vector Store basieren, mit nicht quantisierten LLMs vergleichbar. Sie können die Modelle einfach testen, um die Leistung und die Qualität der Ergebnisse zu bewerten.

Wie oft muss ich Einbettungen erstellen?

Sie müssen die Einbettungen nur einmal generieren – sie werden dann im HeatWave Vector Store gespeichert. Änderungen an unstrukturierten Dokumenten im Objektspeicher lösen automatisch Aktualisierungen der zugehörigen Vektoreinbettungen aus.

Können Dokumente mit Bildern in HeatWave Vector Store importiert werden?

Ja, die Unterstützung der optischen Zeichenerkennung ermöglicht es HeatWave Vector Store, gescannte Inhalte, die als Bilder gespeichert sind, in Textdaten umzuwandeln, die analysiert werden können, um beispielsweise Ähnlichkeitssuchen durchzuführen.