Domande frequenti su HeatWave GenAI

Domande generali

Che cos'è HeatWave GenAI?

Oracle HeatWave GenAI offre un'intelligenza artificiale generativa integrata, automatizzata e sicura con modelli linguistici di grandi dimensioni (LLM, large language model) nel database, una memoria di vettore automatizzata nel database, un'elaborazione della scalabilità del vettore e la possibilità di avere conversazioni contestuali in linguaggio naturale, consentendoti di sfruttare l'intelligenza artificiale generativa senza avere bisogno di competenze nell'area, di spostare dati o di sostenere costi aggiuntivi.

Quali sono le funzioni principali di HeatWave GenAI?

Fra le funzioni principali di HeatWave GenAI ci sono

• LLM nel database
• Integrazione con OCI Generative AI e Amazon Bedrock
• Una memoria di vettore in-database
• Generazione automatica degli incorporamenti
• Elaborazione vettoriale a scalabilità orizzontale
• HeatWave Chat

Quali LLM sono disponibili come modelli nel database in HeatWave?

Le versioni quantizzate dei seguenti LLM nel database sono attualmente disponibili in HeatWave:

• llama3-8b-instruct-v1
• mistral-7b-instruct-v1

Come viene automatizzato HeatWave Vector Store?

Puoi creare una memoria di vettore per il contenuto non strutturato enterprise con un unico comando SQL. Tutti i passaggi per creare una memoria di vettore e gli incorporamenti vettoriali sono automatizzati ed eseguiti all'interno del database, tra cui la scoperta dei documenti nello storage degli oggetti, la loro analisi, la generazione di incorporamenti in modo altamente parallelo e ottimizzato e l'inserimento nella memoria di vettore, cose che rendono HeatWave Vector Store efficiente e facile da usare.

HeatWave ha bisogno di GPU per eseguire LLM nel database?

HeatWave viene eseguito su commodity hardware. Gli LLM nel database non vengono eseguiti su GPU, ma su CPU. Di conseguenza, puoi ridurre i costi e non devi preoccuparti della disponibilità di LLM in vari data center.

In che modo HeatWave GenAI contribuisce a migliorare la sicurezza dei dati?

Quando si utilizzano LLM nel database e una memoria di vettore nel database, i dati non lasciano il database, cosa che contribuisce ad aumentare la sicurezza dei dati.

Posso eseguire HeatWave GenAI su AWS?

Sì, HeatWave GenAI è disponibile in modo nativo su AWS, insieme ad altre funzionalità HeatWave, tra cui HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML e HeatWave Autopilot.

Sono supportate diverse lingue per la generazione di incorporamenti?

Sì, è possibile generare integrazioni per i dati di testo in 27 lingue.

Quali lingue sono supportate per l'emissione dei prompt?

I prompt possono essere emessi in inglese. I prompt emessi in altre lingue, ad esempio spagnolo e tedesco, possono essere tradotti in inglese.

È possibile utilizzare la ricerca vettoriale senza il cluster HeatWave?

No, la ricerca vettoriale viene eseguita all'interno del cluster HeatWave.

Quali forme dovrebbero essere utilizzate per HeatWave GenAI?

HeatWave viene eseguito su un nodo MySQL. Consigliamo un nodo MySQL con una forma MySQL.32 e nodi HeatWave che utilizzano la forma HeatWave.512 GB per un ambiente di produzione. Per sviluppo e test, è possibile utilizzare una forma MySQL più piccola. Puoi consultare le forme MySQL supportate qui. Per HeatWave GenAI, la forma HeatWave.32GB non è supportata.

Quali tipi di documenti sono supportati per la creazione della memoria di vettore?

I formati supportati sono PDF, testo, PowerPoint, Word e HTML.

Quanto costa HeatWave GenAI?

Non sono previsti costi aggiuntivi oltre il costo del cluster HeatWave per l'utilizzo di HeatWave GenAI. È possibile richiamare LLM nel database e incorporare modelli forniti con HeatWave GenAI senza costi aggiuntivi. Puoi anche richiamare LLM esterni disponibili tramite OCI Generative AI su OCI e Amazon Bedrock su AWS; per tali servizi poi verranno fatti addebiti.

I miei dati vengono utilizzati per la formazione di LLM?

No, i LLM sono modelli pre-addestrati. I tuoi dati non vengono utilizzati per la formazione di LLM.

HeatWave GenAI supporta l'ottimizzazione?

No, gli LLM nel database forniti con HeatWave non possono essere ottimizzati.

Posso portare i miei LLM o modelli di incorporamento?

No, non puoi portare i tuoi LLM o modelli di incorporamento. Tuttavia, puoi richiamare i LLM esterni o incorporare modelli disponibili tramite OCI Generative AI quando esegui HeatWave GenAI su OCI e tramite Amazon Bedrock quando esegui HeatWave GenAI su AWS.

Qual è la qualità prevista dei risultati dopo la quantizzazione dei LLM nel database?

Secondi i nostri test, i risultati sono paragonabili ai LLM non quantizzati per i casi d'uso che si basano su HeatWave Vector Store. Puoi testare facilmente i modelli per valutare le prestazioni e la qualità dei risultati.

Quante volte ho bisogno di creare incorporamenti?

È necessario generare incorporamenti una sola volta; questi verranno memorizzati in HeatWave Vector Store. Le modifiche ai documenti non strutturati nello storage degli oggetti attiveranno automaticamente gli aggiornamenti alle integrazioni vettoriali associate.

I documenti contenenti immagini possono essere importati in HeatWave Vector Store?

Sì, il supporto del riconoscimento ottico dei caratteri permette a HeatWave Vector Store di convertire i contenuti scansionati salvati come immagini in dati di testo che possono essere analizzati, ad esempio, per condurre ricerche di somiglianza.