Funzionalità di HeatWave GenAI

Modelli di linguaggio di grandi dimensioni nel database

I modelli LLM (Large Language Model) nel database semplificano notevolmente lo sviluppo delle applicazioni GenAI. Puoi beneficiare rapidamente dell'intelligenza artificiale generativa; non è necessario selezionare un LLM esterno e non devi prendere in considerazione la complessità dell'integrazione, i costi o la disponibilità di un LLM esterno in vari data center.

Crea app di intelligenza artificiale generativa per una vasta gamma di casi d'uso tra i cloud

• È possibile, ad esempio, utilizzare gli LLM incorporati per generare o riepilogare contenuti e dati di ricerca al fine di eseguire la generazione aumentata di recupero (RAG) con HeatWave Vector Store.
• Puoi anche combinare l'intelligenza artificiale generativa con altre funzionalità HeatWave integrate, come il machine learning, al fine di offrire maggiore valore ai clienti, ridurre i costi e ottenere risultati più accurati in tempi più rapidi.
• Puoi utilizzare gli LLM integrati in tutte le aree geografiche di Oracle Cloud Infrastructure (OCI), OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) e Microsoft Azure e ottenere risultati coerenti con performance prevedibili in tutte le implementazioni.
• Oracle HeatWave GenAI è integrato con il servizio di AI generativa OCI e con Amazon Bedrock per l'accesso a modelli di base pre-addestrati di Cohere e Meta.
• Gli LLM nel database e la chat HeatWave consentono agli sviluppatori di distribuire app preconfigurate per conversazioni contestuali in linguaggio naturale. Non è necessario eseguire la sottoscrizione a LLM esterni o eseguire il provisioning delle GPU.
• L'elaborazione batch di inferenza LLM consente agli sviluppatori di migliorare il throughput delle applicazioni eseguendo più richieste contemporaneamente.
• Gli LLM possono sfruttare HeatWave Vector Store per espandere le proprie conoscenze utilizzando dati proprietari invece di fare affidamento sulla messa a punto.

Ridurre costi e rischi

• Non ci sono costi aggiuntivi per utilizzare gli LLM nel database.
• Riduci i costi dell'infrastruttura eliminando il bisogno di eseguire il provisioning delle GPU. Inoltre, le risorse di sistema sono ottimizzate (configurazione ottimale del conteggio dei thread, della dimensione del batch e della dimensione del segmento) per contribuire ulteriormente a ridurre i costi.
• L'esecuzione LLM nativa all'interno di HeatWave consente di ridurre al minimo i rischi associati allo spostamento dei dati.

HeatWave Vector Store

HeatWave Vector Store consente di combinare la potenza degli LLM con i tuoi dati per ottenere risposte più accurate e contestualmente pertinenti rispetto all'utilizzo di modelli addestrati solo su dati pubblici. La vector store acquisisce documenti in una varietà di formati, tra cui PDF, e li memorizza come integrazioni generate tramite modello. Per una determinata query, la vector store identifica i documenti più simili eseguendo una ricerca di somiglianza con le integrazioni memorizzate e la query incorporata. Questi documenti vengono utilizzati per aumentare il contesto dato agli LLM in modo che forniscano una risposta più contestuale per la tua azienda.

Nessuna competenza AI richiesta

• HeatWave Vector Store consente di utilizzare l'AI generativa con i tuoi documenti aziendali senza esperienza pregressa e senza spostare i dati in un database vettoriale separato.
• Gli sviluppatori possono creare una memoria vettoriale per il contenuto non strutturato enterprise con un unico comando SQL.
• La generazione di integrazioni nel vector store elabora più file di input in parallelo tra più thread su tutti i nodi del cluster. Di conseguenza, la creazione della memoria di vettore e l'inclusione di dati non strutturati in vari formati, come PDF, DOCX, HTML, TXT o PPTX, sono molto veloci e scalabili con le dimensioni del cluster.
• La pipeline per scoprire e includere documenti nel vector store è automatizzata e include la trasformazione dei dati di testo non strutturati degli utenti e la generazione di integrazioni, rendendo molto facile per sviluppatori e analisti senza esperienza nell'AI l'utilizzo del vector store.
• Il supporto multilingue consente di caricare documenti in 27 lingue in HeatWave Vector Store per eseguire ricerche di somiglianza e porre domande in varie lingue.
• Il supporto JavaScript nativo consente agli sviluppatori di utilizzare JavaScript con il tipo di dati VECTOR e di richiamare le funzionalità HeatWave GenAI da un programma JavaScript, ad esempio, per creare facilmente chatbot che accedono ai dati aziendali.
• Il supporto del riconoscimento ottico dei caratteri permette di eseguire ricerche di similarità sfruttando HeatWave Vector Store per convertire i contenuti scansionati salvati come immagini in dati di testo che possono essere analizzati, ad esempio, per rilevare casi di plagio.

Costi e rischi possono essere ridotti

• Vector store nell'object store, il che la rende molto conveniente e altamente scalabile, anche con set di dati di grandi dimensioni. Puoi anche condividere facilmente vector store con diverse applicazioni.
• La trasformazione dei dati viene completata all'interno di HeatWave, il che aiuta a ridurre i rischi per la sicurezza, eliminando lo spostamento dei dati, e i costi, eliminando la necessità di risorse client.

Elaborazione vettoriale flessibile e veloce

L'elaborazione vettoriale accelera con l'architettura in-memory e di scalabilità di HeatWave. HeatWave supporta un nuovo tipo di dati VECTOR nativi che consente di utilizzare SQL standard per creare, elaborare e gestire i dati vettoriali.

• È possibile combinare i vettori con altri operatori SQL. Ad esempio, è possibile eseguire query analitiche che uniscono più tabelle con documenti diversi e ricerche di somiglianza in tutti i documenti.
• La rappresentazione in-memory e un'architettura di scalabilità orizzontale significano che l'elaborazione dei vettori viene parallelizzata su un massimo di 512 nodi cluster HeatWave ed eseguita a larghezza di banda della memoria, estremamente veloce e senza alcuna perdita di accuratezza.

HeatWave Chat

Una nuova interfaccia di chat HeatWave consente di avere conversazioni contestuali supportate da documenti nel vector store, tramite l'utilizzo del linguaggio naturale.

• Puoi interagire con i dati non strutturati memorizzati in MySQL Database e nell'object store utilizzando il linguaggio naturale. Il contesto delle domande viene conservato per consentire una conversazione di tipo umano con domande di follow-up. HeatWave mantiene un contesto con la cronologia delle domande poste, le citazioni dei documenti di origine e il prompt all'LLM. Ciò facilita una conversazione contestuale e consente di verificare l'origine delle risposte generate dall'LLM. Questo contesto viene gestito in HeatWave ed è disponibile per tutte le applicazioni che utilizzano HeatWave.
• Lakehouse Navigator integrato ti consente di visualizzare i dati disponibili in MySQL Database e nell'object store. È quindi possibile caricare facilmente i dati selezionati in HeatWave Vector Store e indicare all'LLM di recuperare le informazioni da questa sorgente. Di conseguenza, è possibile ridurre i costi eseguendo la ricerca in un set di dati più piccolo, aumentando la velocità e la precisione.
• È possibile eseguire ricerche nell'intero database o limitare la ricerca a una cartella.
• È possibile selezionare diversi LLM tramite la chat HeatWave, integrata o accessibile con il servizio di AI generativa OCI.