Funzionalità di MySQL HeatWave GenAI

Modelli di linguaggio di grandi dimensioni nel database

I modelli LLM (Large Language Model) nel database semplificano notevolmente lo sviluppo delle applicazioni GenAI. Puoi beneficiare rapidamente dell'intelligenza artificiale generativa; non è necessario selezionare un LLM esterno e non devi prendere in considerazione la complessità dell'integrazione, i costi o la disponibilità di un LLM esterno in vari data center.

Crea app di intelligenza artificiale generativa per una vasta gamma di casi d'uso tra i cloud

• È possibile, ad esempio, utilizzare gli LLM incorporati per generare o riepilogare contenuti e dati di ricerca al fine di eseguire la generazione aumentata di recupero (RAG) con HeatWave Vector Store.
• Puoi anche combinare l'intelligenza artificiale generativa con altre funzionalità Oracle MySQL HeatWave integrate, come il machine learning, al fine di offrire maggiore valore ai clienti, ridurre i costi e ottenere risultati più accurati in tempi più rapidi.
• Puoi utilizzare gli LLM integrati in tutte le aree geografiche di Oracle Cloud Infrastructure (OCI), OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) e Microsoft Azure e ottenere risultati coerenti con performance prevedibili in tutte le implementazioni.
• Oracle MySQL HeatWave GenAI è integrato con il servizio di AI generativa OCI e con Amazon Bedrock per l'accesso a modelli di base pre-addestrati di Cohere e Meta.
• Gli LLM nel database e la chat Oracle HeatWave consentono agli sviluppatori di distribuire app preconfigurate per conversazioni contestuali in linguaggio naturale. Non è necessario eseguire la sottoscrizione a LLM esterni o eseguire il provisioning delle GPU.
• L'elaborazione batch di inferenza LLM consente agli sviluppatori di migliorare il throughput delle applicazioni eseguendo più richieste contemporaneamente.
• Gli LLM possono sfruttare HeatWave Vector Store per espandere le proprie conoscenze utilizzando dati proprietari invece di fare affidamento sulla messa a punto.

Ridurre costi e rischi

• Non ci sono costi aggiuntivi per utilizzare gli LLM nel database.
• Riduci i costi dell'infrastruttura eliminando il bisogno di eseguire il provisioning delle GPU. Inoltre, le risorse di sistema sono ottimizzate (configurazione ottimale del conteggio dei thread, della dimensione del batch e della dimensione del segmento) per contribuire ulteriormente a ridurre i costi.
• L'esecuzione LLM nativa all'interno di MySQL HeatWave consente di ridurre al minimo i rischi associati allo spostamento dei dati.

HeatWave Vector Store

HeatWave Vector Store consente di combinare la potenza degli LLM con i tuoi dati per ottenere risposte più accurate e contestualmente pertinenti rispetto all'utilizzo di modelli addestrati solo su dati pubblici. La vector store acquisisce documenti in una varietà di formati, tra cui PDF, e li memorizza come integrazioni generate tramite modello. Per una determinata query, la vector store identifica i documenti più simili eseguendo una ricerca di somiglianza con le integrazioni memorizzate e la query incorporata. Questi documenti vengono utilizzati per aumentare il contesto dato agli LLM in modo che forniscano una risposta più contestuale per la tua azienda.

Nessuna competenza AI richiesta

• HeatWave Vector Store consente di utilizzare l'AI generativa con i tuoi documenti aziendali senza esperienza pregressa e senza spostare i dati in un database vettoriale separato.
• Gli sviluppatori possono creare una memoria vettoriale per il contenuto non strutturato enterprise con un unico comando SQL.
• La generazione di integrazioni nel vector store elabora più file di input in parallelo tra più thread su tutti i nodi del cluster. Di conseguenza, la creazione della memoria di vettore e l'inclusione di dati non strutturati in vari formati, come PDF, DOCX, HTML, TXT o PPTX, sono molto veloci e scalabili con le dimensioni del cluster.
• La pipeline per scoprire e includere documenti nel vector store è automatizzata e include la trasformazione dei dati di testo non strutturati degli utenti e la generazione di integrazioni, rendendo molto facile per sviluppatori e analisti senza esperienza nell'AI l'utilizzo del vector store.
• Il supporto multilingue consente di caricare documenti in 27 lingue in HeatWave Vector Store per eseguire ricerche di somiglianza e porre domande in varie lingue.
• Il supporto JavaScript nativo consente agli sviluppatori di utilizzare JavaScript con il tipo di dati VECTOR e di richiamare le funzionalità HeatWave GenAI da un programma JavaScript, ad esempio, per creare facilmente chatbot che accedono ai dati aziendali.
• Il supporto del riconoscimento ottico dei caratteri permette di eseguire ricerche di similarità sfruttando HeatWave Vector Store per convertire i contenuti scansionati salvati come immagini in dati di testo che possono essere analizzati, ad esempio, per rilevare casi di plagio.

Costi e rischi possono essere ridotti

• Vector store nell'object store, il che la rende molto conveniente e altamente scalabile, anche con set di dati di grandi dimensioni. Puoi anche condividere facilmente vector store con diverse applicazioni.
• La trasformazione dei dati viene completata all'interno di MySQL HeatWave, eliminando sia lo spostamento dei dati per ridurre i rischi per la sicurezza sia la necessità di risorse client per ridurre i costi.

Elaborazione vettoriale flessibile e veloce

L'elaborazione vettoriale viene accelerata con l'architettura in-memory e di scalabilità di MySQL HeatWave. Supporta un nuovo tipo di dati vettoriali nativi che consente di utilizzare SQL standard per creare, elaborare e gestire i dati vettoriali.

• È possibile combinare i vettori con altri operatori SQL. Ad esempio, è possibile eseguire query analitiche che uniscono più tabelle con documenti diversi e ricerche di somiglianza in tutti i documenti.
• La rappresentazione in-memory e un'architettura di scalabilità orizzontale significano che l'elaborazione dei vettori viene parallelizzata su un massimo di 512 nodi cluster MySQL HeatWave ed eseguita alla larghezza di banda della memoria, in modo estremamente veloce e senza alcuna perdita di accuratezza.
• Come dimostrato dall'analisi comparativa di una memoria di vettore da 300 GB che utilizza una combinazione di query di ricerca di somiglianza, HeatWave Vector Store è meno costoso e 15 volte più veloce di Databricks, 18 volte più veloce di Google BigQuery, 26 volte più veloce di Amazon Aurora PostgreSQL e 30 volte più veloce di Snowflake.

HeatWave Chat

Una nuova interfaccia di chat HeatWave consente di avere conversazioni contestuali supportate da documenti nel vector store, tramite l'utilizzo del linguaggio naturale.

• Puoi interagire con i dati non strutturati memorizzati in MySQL Database e nell'object store utilizzando il linguaggio naturale. Il contesto delle domande viene conservato per consentire una conversazione di tipo umano con domande di follow-up. MySQL HeatWave mantiene un contesto con la cronologia delle domande poste, le citazioni dei documenti di origine e il prompt all'LLM. Ciò facilita una conversazione contestuale e consente di verificare l'origine delle risposte generate dall'LLM. Questo contesto viene gestito in MySQL HeatWave ed è disponibile per tutte le applicazioni che utilizzano MySQL HeatWave.
• Lakehouse Navigator integrato ti consente di visualizzare i dati disponibili in MySQL Database e nell'object store. È quindi possibile caricare facilmente i dati selezionati in HeatWave Vector Store e indicare all'LLM di recuperare le informazioni da questa sorgente. Di conseguenza, è possibile ridurre i costi eseguendo la ricerca in un set di dati più piccolo, aumentando la velocità e la precisione.
• È possibile eseguire ricerche nell'intero database o limitare la ricerca a una cartella.
• È possibile selezionare diversi LLM tramite la chat HeatWave, integrata o accessibile con il servizio di AI generativa OCI.