Caracteristicile HeatWave GenAI

Modele lingvistice mari în baza de date

Modelele lingvistice mari (LLM) din baza de date simplifică foarte mult dezvoltarea aplicațiilor GenAI. Puteți beneficia rapid de AI generativ; nu trebuie să selectați un LLM extern și nu trebuie să luați în considerare complexitatea și costurile integrării sau disponibilitatea unui LLM extern în centre de date diferite.

Creați aplicații AI generativă pentru o gamă largă de cazuri de utilizare în cloud

• De exemplu, puteți utiliza LLM-urile încorporate pentru a genera sau a sumariza conținut și pentru a căuta date necesare generării de preluări augmentate (RAG) cu HeatWave Vector Store.
• Puteți, de asemenea, să combinați AI generativ cu alte capacități HeatWave încorporate, cum ar fi machine learning, pentru a oferi mai multă valoare clienților, a reduce costurile și a obține mai rapid rezultate mai exacte.
• Puteți utiliza LLM-urile încorporate în toate regiunile Oracle Cloud Infrastructure (OCI), OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) și Microsoft Azure și puteți obține rezultate consecvente cu performanțe previzibile în toate implementările.
• Oracle HeatWave GenAI este integrat cu serviciulOCI Generative AI și cu Amazon Bedrock pentru accesare a modelelor de bază preinstruite de la Cohere și Meta.
• Cu ajutorul LLM-urilor din baza de date și al HeatWave Chat, dezvoltatorii pot livra aplicații preconfigurate pentru conversații contextuale într-un limbaj natural. Nu este nevoie să vă abonați la LLM-uri externe sau să alocați unități GPU.
• Procesarea în set a inferenței LLM ajută dezvoltatorii să îmbunătățească randamentul aplicațiilor prin executarea mai multor cereri simultan.
• LLM-urile pot utiliza HeatWave Vector Store pentru a-și extinde cunoștințele, folosind date de proprietate în loc să se bazeze pe optimizare.

Ajutați la reducerea costurilor și a riscurilor

• Nu există costuri suplimentare pentru utilizarea LLM-urilor din baza de date.
• Puteți reduce costurile cu infrastructura, deoarece nu trebuie să alocați unități GPU. În plus, resursele de sistem sunt optimizate (configurarea optimă a numărului de fire, a mărimii setului și a mărimii segmentului), ceea ce contribuie la reducerea costurilor și mai mult.
• Execuția unui LLM nativ în cadrul HeatWave reduce la minimum riscurile asociate transferului de date.

HeatWave Vector Store

HeatWave Vector Store vă permite să combinați puterea LLM-urilor cu datele dvs. de proprietate pentru a obține răspunsuri mai exacte și mai relevante contextual decât dacă ați utiliza modele instruite doar cu date publice. Magazinul de vectori acceptă documente într-o varietate de formate, inclusiv PDF, și le stochează ca încorporări generate printr-un model de încorporare. Când un utilizator efectuează o interogare, depozitul de vectori identifică documentele care corespund cel mai bine printr-o căutare în înglobările stocate și prin interogarea înglobată. Documentele respective sunt utilizate pentru augmentarea prompturilor trimise către LLM, astfel încât să ofere un răspuns adecvat activității companiei.

Nu este necesară expertiză AI

• HeatWave Vector Store vă permite să utilizați AI generativ pentru documentele de afaceri fără experiență în AI și fără a transfera datele într-o bază de date pentru vectori separată.
• Dezvoltatorii pot crea un depozit vectorial pentru conținutul nestructurat al întreprinderii cu o singură comandă SQL.
• Generarea de înglobări în depozitele de vectori procesează mai multe fișiere de intrare în paralel pe mai multe fire și pe toate nodurile clusterului. Prin urmare, crearea depozitului de vectori și culegerea datelor nestructurate în diferite formate, cum ar fi PDF, DOCX, HTML, TXT sau PPTX, este foarte rapidă și scalează în funcție de mărimea clusterului.
• Procesul de identificare a documentelor de proprietate și asimilare a lor în depozitul de vectori este automat, inclusiv transformarea datelor text nestructurate ale utilizatorilor și generarea de încorporări, așa că depozitul de vectori poate fi utilizat ușor de dezvoltatori și de analiști fără experiență în AI.
• Suportul multilingv vă permite să încărcați documente în 27 de limbi în HeatWave Vector Store pentru a efectua căutări de similitudine și pentru a pune întrebări în diferite limbi.
• Suportul nativ JavaScript le permite dezvoltatorilor să utilizeze JavaScript cu tipul de date VECTOR și să invoce capacitățile HeatWave GenAI dintr-un program JavaScript, de exemplu, pentru a crea cu ușurință roboți de chat care accesează datele companiei.
• Recunoașterea optică a caracterelor vă ajută să efectuați căutări de similaritate prin utilizarea HeatWave Vector Store pentru a converti conținutul scanat salvat ca imagine în date text care pot fi analizate, de exemplu, pentru a detecta plagiat.

Costurile și riscurile pot fi reduse

• Depozitul de vectori conține obiecte, fiind foarte rentabil și extrem de scalabil, chiar și în cazul unui volum de date foarte mare. Puteți partaja cu ușurință depozitul de vectori cu diferite aplicații.
• Transformarea datelor este finalizată în cadrul HeatWave, ceea ce contribuie la reducerea riscurilor de securitate prin eliminarea transferului de date și contribuie la reducerea costurilor prin eliminarea nevoii de resurse pentru clienți.

Procesare flexibilă și rapidă a vectorilor

Procesarea vectorilor este mai rapidă datorită arhitecturii in-memory și scalabile a HeatWave. HeatWave acceptă un nou tip de date VECTOR native, care permite utilizarea SQL standard pentru crearea, prelucrarea și gestionarea datelor vectoriale.

• Puteți combina vectori cu alți operatori SQL. De exemplu, puteți rula interogări analitice care asociază mai multe tabele cu diferite documente, putând căuta elementele similare din toate documentele.
• Reprezentarea in-memory și o arhitectură scalabilă înseamnă că procesarea vectorilor este efectuată în paralel pe până la 512 noduri de cluster HeatWave și executată la lățimea de bandă a memoriei – extrem de rapid și la fel de exact.

HeatWave Chat

O nouă interfață HeatWave Chat vă permite să purtați conversații contextuale îmbunătățite cu documente de proprietate din depozitul de vectori, utilizând un limbaj natural.

• Puteți interacționa cu datele nestructurate stocate în MySQL Database și în baza de date pentru obiecte folosind un limbaj natural. Contextul întrebărilor este reținut, conversația decurgând ca între două persoane, cu întrebări deschise și răspunsuri. HeatWave menține contextul conversației memorând istoricul întrebărilor utilizatorului, al documentelor citate și al prompturilor pentru LLM. Astfel, conversația este contextuală și vă permite să verificați sursa răspunsurilor generate de LLM. Acest context este memorat în HeatWave, fiind disponibil pentru toate aplicațiile care utilizează HeatWave.
• Funcția Lakehouse Navigator vă permite să vedeți datele disponibile în MySQL Database și în spațiul de stocare pentru obiecte. Apoi, puteți să încărcați cu ușurință datele selectate în HeatWave Vector Store și să instruiți LLM să preia informații din sursa respectivă. Prin urmare, puteți reduce costurile, deoarece căutați într-un set de date mai mic, crescând totodată viteza și precizia căutării.
• Puteți să căutați în întreaga bază de date sau să limitați căutarea la un folder.
• Mai multe LLM-uri pot fi selectate prin HeatWave Chat, acestea fiind atât integrate, cât și accesibile cu serviciul OCI Generative AI.