Chatbot con la RAG che utilizzano agenti dell'AI generativa OCI
Introduzione
Nel panorama tecnologico di oggi, possiamo attingere a ricerche e statistiche, estraendo feed di dati per l'analisi e ricavando insight per prendere decisioni in tempo reale. Tuttavia, le nuove informazioni possono essere difficili da analizzare e contestualizzare, anche per le soluzioni di analytics più solide. È qui che è utile la retrieval-augmented generation (RAG), che consente di aumentare le conoscenze di un modello linguistico di grandi dimensioni senza riqualificarlo quando sono disponibili nuove informazioni. Questo aggiorna il tuo modello con dati più recenti, rendendolo più capace e con il minimo sforzo.
Gli agenti di AI generativa di Oracle Cloud Infrastructure (OCI) ti consentono di fare proprio questo. In questo esempio, caricheremo i nostri documenti, elaboreremo questi dati, li metteremo in una memoria di vettore (tramite OCI Search con OpenSearch), creeremo un cluster Redis a scopo di inserimento nella cache e ti forniremo un modo per utilizzare i dati tramite un chatbot.
Per l'infrastruttura, avremo i seguenti servizi OCI presenti:
- Cache OCI per l'inserimento nella cache delle interazioni utente-agente (in modo da poter fornire un contesto al modello)
- OCI Search con il cluster OpenSearch per la ricerca della somiglianza degli indici (database vettoriale) e la memorizzazione degli indici con i dati
- OCI Compute per la connessione sicura al cluster OpenSearch (tramite l'instradamento della subnet privata OCI)
- Agenti AI generativa OCI per la comunicazione e l'interazione con i dati nel nostro cluster
Demo
Prerequisiti e impostazione
- Account Oracle Cloud: pagina di iscrizione
- Introduzione all'AI generativa OCI: documentazione
- SDK OCI e interfaccia a riga di comando: configurazione
- AI generativa OCI - SDK Python
- Package manager open source: Conda