Chatbot con RAG a través de OCI Generative AI Agents
Introducción
En el panorama tecnológico actual, podemos aprovechar la investigación y las estadísticas, obteniendo fuentes de datos para el análisis y obteniendo información para tomar decisiones en tiempo real. Sin embargo, la nueva información puede ser difícil de analizar y contextualizar, incluso para las soluciones de análisis más sólidas. Aquí es donde la generación aumentada de recuperación (RAG) es útil, lo que le permite aumentar el conocimiento de un modelo de lenguaje grande sin volver a entrenarlo cuando haya nueva información disponible. Esto actualiza su modelo con datos más recientes, haciéndolo más capaz, con un mínimo esfuerzo.
Los agentes de IA generativa de Oracle Cloud Infrastructure (OCI) te permiten hacerlo. En este ejemplo, cargaremos nuestros documentos, procesaremos estos datos, los pondremos en un almacén de vectores (a través de OCI Search con OpenSearch), crearemos un cluster de Redis con fines de almacenamiento en caché y le proporcionaremos una forma de consumir los datos a través de un chatbot.
Para la infraestructura, tendremos los siguientes servicios de OCI presentes:
- Caché de OCI para almacenar en caché las interacciones entre usuarios y agentes (para que podamos proporcionar contexto al modelo)
- Búsqueda de OCI con cluster OpenSearch para búsqueda de similitud de índices (base de datos vectorial) y almacenamiento de índices con datos
- OCI Compute para conectarse al cluster OpenSearch de forma segura (mediante el enrutamiento de subred privada de OCI)
- Agentes de IA generativa de OCI para comunicarse e interactuar con los datos de nuestro cluster
Demostración
Requisitos y configuración
- Cuenta de Oracle Cloud: página de registro
- Introducción a OCI Generative AI Agents: documentación
- SDK de OCI e interfaz de línea de comandos: configuración
- IA generativa de OCI: SDK de Python
- Introducción a la API de IA generativa de OCI: documentación
- Gestor de paquetes de código abierto: Conda