Chatbot con RAG a través de OCI Generative AI Agents
Introducción
En el panorama tecnológico actual, podemos aprovechar la investigación y las estadísticas, incorporando fuentes de datos para el análisis y obteniendo información para tomar decisiones en tiempo real. Sin embargo, la nueva información puede ser difícil de analizar y contextualizar, incluso para las soluciones de análisis más sólidas. Aquí es donde la generación aumentada de recuperación (RAG) es útil, lo que le permite aumentar el conocimiento de un modelo de lenguaje grande sin volver a entrenarlo cuando haya nueva información disponible. Esto actualiza su modelo con datos más recientes, lo que lo hace más capaz, con un esfuerzo mínimo.
Los agentes de IA generativa de Oracle Cloud Infrastructure (OCI) te permiten hacer precisamente eso. En este ejemplo, cargaremos nuestros documentos, procesaremos estos datos, los pondremos en un almacén vectorial (a través de OCI Search con OpenSearch), crearemos un cluster de Redis para fines de almacenamiento en caché y le proporcionaremos una forma de consumir los datos a través de un chatbot.
Para la infraestructura, tendremos los siguientes servicios de OCI presentes:
- OCI Cache para almacenar en caché interacciones entre el usuario y el agente (para que podamos dar algún contexto al modelo)
- OCI Search con el cluster OpenSearch para la búsqueda de similitud de índices (base de datos vectorial) y el almacenamiento de índices con datos
- OCI Compute para conectarse al cluster OpenSearch de forma segura (mediante el enrutamiento de subred privada de OCI)
- Agentes de IA generativa de OCI para comunicarse e interactuar con los datos de nuestro cluster
Demostración
Requisitos y configuración
- Cuenta de Oracle Cloud—página de registro
- Introducción a OCI Generative AI: documentación
- SDK de OCI e interfaz de línea de comandos: configuración
- OCI Generative AI: SDK de Python
- Gestor de paquetes de código abierto: Conda