Chatbot com RAG usando OCI Generative AI Agents

Introdução

No cenário tecnológico atual, podemos aproveitar a pesquisa e as estatísticas, extraindo feeds de dados para análise e extraindo insights para tomar decisões em tempo real. No entanto, novas informações podem ser difíceis de analisar e contextualizar, mesmo para as soluções de análise mais robustas. É aqui que a geração aumentada para recuperação (RAG) é útil, permitindo aumentar o conhecimento de um modelo de linguagem grande sem treiná-lo novamente quando novas informações estiverem disponíveis. Isso atualiza seu modelo com dados mais recentes, tornando-o mais capaz, com o mínimo de esforço.

Os Agentes de IA Generativa do OCI (Oracle Cloud Infrastructure) permitem que você faça exatamente isso. Neste exemplo, faremos upload de nossos documentos, processaremos esses dados, os colocaremos em um armazenamento de vetores (via OCI Search com OpenSearch), criaremos um cluster Redis para fins de armazenamento em cache e forneceremos a você uma maneira de consumir os dados por meio de um chatbot.

Para a infraestrutura, teremos os seguintes serviços do OCI presentes:

• Cache do OCI para armazenar em cache as interações usuário-agente (para que possamos fornecer algum contexto ao modelo)
• OCI Search com cluster OpenSearch para pesquisa de similaridade de índice (banco de dados vetorial) e armazenamento de índices com dados
• OCI Compute para estabelecer conexão com o cluster OpenSearch com segurança (por meio do roteamento da sub-rede privada do OCI)
• Agentes de IA Generativa do OCI para comunicação e interação com os dados em nosso cluster

Demonstração

Pré-requisitos e configuração

1. Conta da Oracle Cloud - página de inscrição
2. Introdução aos OCI Generative AI Agents - documentação
3. OCI SDK e interface de linha de comando - configuração
4. IA Generativa da OCI - Python SDK
5. Introdução à API de IA generativa da OCI - documentação
6. Gerenciador de pacotes de código aberto-Conda

Conheça

• Etapas detalhadas e código de exemplo em GitHub