Bouw een RAG-oplossing met meerdere agenten op OCI
Inleiding
Retrieval-Augmented Generation (RAG) kan handig zijn voor eenvoudige query's. Maar wat als query's complex zijn en redenering en besluitvorming in meerdere stappen is vereist? Dan kan een ondersteuningschatbot de oplossing zijn. Zo'n chatbot lost problemen op en biedt niet alleen antwoord op veelgestelde vragen.
Met deze oplossing configureren we een RAG-pijplijn met meerdere agenten en implementeren we deze op Oracle Cloud Infrastructure (OCI) zodat er op intelligente wijze wordt gereageerd op een query. De LLM-agenten (Large Language Model) plannen, onderzoeken en redeneren de reactie van AI. Dit denkproces emuleert het oplossen van problemen door mensen. Een Gradio-interface regelt de verwerking van data. Met behulp van open-sourcetools worden meerdere databronnen geladen, toegevoegd en opgeslagen als vectoren. Gradio biedt ook een chatinterface voor het invoeren van natuurlijke taalquery's.
Met CoT-visualisatie in Gradio ziet u de stappen en beslissingen die elke agent heeft genomen om de definitieve, gesynthetiseerde respons te leveren. Deze oplossing biedt een eenvoudig te volgen voorbeeld van hoe AI de redeneermogelijkheden van zowel lokale als cloudgebaseerde modellen kan verbeteren.
-demonstratie
Vereisten en instellingen
- Oracle Cloud account: aanmeldingspagina
- OCI Generative AI: documentatie
- OCI Generative AI Agents: documentatie
- Oracle Database 23ai: documentatie
- Docling: documentatie
- Gradio: documentatie
- Trafilatura: documentatie