개요
검색 증강 생성(RAG)은 간단한 query에 유용할 수 있습니다. 그러나 쿼리가 복잡하고 다단계 추론 및 의사 결정이 필요한 경우 어떻게 해야 할까요? 예를 들어, FAQ 검색뿐 아니라 문제를 해결할 수 있는 지원 챗봇이 더 유용할 때입니다.
이 솔루션에서는 쿼리에 지능적으로 응답할 수 있도록 다중 에이전트 RAG 파이프라인을 설정하고 OCI(Oracle Cloud Infrastructure)에 배포합니다. LLM(대형 언어 모델) 에이전트는 AI의 응답을 계획, 조사 및 추론합니다. 이 사고 체인(CoT) 프로세스는 인간의 문제 해결을 에뮬레이트합니다. Gradio 인터페이스는 데이터 처리를 통합관리합니다. 여러 데이터 소스가 오픈 소스 도구를 사용하여 벡터로 업로드, 수집 및 저장됩니다. Gradio는 또한 자연어 쿼리를 입력하는 채팅 인터페이스를 제공합니다.
Gradio에서 CoT 시각화를 사용하면 각 에이전트가 최종 합성 응답을 제공하기 위해 취한 단계와 결정을 볼 수 있습니다. 이 솔루션은 에이전트 AI가 로컬 및 클라우드 기반 모델의 추론 기능을 어떻게 향상시킬 수 있는지에 대한 간편한 예를 제공합니다.
데모
