AI 솔루션

OCI Generative AI Agent를 사용하는 RAG 기반 챗봇

개요

오늘날의 기술 환경에서는 연구 및 통계를 활용하여 데이터 피드를 가져와 분석하고 통찰력을 도출하여 실시간으로 의사 결정을 내릴 수 있습니다. 그러나 가장 강력한 분석 솔루션인 경우에도 새로운 정보를 구문 분석하고 맥락화하기가 어려울 수 있습니다. 여기서 검색 증강 생성(RAG)이 유용하므로 새 정보를 사용할 수 있을 때 재교육하지 않고도 대규모 언어 모델에 대한 지식을 강화할 수 있습니다. 이렇게 하면 모델이 최신 데이터로 업데이트되므로 최소한의 노력으로 더 많은 기능을 수행할 수 있습니다.

Oracle Cloud Infrastructure(OCI) Generative AI Agents를 사용하면 이를 수행할 수 있습니다. 이 예에서는 문서를 업로드하고, 이 데이터를 처리하고, 벡터 저장소에 저장하고(OCI Search with OpenSearch 사용) 캐싱을 위해 Redis 클러스터를 생성하고, 챗봇을 통해 데이터를 소비할 수 있는 방법을 제공합니다.

인프라의 경우 다음과 같은 OCI 서비스가 제공됩니다.

  • 사용자 에이전트 상호 작용을 캐싱하기 위한 OCI 캐시(모델에 컨텍스트를 제공할 수 있음)
  • OpenSearch 클러스터를 사용한 OCI Search를 통해 인덱스 유사성 검색(벡터 데이터베이스) 및 데이터로 인덱스 저장
  • OCI 프라이빗 서브넷 경로 지정을 통해 OpenSearch 클러스터에 안전하게 접속하기 위한 OCI 컴퓨트
  • 클러스터의 데이터와 통신하고 상호 작용하기 위한 OCI 생성형 AI 에이전트

데모

데모: OCI Generative AI Agents를 사용한 RAG와의 챗봇(1:44)

선수 과정 및 설정

  1. Oracle Cloud 계정—사인업 페이지
  2. OCI Generative AI 시작하기—설명서
  3. OCI SDK 및 명령행 인터페이스—구성
  4. OCI Generative AI—Python SDK
  5. 오픈 소스 패키지 관리자—Conda