AI Solution

OCI Generative AI Agent를 사용하는 RAG 기반 챗봇

개요

오늘날의 기술 환경에서 우리는 연구 및 통계를 활용하여 분석 및 통찰력을 얻기 위해 데이터 피드를 가져와 실시간으로 의사 결정을 내릴 수 있습니다. 그러나 가장 강력한 분석 솔루션에서도 새로운 정보의 구문 분석 및 컨텍스트화가 어려울 수 있습니다. 여기서 검색 증강 생성(RAG)이 유용하므로 새 정보를 사용할 수 있을 때 재교육하지 않고도 대규모 언어 모델에 대한 지식을 강화할 수 있습니다. 이 기능은 최신 데이터로 모델을 업데이트하여 최소한의 노력으로 더 많은 기능을 제공합니다.

Oracle Cloud Infrastructure(OCI) Generative AI Agents를 사용하면 바로 사용할 수 있습니다. 이 예제에서는 문서를 업로드하고, 이 데이터를 처리하고, 벡터 저장소에 저장하고(OCI Search with OpenSearch를 통해), 캐싱을 위한 Redis 클러스터를 생성하고, 챗봇을 통해 데이터를 사용할 수 있는 방법을 제공합니다.

인프라의 경우 다음과 같은 OCI 서비스가 제공됩니다.

  • 사용자 에이전트 상호 작용을 캐시에 저장하기 위한 OCI 캐시(모델에 컨텍스트를 지정할 수 있음)
  • 인덱스 유사성 검색(벡터 데이터베이스) 및 데이터로 인덱스 저장을 위해 OpenSearch 클러스터를 사용한 OCI 검색
  • OCI 프라이빗 서브넷 경로 지정을 통해 OpenSearch 클러스터에 안전하게 접속하기 위한 OCI 컴퓨트
  • 클러스터의 데이터와 통신 및 상호 작용하기 위한 OCI Generative AI 에이전트

데모

데모: OCI Generative AI 에이전트를 사용한 RAG 기반의 챗봇(1:44)

선행 조건 및 설정

  1. Oracle Cloud 계정—등록 페이지
  2. OCI Generative AI—설명서 시작하기
  3. OCI SDK 및 명령행 인터페이스—구성
  4. OCI Generative AI—Python SDK
  5. 오픈 소스 패키지 관리자—Conda