Generative AI 서비스 기능

 

모델

OCI Generative AI에서 사용할 수 있는 Cohere 및 Meta의 새로운 모델은 다음과 같습니다.

  • Cohere Command R: 새로운 범주의 확장 가능한 모델 중 하나인 Command R은 검색 증강 생성(RAG) 애플리케이션에서 높은 효율성과 뛰어난 정확성의 균형을 유지하는 것을 목표로 합니다. 원래 Cohere 모델과 비교했을 때 Command R은 10개 언어에 대해 더 높은 처리량과 짧은 지연시간, 더 큰 컨텍스트 창 및 강력한 성능을 제공합니다.
  • Cohere Command R+: Command R+는 보다 특수한 사용 사례를 위해 Command R에 추가적인 훈련을 거쳐 향상된 모델입니다. Command R+는 언어에 대한 더 깊은 이해와 더 미묘하고 맥락에 맞는 답변을 생성할 수 있는 성능을 보여줍니다. 특정 도메인 또는 산업에 대해 긴 형식의 콘텐츠 생성, 요약, 질문 답변 및 언어 생성과 같은 사용 사례에 Command R+를 사용해 보세요.
  • Cohere Embed: 텍스트를 벡터 임베딩 표현으로 변환해 주는 영어 및 다국어 임베딩 모델(v3)들입니다. 더 작고 빠른 '라이트' 버전의 Embed도 함께 제공됩니다(영어 한정).
  • Meta Llama 3: Llama 3 모델은 향상된 성능과 응답 다양성을 갖춘 최첨단 오픈 소스 모델입니다. 향상된 기능에는 추론, 코드 생성 및 지침 준수 등이 포함됩니다. OCI Generative AI는 LoRA 방식을 사용하여 미세 조정을 지원하는 Llama 3 70B 모델을 제공합니다.

Dedicated AI 클러스터

전용 AI 클러스터를 통해 비공개 전용 GPU를 사용하여 기본 모델을 호스팅할 수 있습니다. 전용 AI 클러스터는 프로덕션 사용 사례에 필요한 높은 처리량을 안정적으로 제공하고 호스팅 및 워크로드 파인 튜닝을 지원합니다. OCI Generative AI를 사용하면 다운타임 없이 클러스터를 수평 확장하여 대규모의 시스템적 변화를 간단히 수행할 수 있습니다.

채팅 API 및 플레이그라운드

Cohere 및 Meta 모델의 즉시 사용 가능한 인터페이스를 통해 제공되는 채팅 환경에서 사용자의 질문에 대해 OCI 콘솔 또는 API을 통해 대화형 응답을 제공합니다.

LangChain 통합

OCI Generative AI에는 언어 모델에 기반한 새로운 생성형 AI 애플리케이션 인터페이스 개발에 사용할 수 있는 오픈 소스 프레임워크인 LangChain이 통합되어 있습니다. LangChain을 사용하면 언어 모델 작업에 필요한 추상화(abstraction) 및 구성 요소를 간단히 교체할 수 있습니다.

LlamaIndex 통합

컨텍스트 증강 애플리케이션 구축을 위한 오픈 소스 프레임워크인 LlamaIndex를 OCI Generative AI와 함께 사용하여 RAG 솔루션 또는 에이전트를 손쉽게 구축할 수 있습니다. 맞춤형 데이터 소스와 유연한 도구를 활용해 프로토타입에서 생산까지 솔루션을 제공합니다.

Generative AI 운영

OCI Generative AI는 콘텐츠 조정(content moderation)을 제공하며, 다운타임 없는 엔드포인트 모델 스왑, 엔드포인트 비활성화 및 활성화 등의 기능이 곧 제공될 예정입니다. 또한 각 모델의 엔드포인트로부터 호출 통계, 처리된 토큰 수, 오류 횟수 등의 분석용 데이터를 수집합니다.

Oracle Fusion Cloud Applications용 OCI Generative AI

Oracle은 OCI Generative AI를 사용하여 개발한 기능을 Oracle Cloud Applications에 직접 내장하여 고객사가 복잡한 통합 과정을 직접 거칠 필요 없이 해당 기능을 바로, 손쉽게 사용할 수 있도록 지원하고 있습니다.

더 알아보기