OCI Generative AI에서 사용할 수 있는 Cohere 및 Meta의 새로운 모델은 다음과 같습니다.
전용 AI 클러스터를 통해 비공개 전용 GPU를 사용하여 기본 모델을 호스팅할 수 있습니다. 전용 AI 클러스터는 프로덕션 사용 사례에 필요한 높은 처리량을 안정적으로 제공하고 호스팅 및 워크로드 파인 튜닝을 지원합니다. OCI Generative AI를 사용하면 다운타임 없이 클러스터를 수평 확장하여 대규모의 시스템적 변화를 간단히 수행할 수 있습니다.
Cohere 및 Meta 모델의 즉시 사용 가능한 인터페이스를 통해 제공되는 채팅 환경에서 사용자의 질문에 대해 OCI 콘솔 또는 API을 통해 대화형 응답을 제공합니다.
OCI Generative AI에는 언어 모델에 기반한 새로운 생성형 AI 애플리케이션 인터페이스 개발에 사용할 수 있는 오픈 소스 프레임워크인 LangChain이 통합되어 있습니다. LangChain을 사용하면 언어 모델 작업에 필요한 추상화(abstraction) 및 구성 요소를 간단히 교체할 수 있습니다.
컨텍스트 증강 애플리케이션 구축을 위한 오픈 소스 프레임워크인 LlamaIndex를 OCI Generative AI와 함께 사용하여 RAG 솔루션 또는 에이전트를 손쉽게 구축할 수 있습니다. 맞춤형 데이터 소스와 유연한 도구를 활용해 프로토타입에서 생산까지 솔루션을 제공합니다.
OCI Generative AI는 콘텐츠 조정(content moderation)을 제공하며, 다운타임 없는 엔드포인트 모델 스왑, 엔드포인트 비활성화 및 활성화 등의 기능이 곧 제공될 예정입니다. 또한 각 모델의 엔드포인트로부터 호출 통계, 처리된 토큰 수, 오류 횟수 등의 분석용 데이터를 수집합니다.
Oracle은 OCI Generative AI를 사용하여 개발한 기능을 Oracle Cloud Applications에 직접 내장하여 고객사가 복잡한 통합 과정을 직접 거칠 필요 없이 해당 기능을 바로, 손쉽게 사용할 수 있도록 지원하고 있습니다.