HeatWave GenAI 기능
인데이터베이스 대규모 언어 모델
인데이터베이스 대규모 언어 모델(LLM)을 사용하면 GenAI 애플리케이션 개발이 상당히 단순해집니다. 생성형 AI의 이점을 빠르게 활용할 수 있습니다. 외부 LLM을 선택할 필요가 없고, 다양한 데이터 센터에 위치한 외부 LLM 통합으로 인한 복잡성, 비용, 가용성을 고려할 필요가 없습니다.
- 예를 들어, 내장 LLM으로 HeatWave Vector Store를 활용하여 콘텐츠를 생성 또는 요약하고 데이터를 검색하여 검색 증강 생성(RAG)을 수행할 수 있습니다.
- 또한 생성형 AI를 머신러닝 같은 다른 내장된 HeatWave 기능과 결합하여 비용을 절감하고 더 정확한 결과를 더 빠르게 얻을 수 있습니다.
- 모든 OCI 리전, OCI Dedicated Region 및 기타 다양한 클라우드 환경에 최적화된 내장 LLM을 사용하고, 배포 환경이 서로 다르더라도 예측 가능한 성능을 바탕으로 일관된 결과를 도출할 수 있습니다.
- 인데이터베이스 LLM 사용에 따른 추가 비용은 없습니다. GPU를 프로비저닝할 필요가 없어 인프라 비용이 절감됩니다. 또한 시스템 리소스가 최적화되어(스레드 수, 일괄 처리 크기 및 세그먼트 크기의 구성 최적화) 비용을 더욱 절감할 수 있습니다.
- 인데이터베이스 LLM 및 HeatWave Chat은 개발자가 자연어를 사용한 맥락 기반 대화를 위해 사전 구성된 앱을 제공할 수 있도록 해줍니다. 외부 LLM을 구독하거나 GPU를 프로비저닝할 필요가 없습니다.
- HeatWave 내에 있는 네이티브 LLM을 실행하면 데이터 이동 관련 위험을 최소화할 수 있습니다. LLM은 HeatWave Vector Store를 활용하여 미세 조정에 의존하지 않고 독점 데이터를 사용하여 지식을 확장할 수 있습니다.
- Oracle HeatWave GenAI는 OCI Generative AI 서비스와 통합되어 Cohere 및 Meta의 사전 학습된 기본 모델을 활용 가능합니다.
HeatWave Vector Store
HeatWave Vector Store를 사용하면 기업의 독점 데이터와 LLM의 강력한 기능을 결합하여 공용 데이터로만 학습된 모델을 사용하는 것보다 더 정확하고 맥락에 맞는 답변을 얻을 수 있습니다. 벡터 저장소는 PDF를 비롯한 다양한 형식의 문서를 수집하고, 임베딩 모델을 통해 생성된 임베딩으로 저장합니다. 사용자가 쿼리를 입력하면 벡터 저장소는 저장된 임베딩과 임베드된 쿼리에 대한 유사성 검색을 수행하여 쿼리 내용과 가장 유사한 문서를 식별하는 작업을 지원합니다. 식별한 문서로 LLM에 제공되는 프롬프트를 보강하여 LLM이 보다 비즈니스 맥락에 맞는 답변을 제공하도록 유도할 수 있습니다.
- HeatWave Vector Store를 사용하면 데이터를 별도의 벡터 데이터베이스로 이동하지 않고 AI 전문 지식 없이도 비즈니스 문서를 활용하여 생성형 AI를 사용할 수 있습니다.
- 벡터 저장소에서 임베딩 생성은 모든 클러스터 노드의 여러 스레드에서 병렬로 여러 입력 파일을 처리합니다. 결과적으로 벡터 저장소를 생성하고 PDF, DOCX, HTML, TXT, PPTX와 같은 다양한 형식의 비정형 데이터 수집이 매우 빠르며 클러스터 크기에 따라 확장됩니다.
- 벡터 저장소의 독점 문서를 검색 및 수집하는 파이프라인은 자동화되어 있으며 사용자의 비정형 텍스트 데이터 변환, 임베딩 생성 등을 포함합니다. 따라서 AI 전문 지식이 없는 개발자 및 분석가도 벡터 저장소를 매우 쉽게 사용할 수 있습니다.
- 벡터 저장소는 객체 스토리지에 상주하므로 대규모 데이터 세트를 처리할 때에도 매우 비용 효율적이고 확장성이 뛰어납니다. 벡터 저장소를 다른 애플리케이션과 쉽게 공유할 수도 있습니다.
- 데이터 변환은 데이터베이스 내부에서 완료되므로 데이터 이동을 제거하여 보안 위험이 줄어들고 고객사 리소스의 필요성을 제거하여 비용을 절감할 수 있습니다.
유연하고 빠른 벡터 처리
벡터 처리는 HeatWave의 인메모리 및 수평 확장 아키텍처를 통해 가속화됩니다. HeatWave는 새로운 고유 VECTOR 데이터 유형을 지원하므로 표준 SQL을 사용하여 벡터 데이터를 생성, 처리 및 관리할 수 있습니다.
- 벡터는 다른 SQL 연산자와 결합할 수 있습니다. 예를 들어, 여러 테이블을 서로 다른 문서로 조인하고 모든 문서에서 유사성 검색을 수행하는 분석 쿼리를 실행할 수 있습니다.
- 인메모리 표현 및 수평 확장 아키텍처는 벡터 처리가 최대 512개의 HeatWave 클러스터 노드에 걸쳐 병렬화되고 메모리 대역폭에서 실행됨을 의미합니다. 이는 매우 빠르며 정확도 손실이 없습니다.
HeatWave Chat
새로운 HeatWave Chat 인터페이스를 사용하면 자연어를 사용하여 벡터 저장소의 독점 문서에 의해 증강된 맥락 기반 대화를 할 수 있습니다.
- 자연어를 사용해 MySQL Database 및 객체 스토리지에 저장된 비정형 데이터와 상호 작용할 수 있습니다. 질문의 맥락은 후속 질문을 통해 사람과 유사한 대화를 만들어내기 위해 유지됩니다. HeatWave는 질문 내역, 소스 문서 인용, LLM 프롬프트와 함께 맥락을 유지합니다. 이를 통해 맥락 기반 대화를 용이하게 하고 LLM에서 생성한 답변의 출처를 확인할 수 있습니다. 맥락은 HeatWave에서 유지 관리되며 HeatWave를 사용하는 모든 애플리케이션에서 사용 가능합니다.
- 통합된 Lakehouse Navigator를 통해 MySQL Database 및 객체 스토리지에서 사용 가능한 데이터를 확인할 수 있습니다. 그런 다음 HeatWave Vector Store에서 데이터를 선택하여 쉽게 로드하고 해당 특정 소스에서 정보를 검색하도록 LLM에 지시할 수 있습니다. 그 결과 속도와 정확성을 모두 높이는 동시에 더 작은 데이터 세트에 검색을 수행하여 비용을 절감할 수 있습니다.
- 전체 데이터베이스를 검색하거나 검색 대상을 폴더로 제한할 수 있습니다.
- HeatWave Chat에서 내장된 LLM 또는 OCI Generative AI 서비스를 통해 이용 가능한 LLM 중에서 여러 LLM을 선택할 수 있습니다.