HeatWave GenAI FAQ

FAQ 주제

개요

HeatWave GenAI란 무엇인가요?

Oracle HeatWave GenAI는 인데이터베이스 대규모 언어 모델(LLM), 자동화된 인데이터베이스 벡터 저장소, 스케일 아웃 벡터 처리, 맥락 기반 자연어 대화 등을 지원하는 자동화되고 안전한 생성형 AI 기능을 기본 제공합니다. AI 전문 지식이나 데이터를 이동할 필요 없이 추가 비용을 들이지 않고 생성형 AI를 자유롭게 활용하세요.

HeatWave GenAI의 주요 기능은 무엇인가요?

HeatWave GenAI의 주요 기능은 다음과 같습니다.

  • 인데이터베이스 LLM
  • OCI Generative AI 및 Amazon Bedrock 간의 통합
  • 인데이터베이스 벡터 저장소
  • 임베딩 자동 생성
  • 수평 확장 벡터 프로세싱
  • HeatWave Chat

HeatWave에서 인데이터베이스 모델로 사용할 수 있는 LLM으로는 어떤 것들이 있나요?

현재 HeatWave에서는 다음과 같은 인데이터베이스 LLM의 정량화된 버전을 사용할 수 있습니다.

  • llama3-8b-instruct-v1
  • mistral-7b-instruct-v1

HeatWave Vector Store는 어떤 자동화 기능을 제공하나요?

단일 SQL 명령을 사용해 엔터프라이즈 비정형 콘텐츠용 벡터 스토어를 만들 수 있습니다. 객체 스토리지에서의 문서 검색하기, 검색한 문서의 구문 분석하기, 고도로 병렬적이고 최적화된 방식의 임베딩 생성하기, 벡터 스토어에 임베딩 삽입하기 등 벡터 스토어 및 벡터 임베딩을 생성하는 모든 단계가 데이터베이스 내에서 자동화되고 실행되는 HeatWave Vector Store는 간단히 사용할 수 있는 효율적인 솔루션입니다.

HeatWave에서 인데이터베이스 LLM을 실행하려면 GPU가 필요한가요?

HeatWave는 상용 하드웨어에서 실행됩니다. 인데이터베이스 LLM은 GPU에서 실행되지 않으며 CPU에서 실행됩니다. 결과적으로 비용이 절감되고, 서로 다른 데이터 센터에서의 LLM 가용성에 대해 걱정할 필요가 없습니다.

HeatWave GenAI는 어떤 방식으로 데이터 보안 강화에 기여하나요?

인데이터베이스 LLM 및 인데이터베이스 벡터 저장소를 사용하면 데이터가 데이터베이스를 벗어나지 않으므로 데이터 보안이 강화됩니다.

AWS에서 HeatWave GenAI를 실행할 수 있나요?

예. HeatWave GenAI는 AWS를 기본 지원하고 HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML, HeatWave Autopilot 등의 다른 HeatWave 기능도 함께 사용할 수 있습니다.

임베딩 생성을 위한 다양한 언어가 지원되나요?

예. 27개 언어로 텍스트 데이터에 대한 임베딩을 생성할 수 있습니다.

어떤 언어로 프롬프트를 입력할 수 있나요?

프롬프트는 영어로 입력할 수 있습니다. 스페인어, 독일어 등의 다른 언어로 작성된 프롬프트는 영어로 번역할 수 있습니다.

HeatWave 클러스터 없이 벡터 검색을 사용할 수 있나요?

아니요. 벡터 검색은 HeatWave 클러스터 내에서 수행됩니다.

HeatWave GenAI에 사용해야 하는 구성은 무엇인가요?

HeatWave는 MySQL 노드 상에서 실행됩니다. MySQL 노드와 관련해서는 MySQL.32 구성이 권장되고, 운영 환경에서는 HeatWave.512GB 구성을 사용하는 HeatWave 노드가 권장됩니다. 개발/테스트 목적으로는 보다 소규모의 MySQL 구성을 사용할 수도 있습니다. 여기에서 지원되는 MySQL 구성을 확인할 수 있습니다. HeatWave GenAI는 HeatWave.32GB 구성을 지원하지 않습니다.

벡터 저장소 생성과 관련하여 지원되는 문서 유형은 무엇인가요?

PDF, 텍스트, PowerPoint, Word, HTML 형식이 지원됩니다.

HeatWave GenAI의 비용은 얼마인가요?

HeatWave GenAI는 HeatWave 클러스터 비용 외의 추가 비용 없이 사용할 수 있습니다. HeatWave GenAI와 함께 제공되는 인데이터베이스 LLM 및 임베딩 모델을 추가 비용 없이 호출할 수 있습니다. 또한 OCI 상의 OCI Generative AI 및 AWS 상의 Amazon Bedrock을 통해 사용 가능한 외부 LLM을 호출할 수도 있으며, 해당 서비스에 대한 요금은 별도로 청구됩니다.

우리 회사의 데이터가 LLM 교육에 사용되나요?

아니요. Oracle은 사전 학습된 LLM 모델들을 제공합니다. 고객사의 데이터는 LLM 훈련에 사용되지 않습니다.

HeatWave GenAI는 미세 조정을 지원하나요?

아니요. HeatWave와 함께 제공되는 인데이터베이스 LLM은 미세 조정할 수 없습니다.

자체 LLM 또는 임베딩 모델을 가져올 수 있나요?

아니요. 자체 LLM이나 임베딩 모델은 사용할 수 없습니다. 그러나 OCI에서 HeatWave GenAI를 실행하는 경우 OCI Generative AI를 통해, AWS에서 HeatWave GenAI를 실행하는 경우 Amazon Bedrock을 통해 사용 가능한 외부 LLM 또는 임베딩 모델을 호출할 수 있습니다.

데이터베이스 내 LLM이 정량화된 이후 예상되는 결과의 품질은 어느 정도인가요?

Oracle의 테스트 결과, HeatWave Vector Store를 사용하는 사용 사례의 경우 정량화되지 않은 LLM과 비슷한 수준의 결과가 도출되었습니다. 사용자도 간단한 방법으로 모델을 테스트하여 성능과 결과의 품질을 직접 분석할 수 있습니다.

임베딩을 얼마나 자주 생성해야 하나요?

한 번만 생성하면 됩니다. 생성된 임베딩은 HeatWave Vector Store에 저장됩니다. 객체 저장소의 비정형 문서가 변경되면 관련 벡터 임베딩이 자동으로 업데이트됩니다.

이미지가 포함된 문서를 HeatWave Vector Store로 가져올 수 있나요?

예. 광학 문자 인식 지원을 통해 HeatWave Vector Store는 스캐닝되어 이미지 형식으로 저장된 콘텐츠를 분석 가능한 텍스트 데이터로 변환하여 유사성 검색을 수행할 수 있습니다.