Perguntas frequentes sobre o HeatWave GenAI

Geral

O que é HeatWave GenAI?

O Oracle HeatWave GenAI fornece IA generativa integrada, automatizada e segura com modelos de linguagem grandes (LLMs) no banco de dados; um armazenamento de vetores automatizado no banco de dados; processamento de vetores em escala ampliada; e a capacidade de ter conversas contextuais em linguagem natural, permitindo que você aproveite os benefícios da IA generativa sem conhecimento especializado, movimentação de dados ou custo adicional.

Quais são os principais recursos do HeatWave GenAI?

Os principais recursos do HeatWave GenAI incluem

• LLMs no banco de dados
• Integração com OCI Generative AI e Amazon Bedrock
• Um armazenamento de vetores no banco de dados
• Geração automatizada de incorporações
• Processamento de vetores escalonável
• HeatWave Chat

Quais LLMs estão disponíveis como modelos no banco de dados em HeatWave?

As versões quantizadas dos seguintes LLMs no banco de dados estão atualmente disponíveis no HeatWave:

• llama3-8b-instruct-v1
• mistral-7b-instruct-v1

Como o HeatWave Vector Store é automatizado?

Você pode criar um armazenamento vetorial para conteúdo não estruturado da empresa com um único comando SQL. Todas as etapas para criar um armazenamento de vetores e incorporações de vetores são automatizadas e executadas dentro do banco de dados, incluindo descobrir os documentos no armazenamento de objetos, analisá-los, gerar incorporações de maneira altamente paralela e otimizada e inseri-los no armazenamento de vetores, tornando o Armazenamento de Vetores HeatWave eficiente e fácil de usar.

O HeatWave requer GPUs para executar LLMs no banco de dados?

HeatWave é executado em hardware comum. Os LLMs no banco de dados não são executados em GPUs, mas em CPUs. Como resultado, você pode reduzir custos e não precisa se preocupar com a disponibilidade de LLMs em vários data centers.

Como o HeatWave GenAI ajuda a melhorar a segurança dos dados?

Ao usar LLMs e um armazenamento vetorial no banco de dados, os dados não são movidos, aumentando a segurança.

Posso executar o HeatWave GenAI na AWS?

Sim, o HeatWave GenAI está disponível nativamente na AWS, juntamente com outros recursos, incluindo o HeatWave MySQL, o HeatWave Lakehouse, o HeatWave AutoML e o HeatWave Autopilot.

Há suporte para vários idiomas para gerar incorporações?

Sim, é possível gerar incorporações para dados de texto em 27 idiomas.

Quais idiomas são compatíveis com a emissão de prompts?

Os prompts podem ser emitidos em inglês. Os prompts emitidos em outros idiomas, como espanhol e alemão, podem ser traduzidos para o inglês.

Posso usar a pesquisa vetorial sem o cluster HeatWave?

Não, a pesquisa vetorial é executada no cluster HeatWave.

Quais formas devem ser usadas para o HeatWave GenAI?

O HeatWave é executado em um nó MySQL. Recomendamos um nó MySQL com formato MySQL.32, além de nós HeatWave usando o formato HeatWave.512GB para um ambiente de produção. Para desenvolvimento/testes, pode ser usada um formato menor do MySQL. Você pode revisar os formatos MySQL compatíveis aqui. Para HeatWave GenAI, o formato HeatWave.32GB não é compatível.

Quais tipos de documentos são compatíveis com a criação de armazenamento de vetores?

Os formatos compatíveis são PDF, text, PowerPoint, Word e HTML.

Qual é o custo do HeatWave GenAI?

Não há custo adicional além do custo do cluster HeatWave para usar o HeatWave GenAI. Você pode invocar LLMs no banco de dados e modelos de incorporação fornecidos com o HeatWave GenAI sem custo adicional. Você também pode invocar LLMs externos disponíveis por meio da OCI Generative AI na OCI e no Amazon Bedrock na AWS e, em seguida, esses serviços serão cobrados.

Os meus dados são usados para treinar LLMs?

Não, os LLMs são modelos pré-treinados. Os seus dados não são usados para treinar LLMs.

O HeatWave GenAI oferece suporte ao ajuste fino?

Não, os LLMs no banco de dados fornecidos com HeatWave não podem ser ajustados.

Posso trazer meus próprios LLMs ou modelos de incorporação?

Não, você não pode trazer seus próprios LLMs ou modelos de incorporação. No entanto, você pode invocar os LLMs externos ou modelos de incorporação disponíveis por meio da OCI Generative AI ao executar o HeatWave GenAI na OCI e por meio do Amazon Bedrock ao executar o HeatWave GenAI na AWS.

Qual é a qualidade esperada dos resultados, já que os LLMs no banco de dados são quantizados?

Com base em nossos testes, os resultados são comparáveis aos LLMs não quantificados para casos de uso que dependem do HeatWave Vector Store. Você pode facilmente testar os modelos para avaliar o desempenho e a qualidade dos resultados.

Com que frequência preciso criar incorporações?

Você precisa gerar incorporações apenas uma vez e elas serão armazenadas no HeatWave Vector Store. As alterações em documentos não estruturados no armazenamento de objetos acionam automaticamente as atualizações das incorporações de vetores associados.

Os documentos que contêm imagens podem ser importados para o HeatWave Vector Store?

Sim, o suporte ao reconhecimento óptico de caracteres permite que o HeatWave Vector Store converta o conteúdo digitalizado salvo como imagens em dados de texto que podem ser analisados, por exemplo, para realizar pesquisas de similaridade.