Recursos do HeatWave GenAI
Grandes modelos de linguagem no banco de dados
Os LLMs (grandes modelos de linguagem) no banco de dados simplificam muito o desenvolvimento de aplicações de GenAI. Você pode rapidamente obter os benefícios da IA generativa. Não é necessário selecionar um LLM externo, nem considerar a complexidade da integração, os custos ou a disponibilidade de um LLM externo em vários data centers.
- Por exemplo, você pode usar os LLMs incorporados para ajudar a gerar ou resumir o conteúdo e pesquisar dados para executar a geração aumentada de recuperação (RAG) com o HeatWave Vector Store.
- Também é possível combinar IA generativa com outros recursos integrados do HeatWave, como machine learning, para ajudar a reduzir custos e obter resultados mais precisos e mais rápido.
- Use os LLMs integrados em todas as regiões da OCI, OCI Dedicated Region e entre nuvens e obtenha resultados consistentes com desempenho previsível em todas as implementações.
- Não há custos adicionais para usar os LLMs no banco de dados. Reduza os custos de infraestrutura eliminando a necessidade de provisionar GPUs. Além disso, os recursos do sistema são otimizados (configuração ideal de contagem de threads, tamanho do lote e tamanho do segmento) para ajudar a reduzir ainda mais os custos.
- Os LLMs no banco de dados e o HeatWave Chat ajudam os desenvolvedores a entregar aplicativos pré-configurados para conversas contextuais em linguagem natural. Não há necessidade de assinar LLMs externos ou provisionar GPUs.
- A execução do LLM nativo no HeatWave minimiza os riscos associados à transferência de dados. Os LLMs podem aproveitar o HeatWave Vector Store para expandir seus conhecimentos usando dados proprietários, em vez de depender de ajuste fino.
- O Oracle HeatWave GenAI é integrado ao serviço do OCI Generative AI para acessar modelos básicos pré-treinados do Cohere e da Meta.
HeatWave Vector Store
O HeatWave Vector Store permite combinar o poder dos LLMs aos seus dados proprietários para ajudar a obter respostas mais precisas e contextualmente relevantes do que usar modelos treinados apenas com dados públicos. O armazenamento de vetores ingere documentos em vários formatos, inclusive PDF, e os armazena como incorporações geradas por meio de um modelo de incorporação. Para uma determinada consulta do usuário, o armazenamento de vetores ajuda a identificar os documentos mais semelhantes executando uma pesquisa de similaridade com as incorporações armazenadas e a consulta incorporada. Esses documentos são usados para aumentar o prompt dado ao LLM para que ele forneça uma resposta mais contextual para seus negócios.
- O HeatWave Vector Store permite usar IA generativa com seus documentos de negócios sem transferir dados para um banco de dados vetorial separado e sem experiência em IA.
- A geração de incorporações no armazenamento de vetores processa vários arquivos de entrada em paralelo em vários threads em todos os nós do cluster. Como resultado, a criação do armazenamento de vetores e a ingestão de dados não estruturados em vários formatos, como PDF, DOCX, HTML, TXT ou PPTX, são muito rápidas e dimensionam de acordo com o tamanho do cluster.
- O pipeline para descobrir e ingerir documentos proprietários no armazenamento de vetores é automatizado, incluindo a transformação dos dados de texto não estruturados dos usuários e a geração de incorporações, o que torna muito fácil para desenvolvedores e analistas sem experiência em IA aproveitar o armazenamento de vetores.
- O armazenamento de vetores reside no armazenamento de objetos, tornando-o muito econômico e altamente escalável, mesmo com grandes conjuntos de dados. Também é possível compartilhar facilmente o armazenamento de vetores com diferentes aplicações.
- A transformação de dados é concluída dentro do banco de dados, o que ajuda a reduzir os riscos de segurança ao eliminar a movimentação de dados e ajuda a reduzir custos ao eliminar a necessidade de recursos do cliente.
Processamento vetorial flexível e rápido
O processamento vetorial é acelerado com a arquitetura de memória e expansão do HeatWave. O HeatWave oferece suporte a um novo tipo de dados VECTOR nativo, permitindo que você use SQL padrão para criar, processar e gerenciar dados vetoriais.
- Combine vetores com outros operadores SQL. Por exemplo, você pode executar consultas analíticas que unem várias tabelas com documentos diferentes e realizar pesquisas de similaridade em todos os documentos.
- A representação na memória e a arquitetura expansível significam que o processamento vetorial é paralelizado em até 512 nós do cluster HeatWave e executado na largura de banda da memória, de forma extremamente rápida e sem prejudicar a precisão.
HeatWave Chat
Uma nova interface do HeatWave Chat permite ter conversas contextuais complementadas por documentos proprietários no armazenamento de vetores, usando linguagem natural.
- Interaja com dados não estruturados armazenados no banco de dados MySQL e no armazenamento de objetos usando linguagem natural. O contexto das perguntas é preservado para permitir uma conversa semelhante à humana com perguntas de acompanhamento. O HeatWave mantém um contexto com o histórico de perguntas feitas, citações dos documentos de origem e o prompt para o LLM. Isso facilita uma conversa contextual e permite verificar a origem das respostas geradas pelo LLM. Esse contexto é mantido no HeatWave e fica disponível para todas as aplicações que o utilizam.
- O Lakehouse Navigator integrado permite ver os dados disponíveis no MySQL Database e no armazenamento de objetos. Em seguida, você pode carregar facilmente os dados selecionados no HeatWave Vector Store e instruir o LLM a recuperar informações dessa fonte específica. Como resultado, você pode reduzir custos pesquisando em um conjunto de dados menor e, ao mesmo tempo, aumentar a velocidade e a precisão.
- Você pode pesquisar em todo o banco de dados ou restringir a pesquisa a uma pasta.
- Diversos LLMs podem ser selecionados por meio do HeatWave Chat, incorporado ou acessível com o serviço da OCI Generative AI.