Recursos do HeatWave
HeatWave
O HeatWave é um mecanismo de processamento de dados colunar, híbrido e massivamente paralelo na memória. Ele implementa algoritmos de última geração para processar as consultas distribuídas que ofereçam alto desempenho.
Arquitetado para grande escala e desempenho
O HeatWave particiona massivamente os dados em um cluster de nós, que podem ser operados em paralelo. Isso fornece excelente escalabilidade entre eles. Cada nó dentro de um cluster e cada núcleo dentro de um nó podem processar dados particionados em paralelo. O HeatWave possui um agendador de consultas inteligente que sobrepõe o processamento com tarefas de comunicação de rede para obter uma escalabilidade muito alta entre milhares de núcleos.
Otimizado para a nuvem e dados no armazenamento de objetos
O processamento de consultas no HeatWave foi otimizado para servidores comuns na nuvem. Os tamanhos das partições foram otimizados para caber no cache das formas subjacentes. A sobreposição do processamento com comunicação é otimizada para a largura de banda de rede disponível. Diversas unidades menores de processamento utilizam instruções de hardware oriundas de Máquinas Virtuais (VMs) subjacentes. O HeatWave também foi projetado para ser um mecanismo de processamento de dados escalonável, otimizado para consultar dados no armazenamento de objetos.
HeatWave GenAI
O HeatWave GenAI fornece IA generativa integrada e automatizada com grandes modelos de linguagem (LLMs) no banco de dados, armazenamento automatizado de vetores no banco de dados e a capacidade de ter conversas contextuais em linguagem natural, permitindo que você aproveite a IA generativa sem experiência em IA ou movimentação de dados.
LLMs no banco de dados
Use os LLMs integrados e otimizados em todas as regiões da Oracle Cloud Infrastructure (OCI), OCI Dedicated Region e entre nuvens e obtenha resultados consistentes com desempenho previsível em todas as implementações. Ajude a reduzir os custos de infraestrutura eliminando a necessidade de provisionar GPUs.
Integrado à OCI Generative AI
Acesse modelos básicos pré-treinados da Cohere e da Meta por meio do serviço OCI Generative AI.
Armazenamento de vetores no banco de dados
Execute a geração aumentada de recuperação (RAG) em LLMs e em seus documentos proprietários em vários formatos armazenados no HeatWave Vector Store para obter respostas mais precisas e contextualmente relevantes, sem mover os dados para um banco de dados vetorial separado.
Geração automatizada de incorporações
Aproveite o pipeline automatizado para ajudar a descobrir e ingerir documentos proprietários no HeatWave Vector Store, facilitando o uso do armazenamento de vetores por desenvolvedores e analistas sem experiência em IA.
Processamento de vetores escalonável
O processamento vetorial é paralelizado em até 512 nós do cluster HeatWave e executado na largura de banda da memória, ajudando a fornecer resultados rápidos com menos chances de perda de precisão.
HeatWave Chat
Tenha conversas contextuais baseadas em seus documentos não estruturados no armazenamento de objetos usando linguagem natural. Use o Lakehouse Navigator integrado para ajudar a orientar os LLMs na pesquisa de conjuntos de dados específicos, ajudando a reduzir custos e a obter resultados mais precisos com mais rapidez.
HeatWave MySQL
O HeatWave MySQL é um serviço de banco de dados totalmente gerenciado e o único serviço de nuvem baseado no MySQL Enterprise Edition, com recursos avançados de segurança para criptografia, mascaramento de dados, autenticação e um firewall de banco de dados. O HeatWave melhora o desempenho das consultas MySQL em ordens de magnitude e permite que você obtenha análises em tempo real dos seus dados transacionais no MySQL, sem a complexidade, a latência, os riscos e o custo da duplicação de extração, transformação e carregamento (ETL) em um banco de dados de análise separado.
Análise em tempo real sem ETL
As consultas analíticas acessam as informações mais atuais, pois as atualizações das transações são replicadas automaticamente em tempo real para o cluster de análises do HeatWave. Não há necessidade de indexar os dados antes de executar consultas de análise. Elimine o processo de ETL complexo, demorado e caro e evite a integração com um banco de dados à parte para análise.
HeatWave Lakehouse
O HeatWave Lakehouse permite aos usuários consultar meio petabyte de dados no armazenamento de objetos em uma variedade de formatos de arquivo, como CSV, Parquet, Avro, JSON, e exportar arquivos de outros bancos de dados. O processamento de consultas é feito inteiramente no mecanismo do HeatWave, permitindo que os clientes aproveitem o HeatWave para cargas de trabalho não MySQL, além de cargas de trabalho compatíveis com MySQL.
Análise rápida de lakehouse e machine learning em todos os dados
Os clientes podem consultar dados em vários formatos no armazenamento de objetos, dados transacionais em bancos de dados MySQL ou uma combinação de ambos usando comandos SQL padrão. Consultar os dados no armazenamento de objetos é tão rápido quanto consultar os bancos de dados, conforme demonstrado por um benchmark de TPC-H de 10 TB.
Com o HeatWave AutoML, os clientes podem usar dados no armazenamento de objetos, no banco de dados ou em ambos para construir, treinar, implementar e explicar modelos de ML automaticamente, sem mover os dados para um serviço de nuvem de ML separado.
Arquitetura de expansão para gerenciamento de dados e processamento de consultas
A arquitetura massivamente particionada do HeatWave permite uma arquitetura escalável para o HeatWave Lakehouse. O processamento de consultas e as operações de gerenciamento de dados, como carregamento/recarregamento, são dimensionados de acordo com o tamanho dos dados. Os clientes podem consultar até meio petabyte de dados no armazenamento de objetos com o HeatWave Lakehouse sem copiá-los para o banco de dados MySQL. O cluster do HeatWave é dimensionado para 512 nós.
Aumente o desempenho e economize tempo com automação baseada em machine learning
Os recursos do HeatWave Autopilot, como provisionamento automático, aprimoramento automático do plano de consulta e carregamento paralelo automático, foram aprimorados para HeatWave Lakehouse, reduzindo ainda mais a sobrecarga de administração de banco de dados e melhorando o desempenho. Os novos recursos do HeatWave Autopilot também estão disponíveis para o HeatWave Lakehouse.
- A inferência automática de esquema trata de mapear os dados do arquivo para a definição de esquema correspondente para todos os tipos de arquivo suportados, incluindo CSV. Como resultado, os clientes não precisam definir e atualizar manualmente o mapeamento de esquema de arquivos, economizando tempo e esforço.
- A amostragem adaptativa de dados coleta amostras de arquivos de maneira inteligente no armazenamento de objetos para derivar informações usadas pelo HeatWave Autopilot para fazer previsões para automação. Usando a amostragem de dados adaptável, o HeatWave Autopilot pode verificar e fazer previsões, como mapeamento de esquema em um arquivo de 400 TB em menos de um minuto.
- O fluxo de dados adaptável permite que o HeatWave Lakehouse se adapte dinamicamente ao desempenho do armazenamento de objetos subjacente em qualquer região para melhorar o desempenho geral, o custo-benefício e a disponibilidade.
HeatWave AutoML
O HeatWave AutoML inclui tudo o que os usuários precisam para criar, treinar e explicar modelos de machine learning no HeatWave, sem custo adicional.
Não há necessidade de um serviço de machine learning separado
Com machine learning no banco de dados do HeatWave, os clientes não precisam mover os dados para um serviço de machine learning separado. Eles podem aplicar treinamento, inferência e explicação de machine learning de maneira fácil e segura aos dados armazenados no MySQL e no armazenamento de objetos com HeatWave Lakehouse. Como resultado, eles podem acelerar as iniciativas de ML, aumentar a segurança e reduzir custos.
Economize tempo e esforço com a automação do ciclo de vida do machine learning
O HeatWave AutoML automatiza o ciclo de vida do machine learning, incluindo seleção de algoritmos, amostragem inteligente de dados para treinamento de modelos, seleção de recursos e otimização de hiperparâmetros, economizando tempo e esforço significativos para analistas de dados e cientistas de dados. Aspectos do pipeline de machine learning podem ser personalizados, incluindo seleção de algoritmos, seleção de recursos e otimização de hiperparâmetros. O HeatWave AutoML suporta detecção de anomalias, previsão, classificação, regressão e tarefas de sistema de recomendação, inclusive em colunas de texto.
Sistema para recomendações personalizadas
Ao considerar o feedback implícito (compras anteriores, comportamento de navegação e assim por diante) e o feedback explícito (classificações, curtidas e assim por diante), o sistema de recomendação do HeatWave AutoML pode gerar recomendações personalizadas. Os analistas, por exemplo, podem prever itens que um usuário irá gostar, usuários que irão gostar de um item específico e classificações que os itens receberão. Eles também podem, dado um usuário, obter uma lista de usuários semelhantes, e dado um item específico, obter uma lista de itens semelhantes.
Console interativo do HeatWave AutoML
O console interativo permite que os analistas de negócios criem, treinem, executem e expliquem modelos de ML usando uma interface visual, sem usar comandos SQL ou qualquer codificação. O console também facilita a exploração de cenários hipotéticos para avaliar as suposições de negócios, por exemplo: "Como investir 30% a mais em publicidade paga em mídias sociais afetaria a receita e o lucro?"
Modelos de ML explicáveis
Todos os modelos treinados pelo HeatWave AutoML são explicáveis. O HeatWave AutoML fornece previsões com uma explicação dos resultados, ajudando as organizações a manter a conformidade regulatória, imparcialidade, repetibilidade, causalidade e confiança.
Usar habilidades atuais
Desenvolvedores e analistas de dados podem construir modelos de machine learning usando comandos SQL familiares; eles não precisam aprender novas ferramentas e linguagens. Além disso, o HeatWave AutoML é integrado a notebooks populares como Jupyter e Apache Zeppelin.
HeatWave Autopilot
O HeatWave Autopilot fornece automação baseada em machine learning e com reconhecimento de carga de trabalho. Ele melhora o desempenho e a escalabilidade sem exigir experiência em ajuste de banco de dados, aumenta a produtividade de desenvolvedores e DBAs e ajuda a eliminar erros humanos. O HeatWave Autopilot automatiza muitos dos aspectos mais importantes e muitas vezes desafiadores de alcançar um alto desempenho de consultas em escala, incluindo provisionamento, carregamento de dados, execução de consultas e tratamento de falhas. O HeatWave Autopilot está disponível sem custo adicional para os clientes do HeatWave MySQL.
O HeatWave Autopilot fornece vários recursos para HeatWave e OLTP, incluindo
- O provisionamento automático prevê a quantidade de nós do HeatWave necessários para executar uma carga de trabalho por amostragem adaptável dos dados da tabela sobre a qual será feita a análise. Isso significa que desenvolvedores e DBAs não precisam mais estimar o melhor tamanho para o cluster de forma manual.
- O pooling de thread automático permite que o serviço de banco de dados processe mais transações para uma determinada configuração de hardware, oferecendo maior throughput para cargas de trabalho OLTP e evitando que caia em altos níveis de transações e simultaneidade.
- A previsão automática de formas monitora continuamente a carga de trabalho OLTP, incluindo throughput e taxa de acerto do pool de buffers, para recomendar a forma de computação correta a qualquer momento, permitindo que os clientes sempre obtenham o melhor custo-benefício.
- A codificação automática determina a representação ideal das colunas que estão sendo carregadas no HeatWave, levando em consideração as consultas. Essa representação otimizada entrega o melhor desempenho para a consulta, além de reduzir o tamanho do cluster para diminuir os custos.
- A melhoria do plano de consulta automática aprende várias estatísticas da execução de consultas e aumenta o desempenho do sistema à medida que mais consultas são executadas. Isso melhora o desempenho do sistema, conforme mais consultas são realizadas.
- A otimização adaptativa de consultas usa diversas estatísticas para ajustar estruturas de dados e recursos do sistema após o início da execução da consulta, otimizando de forma independente a execução da consulta para cada nó com base na distribuição real de dados no tempo de execução. Isso ajuda a melhorar o desempenho de consultas ad hoc em até 25%.
- Colocação automática de dados prevê a coluna na qual as tabelas devem ser particionadas na memória para obter o melhor desempenho para consultas. Esse recurso também prevê o ganho esperado no desempenho da consulta com a nova recomendação de coluna. Isso reduz a movimentação dos dados entre os nós por conta das escolhas subótimas que podem ser feitas pelos operadores ao escolher a coluna manualmente.
- A compactação automática determina o algoritmo de compactação ideal para cada coluna, o que melhora o desempenho de carga e consulta com compactação e descompactação de dados mais rápidas. Ao reduzir o uso de memória, os clientes podem reduzir custos em até 25%.
- A Indexação (disponibilidade limitada) determina automaticamente os índices que os clientes devem criar ou eliminar de suas tabelas para otimizar o throughput de OLTP, usando machine learning para fazer uma previsão com base em cargas de trabalho de aplicações individuais. Isso ajuda os clientes a eliminar as tarefas demoradas de criação de índices ideais para suas cargas de trabalho OLTP e a fazer a devida manutenção à medida que as cargas de trabalho evoluem.
Elasticidade em tempo real
A elasticidade em tempo real permite que os clientes aumentem ou diminuam o tamanho do cluster HeatWave por qualquer número de nós sem incorrer em tempo de inatividade ou somente leitura.
Alto desempenho consistente, mesmo em horários de pico, e custos reduzidos sem tempo de inatividade
A operação de redimensionamento leva apenas alguns minutos, durante os quais o HeatWave permanece online, disponível para todas as operações. Depois de redimensionados, os dados são baixados do armazenamento de objetos, rebalanceados automaticamente entre todos os nós de cluster disponíveis e ficam imediatamente disponíveis para consultas. Como resultado, os clientes se beneficiam de um desempenho consistentemente alto, mesmo em horários de pico, e custos mais baixos ao reduzir o tamanho do cluster HeatWave quando apropriado, sem incorrer em tempo de inatividade ou somente leitura.
Com o recarregamento eficiente de dados do armazenamento de objetos, os clientes também podem pausar e retomar seu cluster HeatWave para reduzir custos.
Nenhuma instância superprovisionada
Os clientes podem expandir ou reduzir o cluster HeatWave para qualquer número de nós. Eles não estão limitados a instâncias superprovisionadas e caras, impostas por modelos de dimensionamento rígidos. Com o HeatWave, os clientes pagam apenas pelos recursos que forem usados.
Disponível em nuvens públicas e em seu data center
Você pode implementar o HeatWave na OCI, AWS ou Azure. Você pode replicar dados de aplicações OLTP on-premises para HeatWave para obter análises quase em tempo real e processar dados vetoriais na nuvem. Você também pode usar o HeatWave em seu data center com a OCI Dedicated Region.
O HeatWave na AWS oferece uma experiência nativa para os clientes da AWS. O console, o plano de controle e o plano de dados residem na AWS.