Recursos do HeatWave Lakehouse

Mecanismo de consulta para dados no armazenamento de objetos e, opcionalmente, em bancos de dados MySQL

Consulte dados no armazenamento de objetos em vários formatos de arquivo, incluindo CSV, Parquet, Avro e exporte arquivos de outros bancos de dados usando sintaxe SQL padrão e, opcionalmente, combine-os com dados transacionais em bancos de dados MySQL. O processamento de consultas é feito inteiramente no mecanismo HeatWave, para que você possa usar o HeatWave para cargas de trabalho não MySQL e cargas de trabalho compatíveis com o MySQL. Quando carregados no cluster HeatWave, os dados de qualquer fonte são automaticamente transformados em um único formato interno otimizado. Como resultado, consultar os dados no armazenamento de objetos é tão rápido quanto consultar os bancos de dados – uma inovação no setor.

Os resultados da consulta podem ser gravados no armazenamento de objetos, permitindo que os usuários os compartilhem facilmente e armazenem os resultados no armazenamento de objetos de forma econômica. Isso também permite que os desenvolvedores usem HeatWave para aplicações MapReduce.

Suporte para JSON e JavaScript

Você pode usar o HeatWave para consultar dados semiestruturados no formato JSON no armazenamento de objetos, por exemplo, para desenvolver aplicativos de gerenciamento de conteúdo ou painéis em tempo real usando dados JSON no armazenamento de objetos. Com suporte nativo ao JavaScript no Lakehouse HeatWave, você pode usar o JavaScript para processar e consultar dados no armazenamento de objetos. Por exemplo, você pode criar aplicações de carregamento de conteúdo dinâmico usando os recursos avançados do JavaScript.

Suporte para documentos não estruturados com o HeatWave Vector Store

Com o HeatWave Vector Store, você pode fazer upload e consultar documentos não estruturados.

Arquitetura escalável

O desempenho incomparável do HeatWave é resultado de sua arquitetura escalável, que permite o paralelismo massivo para provisionar o cluster, carregar dados e processar consultas com até 512 nós. Cada nó do HeatWave em um cluster e cada núcleo em um nó podem processar dados particionados em paralelo, incluindo varreduras paralelas, junções, agrupamento, agregação e processamento top-k. Os algoritmos são projetados para sobrepor o tempo de computação com a comunicação de dados entre nós, o que ajuda a alcançar alta escalabilidade.

Automação com tecnologia de machine learning com HeatWave Autopilot

O HeatWave Autopilot fornece automação com reconhecimento de carga de trabalho para HeatWave com tecnologia de machine learning (ML). Os recursos do HeatWave Autopilot, como provisionamento automático, melhoria do plano de consulta automática (que aprende várias estatísticas de runtime de consultas anteriores para melhorar o plano para consultas futuras) e carregamento paralelo automático, foram aprimorados para o HeatWave Lakehouse. Recursos adicionais do HeatWave Lakehouse incluem:

• A inferência automática de esquema trata de mapear os dados do arquivo para a definição de esquema correspondente para todos os tipos de arquivo suportados, incluindo CSV. Como resultado, você não precisa definir e atualizar manualmente o mapeamento de esquema de arquivos, economizando tempo e esforço.
• A amostragem de dados adaptável coleta amostras inteligentes dos arquivos no armazenamento de objetos para derivar as informações que permitem as previsões do HeatWave Autopilot para automação. Usando a amostragem de dados adaptável, o HeatWave Autopilot pode verificar e fazer previsões, como mapeamento de esquema em um arquivo de 400 TB em menos de um minuto.
• O fluxo de dados adaptável permite que o HeatWave Lakehouse se adapte dinamicamente ao desempenho do armazenamento de objetos subjacente em qualquer região para melhorar o desempenho geral e a disponibilidade.
• A otimização adaptativa de consultas usa diversas estatísticas para ajustar estruturas de dados e recursos do sistema após o início da execução da consulta, otimizando de forma independente a consulta para cada nó com base na distribuição real de dados no tempo de execução. Isso ajuda a melhorar o desempenho de consultas ad hoc em até 25%.
• A compactação automática ajuda os clientes a determinar o algoritmo de compactação ideal para cada coluna, o que melhora o desempenho de carga e consulta com compactação e descompactação de dados mais rápidas. Ao reduzir o uso de memória, os clientes podem reduzir custos em até 20%.

Machine learning incorporado

Com o HeatWave AutoML, você pode usar dados no armazenamento de objetos, no banco de dados ou em ambos para criar, treinar, implementar e explicar modelos de ML. Você não precisa mover os dados para um serviço de nuvem de ML separado ou ser um especialista em ML. O HeatWave AutoML automatiza o pipeline de machine learning, incluindo seleção de algoritmo, amostragem inteligente de dados para treinamento de modelo, seleção de recursos e otimização de hiperparâmetros, economizando tempo e esforço significativos dos analistas de dados. O HeatWave AutoML suporta detecção de anomalias, previsão, classificação, regressão e tarefas de sistema de recomendação, mesmo em colunas de texto. Você pode usar o HeatWave AutoML sem custo adicional.

Serviço de banco de dados altamente disponível e totalmente gerenciado

Tarefas como gerenciamento de alta disponibilidade, aplicação de patches, atualizações e backups são automatizadas com um serviço totalmente gerenciado. Os dados carregados no cluster HeatWave são recuperados automaticamente em caso de falha inesperada do nó de computação, sem retransformação de formatos de dados externos.

Controle de acesso seguro

Com mecanismos de controle de acesso, como a autenticação de entidade de recurso da Oracle Cloud Infrastructure (OCI) ou solicitações pré-autenticadas, você pode ter controle total sobre o acesso às fontes do data lake.