Recursos do MySQL HeatWave Lakehouse

Mecanismo de consulta unificado para cargas de trabalho MySQL e não MySQL

Consulte dados no armazenamento de objetos em vários formatos de arquivo, como CSV, Parquet, Avro, exporte arquivos de outros bancos de dados, dados transacionais em bancos MySQL ou uma combinação usando sintaxe SQL padrão. Os dados não são copiados para o banco de dados MySQL. Em vez disso, o processamento da consulta é feito inteiramente no mecanismo do HeatWave, para que você possa usá-lo tanto para cargas de trabalho não MySQL quanto para as compatíveis com MySQL. Quando carregados no cluster do HeatWave, os dados de qualquer fonte são automaticamente transformados em um único formato interno otimizado. Como resultado, consultar os dados no armazenamento de objetos é tão rápido quanto consultar os bancos de dados – uma inovação no setor.

Arquitetura escalável

O desempenho incomparável do Oracle MySQL HeatWave é resultado de sua arquitetura escalável, que permite paralelismo massivo para provisionar o cluster, carregar dados e processar consultas com até 512 nós. Cada nó do HeatWave em um cluster e cada núcleo em um nó podem processar dados particionados em paralelo, incluindo varreduras paralelas, junções, agrupamento, agregação e processamento top-k. Os algoritmos são projetados para sobrepor o tempo de computação com a comunicação de dados entre nós, o que ajuda a alcançar alta escalabilidade.

Automação baseada em machine learning com MySQL Autopilot

O MySQL Autopilot fornece automação com reconhecimento de cargas de trabalho para MySQL HeatWave com tecnologia de machine learning (ML). Os recursos do MySQL Autopilot, como provisionamento automático, melhoria do plano de consulta automática (que aprende várias estatísticas de tempo de execução de consultas anteriores para melhorar o plano para consultas futuras) e carregamento paralelo automático, foram aprimorados para o MySQL HeatWave Lakehouse. Recursos adicionais do HeatWave Lakehouse incluem:

  • A inferência automática de esquema trata de mapear os dados do arquivo para a definição de esquema correspondente para todos os tipos de arquivo suportados, incluindo CSV. Como resultado, você não precisa definir e atualizar manualmente o mapeamento de esquema de arquivos, economizando tempo e esforço.
  • A amostragem de dados adaptável faz amostras inteligentes dos arquivos no armazenamento de objetos para derivar as informações que permitem as previsões do MySQL Autopilot para automação. Usando a amostragem de dados adaptável, o MySQL Autopilot pode escanear e fazer previsões, como mapeamento de esquema em um arquivo de 400 TB em menos de um minuto.
  • O fluxo de dados adaptável permite que o MySQL HeatWave Lakehouse se adapte dinamicamente ao desempenho do armazenamento de objetos subjacente em qualquer região para melhorar o desempenho geral e a disponibilidade.
  • A otimização adaptativa de consultas usa diversas estatísticas para ajustar estruturas de dados e recursos do sistema após o início da execução da consulta, otimizando de forma independente a consulta para cada nó com base na distribuição real de dados no tempo de execução. Isso ajuda a melhorar o desempenho de consultas ad hoc em até 25%.

Machine learning incorporado

Com o HeatWave AutoML, você pode usar dados no armazenamento de objetos, no banco de dados ou em ambos para criar, treinar, implementar e explicar modelos de ML. Você não precisa mover os dados para um serviço de nuvem de ML separado ou ser um especialista em ML. O HeatWave AutoML automatiza o pipeline de machine learning, incluindo seleção de algoritmo, amostragem inteligente de dados para treinamento de modelo, seleção de recursos e otimização de hiperparâmetros, economizando tempo e esforço significativos dos analistas de dados. O HeatWave AutoML suporta detecção de anomalias, previsão, classificação, regressão e tarefas de sistema de recomendação, mesmo em colunas de texto. Você pode usar o HeatWave AutoML sem custo adicional.

IA generativa com armazenamento de vetores do MySQL HeatWave

Usando modelos de linguagem grandes (LLMs), as aplicações podem interagir com o HeatWave Lakehouse em linguagem natural. Atualmente em versão prévia privada, o armazenamento de vetores permitirá que você aproveite o poder dos LLMs em combinação com seus dados proprietários para obter respostas mais relevantes e precisas do que aquelas derivadas de modelos treinados apenas em dados públicos. Com IA generativa e recursos de armazenamento de vetores, você interagirá com o MySQL HeatWave usando linguagem natural e pesquisará com eficiência documentos proprietários em vários formatos de arquivo no HeatWave Lakehouse.

Serviço de banco de dados altamente disponível e totalmente gerenciado

Tarefas como gerenciamento de alta disponibilidade, aplicação de patches, atualizações e backups são automatizadas com um serviço de banco de dados totalmente gerenciado. Os dados carregados no cluster do HeatWave são recuperados automaticamente em caso de falha inesperada do nó de computação, sem retransformação de formatos de dados externos.

Controle de acesso seguro

Com mecanismos de controle de acesso, como autenticação de principal de recursos da Oracle Cloud Infrastructure (OCI) ou solicitações pré-autenticadas, você pode ter controle total sobre o acesso às fontes do data lake. Ao executar o HeatWave Lakehouse na AWS, você pode definir funções e políticas de gerenciamento de identidade e acesso para conceder acesso apenas a dados S3 específicos.