HeatWave-Acelerador de consultas en memoria con ML integrado

La base de datos en la nube diseñada para rendimiento y escalabilidad

HeatWave utiliza una representación columnar en memoria que facilita el procesamiento vectorizado. Los datos se codifican y comprimen antes de ser cargados en la memoria. Esta representación en memoria comprimida y optimizada se utiliza para datos numéricos y de cadena. Como resultado, se generan importantes mejoras de rendimiento y se reduce el volumen de memoria, lo cual se traduce en menores costos para los clientes.

Escalabilidad entre núcleos y nodos

Uno de los puntos clave del diseño del motor HeatWave es su capacidad para particionar masivamente datos dentro de un clúster de nodos HeatWave, que se pueden operar en paralelo. Esto permite elevados aciertos aciertos de caché altos para operaciones analíticas y proporciona una escalabilidad óptima entre nodos. Cada nodo de HeatWave de un clúster y cada núcleo de un nodo puede procesar datos particionados en paralelo, incluidas búsquedas en paralelo, combinaciones, cláusula "group-by", agregación y procesamiento de consultas "top-k".

Analítica en tiempo real

Las modificaciones realizadas mediante transacciones OLTP se propagan en tiempo real en HeatWave y son inmediatamente visibles para consultas de análisis. Una vez que los usuarios envían una consulta a la base de datos MySQL, el optimizador de consultas MySQL decide de forma transparente si la consulta se debe descargar en el clúster de HeatWave para una ejecución acelerada. Esto depende de si HeatWave admite todos los operadores y funciones a los que se hace referencia en la consulta y si el tiempo estimado para procesar la consulta con HeatWave es inferior al de MySQL. Si se cumplen ambas condiciones, la consulta se transfiere a los nodos de HeatWave para su procesamiento. Una vez procesados, los resultados se envían de vuelta al nodo de la base de datos MySQL y se devuelven a los usuarios.

Procesamiento distribuido de analítica en memoria para insights en tiempo real

HeatWave implementa algoritmos de última generación para el procesamiento analítico en memoria distribuido. Las uniones dentro de una partición se procesan rápidamente mediante núcleos de combinaciones de compilación y sondeo vectorizadas. La E/S asíncrona de lotes propicia una comunicación de red altamente optimizadas entre nodos analíticos. Los algoritmos están diseñados para solapar el tiempo de computación con la comunicación de datos entre nodos, lo cual ayuda a lograr una elevada escalabilidad.

MySQL Autopilot: automatización basada en machine learning

MySQL Autopilot automatiza muchos de los aspectos más importantes y a menudo complicados que implica la búsqueda de un alto rendimiento de consultas a escala, como el aprovisionamiento, la carga de datos, la ejecución de consultas y la gestión de fallos. Utiliza técnicas avanzadas para muestrear datos, recopilar estadísticas sobre datos y consultas, y crear modelos de aprendizaje automático para modelar el uso de memoria, la carga de red y el tiempo de ejecución. MySQL Autopilot utiliza estos modelos de aprendizaje automático para ejecutar sus funciones básicas. MySQL Autopilot hace que el optimizador de consultas de HeatWave sea cada vez más inteligente, a medida que se ejecutan más consultas, lo que resulta en un mejoramiento continuo del rendimiento del sistema, una capacidad que no está disponible en Amazon Aurora, Amazon Redshift, Snowflake u otros servicios de bases de datos basados en MySQL. MySQL Autopilot también ofrece capacidades diseñadas para mejorar el rendimiento y el rendimiento precio de las cargas de trabajo OLTP. MySQL Autopilot está disponible sin cargos adicionales para los clientes de MySQL HeatWave.

Recuperación de datos 100 veces más rápida

Cuando los datos se cargan de MySQL en HeatWave, se realiza una copia de la representación en memoria en la capa de gestión de datos de escalabilidad horizontal del almacén de objetos de OCI. Las modificaciones realizadas a los datos de MySQL se propagan de forma transparente a esta capa de datos. Cuando una operación requiere volver a cargar los datos en HeatWave, como durante el proceso de recuperación frente a errores, se puede acceder a ellos desde la capa de datos de HeatWave, en paralelo, mediante varios nodos de HeatWave. De esta forma, se genera una mejora significativa en términos de rendimiento. Por ejemplo, para un clúster de HeatWave de 10 TB, el tiempo que se tarda en recuperar y volver a cargar los datos se reduce de 7,5 horas a 4 minutos, lo que supone una mejora 100 veces superior.

No se requieren cambios en las aplicaciones con analítica incorporada

HeatWave está diseñado como un motor de almacenamiento conectable de MySQL, que ofrece una protección total para los detalles de implantación de bajo nivel de los clientes. En consecuencia, las aplicaciones y las herramientas acceden de forma fluida a HeatWave a través de MySQL mediante conectores estándar. HeatWave admite el mismo estándar ANSI SQL y las propiedades ACID que MySQL, así como diversos tipos de datos. Esto permite que las aplicaciones existentes utilicen HeatWave sin necesidad de realizar cambios.

Nube híbrida: OLTP on-premises, OLAP en la nube.

Los clientes on-premises que no pueden migrar sus despliegues de MySQL a una nube debido a requisitos normativos aún pueden utilizar HeatWave con el modelo de implementación híbrida. En este tipo de despliegue híbrido, los clientes pueden utilizar la replicación de MySQL para duplicar datos de MySQL locales en HeatWave sin necesidad de llevar a cabo acciones de extracción, transformación y carga (ETL).

Aprendizaje automático en la base de datos con AutoML

Con el aprendizaje automático dentro de la base de datos en MySQL HeatWave, disponible sin costo adicional, los usuarios no necesitan trasladar datos a un servicio de aprendizaje automático independiente como Amazon SageMaker, lo que acelera sus iniciativas de aprendizaje automático, aumenta la seguridad y reduce los costos. Pueden aplicar la capacitación, inferencia y explicación del aprendizaje automático a los datos almacenados tanto en MySQL como en el almacén de objetos con HeatWave Lakehouse. HeatWave AutoML automatiza el ciclo de vida del aprendizaje automático (desde la selección de algoritmos, el muestreo inteligente de datos para el entrenamiento de modelos y la selección de funciones hasta el ajuste de hiperparámetros), lo que permite a los clientes ahorrar mucho tiempo y esfuerzo.

Los desarrolladores y analistas de datos pueden crear modelos de aprendizaje automático utilizando comandos SQL conocidos; no necesitan aprender nuevas herramientas y lenguajes. Además, HeatWave AutoML se integra a cuadernos populares, como Jupyter y Apache Zeppelin. HeatWave AutoML ofrece predicciones con una explicación de los resultados, brindando a las organizaciones conformidad normativa, imparcialidad, repetibilidad, causalidad y confianza.

IA generativa con el almacén de vectores MySQL HeatWave

El almacén vectorial, actualmente en fase de preestreno privada, permitirá a los clientes aprovechar la potencia de los grandes modelos lingüísticos (LLM) con sus propios datos para obtener respuestas más precisas que utilizando modelos entrenados únicamente con datos públicos. Con capacidades de inteligencia artificial generativa y almacén de vectores, los clientes pueden interactuar con MySQL HeatWave en lenguaje natural y buscar eficientemente documentos en varios formatos de archivo en HeatWave Lakehouse.

El almacén vectorial procesa documentos en diversos formatos, incluido PDF, y los almacena como incrustaciones generadas mediante un modelo de codificador. Para una consulta de usuario determinada, identifica los documentos más similares realizando una búsqueda de similitud con las incrustaciones almacenadas y la consulta incorporada. Estos documentos se utilizan para aumentar la pregunta dada al LLM de modo que proporcione una respuesta más contextual.

• Lee la publicación del blog

Alto rendimiento uniforme y costos reducidos sin tiempo de inactividad

La elasticidad en tiempo real permite a los clientes aumentar o reducir el tamaño de su cluster de HeatWave en cualquier número de nodos sin que ello implique ningún tiempo de inactividad o de solo lectura. La operación de cambio de tamaño tarda solo unos minutos, durante los cuales HeatWave permanece en línea, disponible para todas las operaciones. Una vez que se cambia el tamaño, los datos se descargan del almacenamiento de objetos, se vuelven a particionar automáticamente entre todos los nodos de cluster disponibles y se ponen a disposición inmediatamente para consultas. Como resultado, los clientes disfrutan de un rendimiento siempre elevado, incluso a horas punta, y de menores costos, ya que pueden reducir el tamaño de su cluster de HeatWave cuando corresponda, sin que ello implique ningún tiempo de inactividad o de solo lectura. Los clientes no están limitados a instancias sobreaprovisionadas obligadas por modelos de tamaño rígido ofrecidos por otros proveedores de bases de datos en la nube. Gracias a la eficaz recarga de datos desde el almacenamiento de objetos, los clientes también pueden pausar y reanudar su clúster HeatWave para reducir los costos.

Análisis rápido en bases de datos y almacenamiento de objetos

MySQL HeatWave Lakehouse les permite consultar medio petabyte de datos en el almacenamiento de objetos en varios formatos de archivo, como CSV, Parquet, Avro y archivos de exportación desde otras bases de datos. El procesamiento de consultas se realiza completamente en el motor de HeatWave, lo que permite a los clientes aprovechar HeatWave para cargas de trabajo no compatibles con MySQL además de las cargas de trabajo compatibles con MySQL. Los clientes pueden consultar datos en varios formatos en el almacenamiento de objetos, datos transaccionales en bases de datos MySQL o una combinación de ambos utilizando comandos SQL estándar. La consulta de datos en el almacenamiento de objetos es tan rápida como la consulta en las bases de datos. Con HeatWave AutoML, los clientes pueden utilizar datos en el almacenamiento de objetos, la base de datos o ambos para construir, entrenar, implementar y explicar automáticamente modelos de machine learning, sin mover los datos a un servicio de nube ML separado. El clúster HeatWave se amplía hasta 512 nodos para procesar medio petabyte de datos y éstos no se copian en la base de datos MySQL.