HeatWave : accélérateur de requêtes en mémoire avec apprentissage automatique intégré

Base de données cloud conçue pour les performances et l'évolutivité

Heatwave utilise une représentation en mémoire en colonnes qui facilite le traitement vectoriel. Les données sont encodées et compressées avant d'être chargées en mémoire. Cette représentation en mémoire compressée et optimisée est utilisée à la fois pour les données numériques et de chaînes. Ceci donne lieu à des améliorations considérables en matière de performances et à une empreinte réduite de mémoire et signifie une réduction des coûts pour les clients.

Évolutivité dans les coeurs et les noeuds

L'un des principaux points de conception du moteur HeatWave est de partitionner massivement les données sur un cluster de noeuds HeatWave, qui peut être exécuté en parallèle. Cela permet des accès importants au cache pour les opérations analytiques et offre une très bonne évolutivité inter-noeuds. Chaque noeud de HeatWave au sein d'un cluster et chaque coeur au sein d'un noeud peut traiter des données partitionnées en parallèle, dont des scans parallèles, des jointures, le regroupement, l'agrégation et le traitement top-k.

Analyse en temps réel

Les modifications effectuées par les transactions OLTP sont propagées en temps réel vers HeatWave et visibles immédiatement pour les requêtes analytiques. Une fois que les utilisateurs soumettent une requête vers une base de données MySQL, l'optimisateur de requêtes MySQL décide de façon transparente si la requête doit être déchargée vers le cluster HeatWave pour une exécution accélérée. Cela dépend si tous les opérateurs et fonctions référencés dans la requête sont pris en charge par HeatWave et si le temps estimé de traitement de la requête avec HeatWave est moindre qu'avec MySQL. Si les deux conditions sont remplies, la requête est propagée vers les noeuds HeatWave pour traitement. Une fois traités, les résultats sont renvoyés vers le noeud de base de données MySQL et retournés aux utilisateurs.

Traitement distribué de l'analyse en mémoire pour des informations en temps réel

HeatWave implémente des algorithmes de pointe pour le traitement analytique distribué en mémoire. Les jointures au sein des partitions sont traitées rapidement grâce à des noyaux de jointure vectorisés. La communication réseau hautement optimisée entre les noeuds analytiques est possible en utilisant un lot I/Os asynchrone. Les algorithmes sont conçus pour chevaucher la durée de calcul et la communication des données entre les noeuds, ce qui permet d'atteindre une évolutivité élevée.

MySQL Autopilot : automatisation grâce au machine learning

MySQL Autopilot automatise la plupart des aspects les plus importants et souvent les plus difficiles pour atteindre des performances élevées de requêtes à grande échelle, dont le provisionnement, le chargement des données, l'exécution des requêtes et la gestion des pannes. Il utilise des techniques avancées pour échantillonner les données, collecter des statistiques sur les données et les requêtes et créer des modèles de machine learning pour modéliser l'utilisation de la mémoire, la charge réseau et la durée d'exécution. Ces modèles de machine learning sont ensuite utilisés par MySQL Autopilot pour exécuter ses principales fonctionnalités. MySQL Autopilot rend l'optimiseur de requêtes HeatWave plus intelligent au fur et à mesure de l'exécution d'autres requêtes, ce qui améliore continuellement les performances du système au fil du temps, une fonctionnalité non disponible sur Amazon Aurora, Amazon Redshift, Snowflake ou d'autres services de base de données basés sur MySQL. MySQL Autopilot fournit également des fonctionnalités conçues pour améliorer les performances et le rapport prix-performances des workloads OLTP. MySQL Autopilot est disponible sans coûts supplémentaires pour les clients de MySQL HeatWave.

Récupération de données 100 fois plus rapide

Lorsque les données sont chargées à partir de MySQL vers HeatWave, une copie de la représentation en mémoire est effectuée sur la couche de gestion des données évolutive, construite sur la banque d'objets OCI. Les modifications apportées aux données dans MySQL sont propagées de manière transparente vers cette couche de données. Lorsqu'une opération nécessite le rechargement de données vers HeatWave, telle que la récupération des erreurs, les données peuvent être accessibles depuis la couche de données HeatWave en parallèle par plusieurs noeuds HeatWave. Ces résultats représentent une amélioration significative des performances. Par exemple, pour un cluster HeatWave de 10 To, le temps nécessaire à la récupération et au rechargement des données est passé de 7,5 heures à 4 minutes, soit une amélioration de plus de 100 fois.

Aucun changement n'est requis pour les applications avec des analyses intégrées

HeatWave est conçu comme un moteur de stockage pluggable MySQL qui protège complètement les détails d'implémentation de bas niveau des clients. Par conséquent, les applications et les outils accèdent en toute transparence à HeatWave via MySQL, à l'aide de connecteurs standard. HeatWave prend en charge les mêmes propriétés ANSI SQL standard et ACID que MySQL et prend en charge différents types de données. Cela permet aux applications existantes de tirer parti de HeatWave sans aucune modification.

Cloud hybride-OLTP on-premises, OLAP dans le cloud

Les clients on-premises qui ne peuvent pas déplacer leurs déploiements MySQL vers le cloud en raison des exigences de conformité et de réglementations peuvent toujours tirer parti d'HeatWave en utilisant le modèle de déploiement hybride. Dans un déploiement hybride de ce type, les clients peuvent utiliser la réplication MySQL pour répliquer des données MySQL sur site vers HeatWave sans avoir besoin d'ETL.

Machine learning intégré à la base de données avec AutoML

Avec le machine learning intégré à la base de données dans MySQL HeatWave, disponible sans frais supplémentaires, les utilisateurs n'ont pas besoin de déplacer leurs données vers un service de machine learning distinct tel qu'Amazon SageMaker. Cela accélère leurs initiatives de machine learning, augmentant la sécurité et réduisant les coûts. Ils peuvent utiliser le machine learning, l'inférence et l'explication aux données stockées à l'intérieur de MySQL et dans un dépôt d'objets avec HeatWave Lakehouse. HeatWave AutoML automatise le cycle de vie du machine learning, notamment la sélection d'algorithmes, l'échantillonnage intelligent des données pour l'entraînement de modèle, la sélection des caractéristiques et l'optimisation des hyperparamètres, ce qui fait gagner du temps aux clients et leur épargne des tâches chronophages.

Les développeurs et les analystes de données peuvent créer des modèles de machine learning à l'aide de commandes SQL courantes. Ils n'ont pas besoin d'apprendre de nouveaux outils et langages. De plus, HeatWave AutoML est intégré à des blocs-notes populaires tels que Jupyter et Apache Zeppelin. HeatWave AutoML fournit des prédictions avec une explication des résultats, ce qui aide les entreprises à respecter la conformité, l'équité, la répétabilité, la causalité et la fiabilité.

IA générative avec banque de vecteurs MySQL HeatWave

Actuellement en aperçu privé, la banque de vecteurs permet aux clients de tirer parti de la puissance des grands modèles de langage (LLM) avec leurs données propriétaires pour obtenir des réponses plus précises que l'utilisation de modèles formés uniquement aux données publiques. Grâce à l'IA générative et aux capacités de stockage vectoriel, les clients peuvent interagir avec MySQL HeatWave en langage naturel et rechercher efficacement des documents dans différents formats de fichiers dans HeatWave Lakehouse.

La banque de vecteurs ingère des documents dans différents formats, notamment PDF, et les stocke en tant qu'intégrations générées via un modèle d'encodeur. Pour une requête utilisateur donnée, la banque de vecteurs identifie les documents les plus similaires en effectuant une recherche de similarité par rapport aux incorporations stockées et à la requête intégrée. Ces documents sont utilisés pour compléter l'invite donnée au LLM afin qu'il fournisse une réponse plus contextuelle.

• Lisez l’article de blog

Hautes performances constantes et coûts réduits, sans temps d'arrêt

L'élasticité en temps réel permet aux clients d'augmenter ou de réduire la taille de leur cluster HeatWave de n'importe quel nombre de nœuds, sans aucun temps d'arrêt ni temps de lecture seule. L'opération de redimensionnement ne prend que quelques minutes, pendant lesquelles HeatWave reste en ligne et disponible pour toutes les opérations. Une fois redimensionnées, les données sont téléchargées à partir du stockage d'objets, automatiquement repartitionnées entre tous les nœuds de cluster disponibles et deviennent immédiatement disponibles pour les requêtes. Par conséquent, les clients bénéficient de performances toujours élevées, même lors des pics d'activité, et de coûts réduits en redimensionnant à la baisse leur cluster HeatWave si nécessaire, sans aucun temps d'arrêt ni période en lecture seule. Les clients ne sont pas obligés de se contenter d'instances surprovisionnées, résultant de modèles de dimensionnement rigides comme c'est le cas chez d'autres fournisseurs de bases de données cloud. Grâce à un rechargement efficace des données à partir du stockage d'objets, les clients peuvent également mettre en pause et reprendre leur cluster HeatWave pour réduire les coûts.

Analyses rapides dans les bases de données et le stockage d'objets

MySQL HeatWave permet aux utilisateurs d'interroger un demi-pétaoctet de données dans le stockage d'objets, dans divers formats de fichier, tels que CSV, Parquet, Avro et des fichiers d'export d'autres bases de données. Le traitement des requêtes est entièrement effectué dans le moteur HeatWave, ce qui permet aux clients de tirer parti de HeatWave pour les workloads non MySQL en plus des workloads compatibles MySQL. Les clients peuvent interroger les données sous différents formats dans le stockage d'objets, les données transactionnelles dans les bases de données MySQL, ou une combinaison des deux en utilisant les commandes SQL standard. L'interrogation des données dans le stockage d'objets est aussi rapide que dans les bases de données. Avec HeatWave AutoML, les clients peuvent utiliser les données dans le stockage d'objets et/ou la base de données pour créer, entraîner, déployer et expliquer automatiquement des modèles de machine learning, sans déplacer les données vers un service cloud de machine learning distinct. Le cluster HeatWave s'adapte à 512 nœuds pour traiter un demi-pétaoctet de données et les données ne sont pas copiées dans la base de données MySQL.