Qu'est-ce que la détection d'anomalies par IA ?

L'objectif de la détection d'anomalies est de repérer les valeurs aberrantes dans les données. Toutefois, à mesure que les organisations recueillent de plus en plus d'informations dans de plus en plus d'endroits, il peut être extrêmement difficile de découvrir les écarts par rapport à la norme. C'est là que l'IA entre en jeu. Désormais, d'énormes volumes de données peuvent être rapidement analysés pour trouver des tendances qui dévient de la norme et identifier ainsi les anomalies. La détection d'anomalies par IA permet notamment de repérer la fraude financière, certaines pathologies et les intrusions sur un réseau.

Qu'est-ce que la détection d'anomalies par IA ?

La détection d'anomalies d'IA est un processus dans lequel un modèle d'intelligence artificielle vérifie un jeu de données et marque les enregistrements considérés comme des valeurs aberrantes par rapport à une ligne de base, qui représente un comportement normal et sert de point de référence pour la comparaison. La référence attendue pour un jeu de données est établie au cours du processus d'entraînement du modèle à l'aide d'une combinaison de données historiques, d'attentes du secteur et d'objectifs de projet.

La détection d'anomalies peut être effectuée avec l'analyse de données traditionnelle, mais elle est alimentée par des règles établies manuellement. La portée statique et étroite de ces règles crée des limites qui peuvent être surmontées par la capacité d'un modèle d'IA à évoluer et à s'adapter au fil du temps. La détection d'anomalies par IA peut également être effectuée sans données de référence dans les cas où le système traite des données semi-supervisées et non supervisées.

La détection d'anomalies a des applications sectorielles et opérationnelles ; par exemple, l'analyse des transactions par carte de crédit, des journaux de sécurité et des données de production. Alors que les entreprises se tournent vers un environnement informatique composé d'environnements multicloud et de projets d'IA générative, la détection d'anomalies par IA devient encore plus utile. Pour les services informatiques qui s'appuient sur le multicloud, par exemple, les complexités natives de l'environnement (plusieurs couches et types de protocoles de sécurité, différentes configurations et API personnalisées pour l'interopérabilité) signifient qu'un modèle d'IA peut aider à simplifier et à améliorer la détection des problèmes.

Points à retenir

• L'IA peut améliorer la vitesse, la précision et l'applicabilité de la détection d'anomalies.
• Tandis que la détection d'anomalies traditionnelle basée sur des règles nécessite des mises à jour fréquentes, la détection d'anomalies par IA peut s'adapter automatiquement aux nouveaux modèles et tendances.
• Lors de l'entraînement d'IA générative sur des données synthétiques, la détection d'anomalies par IA peut mettre en évidence des valeurs aberrantes, et ces résultats peuvent constituer la base de la direction d'autres jeux de données générés synthétiquement.
• La détection d'anomalies par IA peut également aider à la validation des jeux de données synthétiques utilisés à des fins d'entraînement.

Ce que vous devez savoir sur la détection d'anomalies par IA

La détection d'anomalies puise ses origines dans les statistiques, en particulier avec les applications industrielles dans la fabrication au début du XXe siècle. Les cryptographes ont utilisé la détection manuelle des anomalies pour briser les codes en surveillant les modèles inhabituels ou les écarts par rapport à la distribution statistique attendue de lettres ou de symboles. À mesure que les données devenaient plus abondantes, la détection d'anomalies par ordinateur est devenue la norme dans des domaines tels que la détection des fraudes, la gestion des stocks et le contrôle de la qualité.

La détection d'anomalies par IA fait passer le processus d'un ensemble statique de règles statistiques à un modèle plus flexible entraîné pour créer une ligne de base pour « normal ». En s'entraînant sur les données, le modèle d'IA offre une définition plus précise et affinée des données attendues, et plus il traite de données, plus il devient précis. Dès lors, il reflète mieux les nombreuses facettes de chaque application et excelle pour des utilisations complexes, telles que la surveillance des appareils Internet des objets et d'autres systèmes qui génèrent beaucoup de données et où les relations entre les points de données ne sont pas toujours évidentes.

L'IA générative illustre comment la détection d'anomalies par IA peut bénéficier à une gamme de projets et de services. Presque tous les projets d'IA générative ne sont réalisables qu'en raison de percées dans la collecte, le stockage et le traitement des données. Bien que la détection d'anomalies traditionnelle basée sur des règles puisse être appliquée à ces projets, la précision et la nuance nécessaires pour traiter proprement de tels volumes de données font souvent défaut. Ainsi, la détection d'anomalies par IA peut être une nécessité dans la transformation des données et la normalisation des sources de données d'entraînement, la détection des valeurs aberrantes, la détection des biais dans les données et même l'aide à la génération de données synthétiques pour l'entraînement des algorithmes.

Fonctionnement de la détection d'anomalies par IA

La détection d'anomalies par IA est très similaire au processus de tout modèle d'IA : collecte de données, entraînement et itération. La principale différence réside dans les objectifs spécifiques, car la détection d'anomalies se concentre sur les valeurs aberrantes. Les étapes générales de détection d'anomalies par IA sont les suivantes :

1. Collecte et prétraitement des données : comme d'autres projets d'IA, la détection d'anomalies par IA commence par la définition de l'orientation d'un projet. Tout d'abord, les objectifs généraux du projet nécessitent une définition : quel est l'état normal des données et quelle est la portée des données à prendre en compte ? À partir de là, les équipes doivent identifier les sources de données pour la formation et établir un référentiel pour la collecte et la catégorisation des données, quels points de données sont anormaux et lesquels ne le sont pas ? Les entreprises peuvent simplifier ce processus de création de données de formation en créant des transformations automatisées entre la source et le référentiel de formation.
2. Sélection d'un algorithme : Au lieu de se contenter d'objectifs de grande envergure, les équipes peuvent envisager des objectifs et des contraintes plus précis pour sélectionner des fonctionnalités, identifier des attributs et choisir le meilleur algorithme pour une situation particulière. Pour la détection d'anomalies, les statistiques (régression), le clustering (K-moyenne) et les réseaux neuronaux offrent un excellent ajustement. Tous les algorithmes utilisés pour la détection d'anomalies par IA tentent de catégoriser les enregistrements de données. Les plus performants utilisent souvent des réseaux neuronaux qui catégorisent les données de manière complexe. Par exemple, les transactions financières peuvent être classées comme typiques d'un compte ou d'une valeur élevée. Elles peuvent ensuite être classées comme provenant d'emplacements prévus ou d'un nouvel emplacement et peuvent être classées comme des dépenses typiques ou inhabituelles. Lorsque deux états anormaux se produisent dans une seule transaction, cela peut être frauduleux. Quand les trois conditions sont remplies, c'est probablement frauduleux. Grâce à l'entraînement, l'IA peut effectuer ce type d'analyse dans de nombreuses catégories et appliquer des poids pour aider à décider quand une transaction doit être vérifiée.
3. Entraînement et sélection du modèle : Avec ces éléments en place, les équipes peuvent commencer à entraîner un modèle. Les étapes consistent à établir l'architecture, à choisir un modèle de base disponible, à préparer les données d'entraînement et à exécuter les données d'entraînement via le modèle. Ensuite, les équipes utiliseront un autre jeu de données pour tester le modèle entraîné afin de déterminer dans quelle mesure il détecte les anomalies. L'entraînement se poursuit jusqu'à ce que le modèle fonctionne comme souhaité. Selon l'algorithme sous-jacent, le modèle peut continuer à apprendre des données en direct pour continuer à s'améliorer au fil du temps.
4. Détection en temps réel et traitement par lots : Selon l'application, la détection d'anomalies d'IA peut fonctionner en temps réel ou traiter les données par lots volumineux. La détection en temps réel peut nécessiter que des ressources de calcul et de traitement importantes soient dédiées au processus. En retour, la détection en temps réel produit des résultats rapidement, mais ces résultats peuvent être moins perspicaces et détaillés que ceux fournis par l'environnement contrôlé du traitement par lots. Ainsi, la détection en temps réel peut échanger des anomalies subtiles contre la vitesse.

Avantages de la détection d'anomalies par IA

La détection d'anomalies par IA représente un bond en avant important par rapport à la détection d'anomalies traditionnelle basée sur des règles. Les systèmes basés sur l'IA peuvent nécessiter une infrastructure de calcul plus robuste, mais leurs performances sont généralement bien meilleures. Voici quelques-uns des avantages les plus courants de la détection d'anomalies par IA :

• Amélioration de la précision et de la précision : Des réseaux neuronaux correctement entraînés développent des milliers de catégories ou de clusters et comprennent comment l'appartenance à ces clusters peut indiquer des données interdépendantes. Le résultat est une capacité à repérer les aberrations de données qui ne seraient jamais trouvées avec des règles écrites par l'homme. Ces modèles trouvent des anomalies plus subtiles et ont le contexte approprié pour faire des jugements. Tout cela se combine pour un processus de détection plus précis.
• Évolutivité : Non seulement l'IA peut gérer des jeux de données volumineux (les systèmes basés sur des règles peuvent également le faire), mais elle peut également gérer des jeux de données plus complexes. Dans les algorithmes actuels pour des jeux de données très volumineux et très complexes, des représentations vectorielles sont créées pour chaque enregistrement complexe. Ensuite, les recherches de similarité sont utilisées pour trouver les voisins les plus proches. Si les voisins les plus proches du vecteur sont dans un groupe connu pour contenir des enregistrements frauduleux, il est raisonnable de penser que la transaction étudiée l'est aussi. Cette approche peut évoluer vers des jeux de données contenant des milliards de transactions, chacun contenant des données complexes.
• Fonctionnalités de surveillance en temps réel : La même approche qui permet aux systèmes de détection de fonctionner à grande échelle leur permettra également de travailler à un rythme soutenu. Les recherches de similarité peuvent être effectuées très rapidement, même sur des données complexes.
• Amélioration de l'adaptabilité aux modèles changeants : Les algorithmes qui créent des clusters d'enregistrements peuvent détecter de nouvelles anomalies potentielles en trouvant de nouveaux clusters d'enregistrements. Ces clusters peuvent représenter de nouvelles anomalies, mais ils peuvent aussi simplement représenter un changement dans ce qui est enregistré. Par exemple, un produit qu'un magasin transporte devient viral sur les réseaux sociaux ; un nouveau cluster se créera dans les données. Dans cet exemple, l'anomalie est heureuse. L'analyse de la façon dont cela s'est produit peut aider un magasin ou un producteur à le refaire. Si l'engouement s'estompe, le cluster risque de ne pas se développer. Encore une fois, ce sont des données à analyser.
• Réduction des faux positifs : Une dérive des enregistrements peut représenter une bonne chose pour l'entreprise, comme dans l'exemple précédent. Ou, des règles statiques peuvent classer ces nouveaux enregistrements de ventes virales comme des fraudes. Ce type d'erreur de classification est moins susceptible de se produire avec les systèmes basés sur l'IA, qui examinent généralement les relations de données d'une manière plus nuancée.

Techniques clés de détection d'anomalies par IA

Alors que les modèles de détection d'anomalies par IA suivent plusieurs des mêmes étapes et règles générales que les autres projets de développement de l'IA, le processus s'appuie sur des méthodes spécifiques qui sont bien adaptées à l'objectif. Voici les techniques clés utilisées dans la détection d'anomalies par IA :

1. Apprentissage supervisé ou non supervisé : Les équipes doivent choisir entre l'apprentissage supervisé et l'apprentissage non supervisé pour la détection d'anomalies par IA. Les deux produisent des résultats. Cependant, les anomalies étiquetées dans les jeux de données ont tendance à être plus rares. De plus, l'étiquetage des données peut être un processus lent et coûteux. Dans la plupart des cas, l'apprentissage non supervisé est préféré, car il est plus rapide et moins coûteux. Le résultat sera la capacité de regrouper les enregistrements et de repérer les anomalies, mais un entraînement ou une programmation supplémentaire sera nécessaire pour déterminer si les anomalies trouvées sont bénignes ou représentent une menace qui doit être gérée.
2. Méthodes basées sur le clustering : Le clustering est une technique d'IA courante qui est souvent utilisée pour la détection d'anomalies en raison de la façon dont les modèles regroupent les points de données en fonction de traits qui se chevauchent et d'autres similitudes notables. En regroupant les points de données, le processus détecte les valeurs aberrantes pour signaler les anomalies. Les algorithmes de regroupement courants comprennent les k-moyennes, Isolation Forest et les modèles mixtes gaussiens. Les représentations vectorielles des enregistrements sont de plus en plus utilisées pour les enregistrements complexes ou de grande dimension. Les bases de données multimodales qui prennent en charge la création et le traitement de vecteurs peuvent faciliter la détection d'anomalies pour les données complexes.
3. Réseaux neuronaux : Les réseaux neuronaux peuvent identifier des modèles complexes et analyser des relations non linéaires, ce qui aide à trouver des valeurs aberrantes et des anomalies. Certaines architectures de réseau neuronal pour la détection d'anomalies par IA sont des auto-encodeurs, qui peuvent détecter des anomalies pendant la phase de reconstruction, et des réseaux antagonistes génératifs, ou GAN, qui peuvent utiliser le paradigme générateur / discriminateur pour identifier les valeurs aberrantes par le biais du discriminateur.
4. Techniques de détection d'anomalies de séries temporelles : Pour les données enregistrées dans le temps, les techniques ci-dessus sont utiles, mais la sélection idéale dépend des ressources, des objectifs, des points de données et d'autres facteurs. Par exemple, les algorithmes de regroupement peuvent évaluer les transactions par carte de crédit à des fins de fraude en regroupant des dimensions spécifiques, telles que la géographie, la catégorie d'achat et le coût. Dans un autre exemple, un réseau neuronal pourrait observer les relations entre la précision de sortie et les cycles d'utilisation sur des machines de production compliquées. En évaluant les relations entre les différents moniteurs sur la machine, le réseau neuronal peut identifier qu'une combinaison de points de données signale un besoin d'effectuer une maintenance antérieure à la normale.

Cas d'utilisation de la détection d'anomalies par IA

La détection d'anomalies par IA est utile dans un large éventail d'applications et de secteurs. Les facteurs à prendre en compte sont les suivants : si votre cas d'utilisation requiert des données internes ou externes, ou les deux, et si la détection en temps réel est l'objectif.

Les applications populaires de détection d'anomalies incluent :

• Cybersécurité : Grâce à une surveillance constante de toutes les facettes de la configuration informatique d'une entreprise, la détection d'anomalies peut identifier les indicateurs susceptibles de signaler une attaque. Dans le cas d'une configuration multicloud, la détection d'anomalies par IA peut fournir une aide significative aux équipes informatiques qui peuvent être aux prises avec une gamme de systèmes et de configurations qui se chevauchent. Pour les configurations multicloud, l'IA peut surveiller automatiquement les nombreux détails des opérations qui nécessitent une expertise dans les opérations de chaque cloud individuel.
• Finances : La détection de fraude est l'un des cas d'utilisation les plus longs pour la détection d'anomalies. Stimuler l'IA est logique à mesure que les volumes de données financières augmentent. Grâce à la détection d'anomalies par IA, les établissements obtiennent des modèles plus précis qui bénéficient de ces grands jeux de données. Dans le même temps, les fraudeurs financiers découvrent constamment de nouvelles techniques, et l'IA permet au modèle d'évoluer et de mieux détecter de nouveaux modèles en appliquant un contexte plus large.
• Santé : L'IA peut analyser les données hospitalières pour aider à identifier les anomalies qui peuvent indiquer des inefficacités, des installations sous-utilisées ou des fraudes.
• Opérations informatiques : À mesure que les environnements informatiques des entreprises se complexifient et que la surveillance du réseau augmente, la détection d'anomalies par IA peut compléter les experts humains et minimiser la « fatigue liée aux alertes ». Par exemple, l'IA peut analyser les journaux d'application pour identifier les anomalies qui peuvent indiquer des performances dégradées, telles que des temps de réponse lents ou des erreurs.
• Industrie : Les systèmes de détection d'anomalies d'IA pour la fabrication peuvent désormais évaluer beaucoup plus de points de données dans le cadre des efforts continus visant à trouver et à résoudre les problèmes potentiels avant qu'ils ne causent des temps d'arrêt, des défauts ou des risques de sécurité coûteux. Par exemple, des fluctuations anormales de la température des équipements peuvent indiquer une surchauffe, tandis que les caméras alimentées par l'IA peuvent détecter des défauts dans les produits avant qu'ils ne soient expédiés aux clients.
• Gestion municipale et construction : La détection d'anomalies offre des avantages pour surveiller des infrastructures, en particulier avec des drones. Pour les municipalités, l'IA peut analyser les images capturées des ponts, des routes et des lignes électriques afin d'identifier les anomalies et de permettre une maintenance proactive. De même, les drones équipés d'une détection d'anomalies alimentée par l'IA peuvent surveiller l'avancement du projet par rapport aux modèles, identifier les risques pour la sécurité, tels que les équipements manquants ou le placement incorrect des matériaux, et détecter les défauts structurels dans les bâtiments en construction.

Découvrez la détection d'anomalies à l'aide d'Oracle Cloud AI Service

Les services d'IA sur Oracle Cloud Infrastructure (OCI) fournissent une suite d'outils, de modèles et de fonctionnalités prédéfinis pour intégrer l'IA dans les applications et les workflows, y compris des fonctionnalités spécifiques à la détection d'anomalies dans diverses configurations. OCI apporte un apprentissage et une adaptabilité basés sur l'IA à la maintenance et à la surveillance dans tous les secteurs et cas d'utilisation.

Les perspectives de détection d'anomalies par IA sont exceptionnellement prometteuses, grâce à la hausse des volumes et de la complexité des données disponibles dans tous les secteurs, ainsi qu'à la nécessité d'identifier de manière proactive la fraude et d'autres problèmes. On peut s'attendre à voir émerger des modèles d'IA plus sophistiqués, notamment avec le deep learning et les techniques non supervisées, pour la détection d'anomalies. Ils pourront détecter des anomalies subtiles sans avoir accès à des volumes importants de données étiquetées. Les entreprises recherchent également une meilleure analyse en temps réel, une meilleure intégration avec les systèmes existants et le déploiement de la détection d'anomalies en périphérie.

Découvrez le service OCI Anomaly Detection en action

FAQ sur la détection d'anomalies par IA

Qu'est-ce qui distingue la détection d'anomalies par IA des méthodes traditionnelles ?

La détection traditionnelle des anomalies est basée sur l'établissement de règles et de seuils de données par les équipes. Bien que cela puisse produire des résultats, il présente des limites importantes, telles que le fait de ne pas s'adapter aux changements du secteur et de négliger les relations non linéaires. La détection d'anomalies par IA est plus adaptative à l'évolution des données et peut consommer davantage de types de données.

Comment les entreprises peuvent-elles déterminer si elles ont besoin de la détection d'anomalies par IA ?

La détection d'anomalies par IA est généralement plus puissante, plus précise et plus rapide que la détection d'anomalies traditionnelle, ce qui en fait un outil commercial utile pour de nombreuses entreprises. Cependant, il y a des circonstances où les méthodes traditionnelles suffiront. Pour prendre la meilleure décision, les entreprises doivent examiner la complexité de leurs données, la rigueur de leurs besoins réglementaires et les facteurs de risque de sécurité. En outre, la portée des ressources disponibles doit être prise en considération. Par exemple, l'entreprise peut-elle prendre en charge l'achat et l'affinage d'un modèle préentraîné, et dispose-t-elle des ressources de calcul et de données pour prendre en charge l'effort ? Le cloud est-il la meilleure option ? Dans de nombreux cas, c'est la voie la plus rentable.

Quelles sont les étapes de base pour commencer à utiliser la détection d'anomalies par IA ?

Les étapes les plus simples pour utiliser la détection d'anomalies par IA sont les suivantes :

• Identification de l'objectif, des sources de données et des limites
• Sélection de l'algorithme d'IA approprié pour atteindre les objectifs
• Entraînement, préparation et réglage du modèle, qu'il soit préentraîné ou développé en interne
• Lancement du modèle avec des données en direct et suivi continu de sa production
• Évaluation des résultats pour voir s'il a commencé à découvrir des tendances surprenantes