Qu'est-ce que la détection d'anomalies par IA ?

La détection des anomalies par l’IA est un processus dans lequel un modèle d’intelligence artificielle examine un ensemble de données et signale les enregistrements considérés comme des valeurs aberrantes par rapport à une référence.

La référence attendue pour un jeu de données est établie au cours du processus d'entraînement du modèle à l'aide d'une combinaison de données historiques, d'attentes du secteur et d'objectifs de projet. La référence représente un comportement normal et sert de point de comparaison.

Une fois une base de référence établie, la détection des anomalies peut être effectuée grâce à une analyse traditionnelle des données régie par des règles établies. La portée statique et étroite de ces règles crée des limites qui peuvent être surmontées par la capacité d'un modèle d'IA à évoluer et à s'adapter au fil du temps. La détection d'anomalies par IA peut également être effectuée sans données de référence dans les cas où le système traite des données semi-supervisées et non supervisées.

La détection d'anomalies a des applications sectorielles et opérationnelles ; par exemple, l'analyse des transactions par carte de crédit, des journaux de sécurité et des données de production. Alors que les entreprises se tournent vers un environnement informatique composé d' environnements multicloud et de projets d'IA générative, la détection d'anomalies par IA devient encore plus utile. Pour les services informatiques qui s'appuient sur le multicloud, par exemple, les complexités natives de l'environnement (plusieurs couches et types de protocoles de sécurité, différentes configurations et API personnalisées pour l'interopérabilité) signifient qu'un modèle d'IA peut aider à simplifier et à améliorer la détection des problèmes.

Points à retenir

L'IA peut améliorer la vitesse, la précision et l'applicabilité de la détection d'anomalies.
Tandis que la détection d'anomalies traditionnelle basée sur des règles nécessite des mises à jour fréquentes, la détection d'anomalies par IA peut s'adapter automatiquement aux nouveaux modèles et tendances.
Lors de l'entraînement d'IA générative sur des données synthétiques, la détection d'anomalies par IA peut mettre en évidence des valeurs aberrantes, et ces résultats peuvent constituer la base de la direction d'autres jeux de données générés synthétiquement.
La détection d'anomalies par IA peut également aider à la validation des jeux de données synthétiques utilisés à des fins d'entraînement.

Ce que vous devez savoir sur la détection d'anomalies par IA

La détection d'anomalies puise ses origines dans les statistiques, en particulier avec les applications industrielles dans la fabrication au début du XXe siècle. Les cryptographes ont utilisé la détection manuelle des anomalies pour briser les codes en surveillant les modèles inhabituels ou les écarts par rapport à la distribution statistique attendue de lettres ou de symboles. À mesure que les données devenaient plus abondantes, la détection d'anomalies par ordinateur est devenue la norme dans des domaines tels que la détection des fraudes, la gestion des stocks et le contrôle de la qualité.

La détection d'anomalies par IA fait passer le processus d'un ensemble statique de règles statistiques à un modèle plus flexible entraîné pour créer une ligne de base pour « normal ». En s'entraînant sur les données, le modèle d'IA offre une définition plus précise et affinée des données attendues, et plus il traite de données, plus il devient précis. Dès lors, il reflète mieux les nombreuses facettes de chaque application et excelle pour des utilisations complexes, telles que la surveillance des appareils Internet des objets et d'autres systèmes qui génèrent beaucoup de données et où les relations entre les points de données ne sont pas toujours évidentes.

L'IA générative illustre comment la détection d'anomalies par IA peut bénéficier à une gamme de projets et de services. Presque tous les projets d’entraînement de l’IA générative ne sont réalisables que grâce aux avancées majeures en matière de collecte, de stockage et de traitement des données. Bien que la détection d'anomalies traditionnelle basée sur des règles puisse être appliquée à ces projets, la précision et la nuance nécessaires pour traiter proprement de tels volumes de données font souvent défaut. Ainsi, la détection d'anomalies par IA peut être une nécessité dans la transformation des données et la normalisation des sources de données d'entraînement, la détection des valeurs aberrantes, la détection des biais dans les données et même l'aide à la génération de données synthétiques pour l'entraînement des algorithmes.

Fonctionnement de la détection d'anomalies par IA

La détection d'anomalies par IA est très similaire au processus de tout modèle d'IA : collecte de données, entraînement et itération. La principale différence réside dans les objectifs spécifiques, car la détection d'anomalies se concentre sur les valeurs aberrantes. Les étapes générales de la détection des anomalies par l’IA sont les suivantes :

Dans un workflow de détection des anomalies basé sur l’IA, diverses sources de données, notamment les KPI, les journaux et les traces, sont ingérées afin de créer et d’affiner un modèle centralisé. Une fois déployé, le système exécute divers modèles d’IA afin de surveiller les opérations en continu, permettant la détection des anomalies en temps réel et l’envoi d’alertes automatisées.

Collecte et prétraitement des données : comme d'autres projets d'IA, la détection d'anomalies par IA commence par la définition de l'orientation d'un projet. Tout d'abord, les objectifs généraux du projet nécessitent une définition : quel est l'état normal des données et quelle est la portée des données à prendre en compte ? À partir de là, les équipes doivent identifier les sources de données pour l'entraînement et établir un référentiel pour la collecte et la catégorisation des données, quels points de données sont anormaux et lesquels ne le sont pas ? Les entreprises peuvent simplifier ce processus de création de données de formation en créant des transformations automatisées entre la source et le référentiel de formation.
Sélection d'un algorithme : plutôt que de se contenter d'objectifs de grande envergure, les équipes peuvent envisager des objectifs et des contraintes plus précis pour sélectionner des fonctionnalités, identifier des attributs et choisir le meilleur algorithme pour une situation particulière. Pour la détection d'anomalies, les statistiques (régression), le clustering (K-moyenne) et les réseaux neuronaux offrent un excellent ajustement. Tous les algorithmes utilisés pour la détection d'anomalies par IA tentent de catégoriser les enregistrements de données. Les plus performants utilisent souvent des réseaux neuronaux qui catégorisent les données de manière complexe. Par exemple, les transactions financières peuvent être classées comme typiques d'un compte ou d'une valeur élevée. Elles peuvent ensuite être classées comme provenant d'emplacements prévus ou d'un nouvel emplacement et peuvent être classées comme des dépenses typiques ou inhabituelles. Lorsque deux états anormaux se produisent dans une seule transaction, cela peut être frauduleux. Quand les trois conditions sont remplies, c'est probablement frauduleux. Grâce à l'entraînement, l'IA peut effectuer ce type d'analyse dans de nombreuses catégories et appliquer des poids pour aider à décider quand une transaction doit être vérifiée.
Entraînement et sélection du modèle : Avec ces éléments en place, les équipes peuvent commencer à entraîner un modèle. Les étapes consistent à établir l'architecture, à choisir un modèle de base disponible, à préparer les données d'entraînement et à exécuter les données d'entraînement via le modèle. Ensuite, les équipes utiliseront un autre jeu de données pour tester le modèle entraîné afin de déterminer dans quelle mesure il détecte les anomalies. L'entraînement se poursuit jusqu'à ce que le modèle fonctionne comme souhaité. Selon l'algorithme sous-jacent, le modèle peut continuer à apprendre des données en direct pour continuer à s'améliorer au fil du temps.
Détection en temps réel et traitement par lots : Selon l'application, la détection d'anomalies par IA peut fonctionner en temps réel ou traiter les données par lots volumineux. La détection en temps réel peut nécessiter que des ressources de calcul et de traitement importantes soient dédiées au processus. En retour, la détection en temps réel produit des résultats rapidement, mais ces résultats peuvent être moins perspicaces et détaillés que ceux fournis par l'environnement contrôlé du traitement par lots. Ainsi, la détection en temps réel peut échanger des anomalies subtiles contre la vitesse.

Avantages de la détection d'anomalies par IA

La détection d'anomalies par IA représente un bond en avant important par rapport à la détection d'anomalies traditionnelle basée sur des règles. Les systèmes basés sur l'IA peuvent nécessiter une infrastructure de calcul plus robuste, mais leurs performances sont généralement bien meilleures. Voici quelques-uns des avantages les plus courants de la détection d'anomalies par IA :

Amélioration de l’exactitude et de la précision : Des réseaux neuronaux correctement entraînés développent des milliers de catégories ou de clusters et comprennent comment l’appartenance à ces clusters peut indiquer des données interdépendantes. Le résultat est une capacité à repérer les aberrations de données qui ne seraient jamais trouvées avec des règles écrites par l'homme. Ces modèles trouvent des anomalies plus subtiles et ont le contexte approprié pour faire des jugements. Tout cela se combine pour un processus de détection plus précis.
Évolutivité : Non seulement l'IA peut gérer des jeux de données volumineux (les systèmes basés sur des règles peuvent également le faire), mais elle peut également gérer des jeux de données plus complexes. Dans les algorithmes actuels pour des jeux de données très volumineux et très complexes, des représentations vectorielles sont créées pour chaque enregistrement complexe. Ensuite, les recherches de similarité sont utilisées pour trouver les voisins les plus proches. Si les voisins les plus proches du vecteur sont dans un groupe connu pour contenir des enregistrements frauduleux, il est raisonnable de penser que la transaction étudiée l'est aussi. Cette approche peut évoluer vers des jeux de données contenant des milliards de transactions, chacun contenant des données complexes.
Fonctionnalités de surveillance en temps réel : la même approche qui permet aux systèmes de détection de fonctionner à grande échelle leur permettra également de travailler à un rythme soutenu. Les recherches de similarité peuvent être effectuées très rapidement, même sur des données complexes.
Amélioration de l'adaptabilité aux modèles changeants : les algorithmes qui créent des clusters d'enregistrements peuvent détecter de nouvelles anomalies potentielles en trouvant de nouveaux clusters d'enregistrements. Ces clusters peuvent représenter de nouvelles anomalies, mais ils peuvent aussi simplement représenter un changement dans ce qui est enregistré. Par exemple, un produit qu'un magasin transporte devient viral sur les réseaux sociaux ; un nouveau cluster se créera dans les données. Dans cet exemple, l'anomalie est heureuse. L'analyse de la façon dont cela s'est produit peut aider un magasin ou un producteur à le refaire. Si l'engouement s'estompe, le cluster risque de ne pas se développer. Encore une fois, ce sont des données à analyser.
Réduction des faux positifs : une dérive des enregistrements peut représenter une bonne chose pour l'entreprise, comme dans l'exemple précédent. Ou, des règles statiques peuvent classer ces nouveaux enregistrements de ventes virales comme des fraudes. Ce type d'erreur de classification est moins susceptible de se produire avec les systèmes basés sur l'IA, qui examinent généralement les relations de données d'une manière plus nuancée.

Techniques clés de détection d'anomalies par IA

Alors que les modèles de détection d'anomalies par IA suivent plusieurs des mêmes étapes et règles générales que les autres projets de développement de l'IA, le processus s'appuie sur des méthodes spécifiques qui sont bien adaptées à l'objectif. Voici les techniques clés utilisées dans la détection d'anomalies par IA :

Apprentissage supervisé ou non supervisé : les équipes doivent choisir entre l'apprentissage supervisé et l'apprentissage non supervisé pour la détection d'anomalies par IA. Les deux produisent des résultats. Cependant, les anomalies étiquetées dans les jeux de données ont tendance à être plus rares. De plus, l'étiquetage des données peut être un processus lent et coûteux. Dans la plupart des cas, l'apprentissage non supervisé est préféré, car il est plus rapide et moins coûteux. Le résultat sera la capacité de regrouper les enregistrements et de repérer les anomalies, mais un entraînement ou une programmation supplémentaire sera nécessaire pour déterminer si les anomalies trouvées sont bénignes ou représentent une menace qui doit être gérée.
Méthodes basées sur le clustering : Le clustering est une technique d'IA courante qui est souvent utilisée pour la détection d'anomalies en raison de la façon dont les modèles regroupent les points de données en fonction de traits qui se chevauchent et d'autres similitudes notables. Souvent appelées méthodes fondées sur la proximité, ces techniques identifient les anomalies en fonction de la distance d’un point de données par rapport à ses voisins et peuvent se révéler très efficaces pour détecter les valeurs aberrantes locales susceptibles d’échapper à d’autres tests statistiques. Les algorithmes de clustering courants incluent K-means, comme k-NN, qui calcule la distance avec les plus proches voisins dans un espace à haute dimension. Les points présentant une distance moyenne élevée par rapport à leurs voisins sont considérés comme anormaux. Une autre méthode, le facteur local d’anomalie, ou LOF, compare la densité des points. Un point dont la densité est nettement inférieure à celle de son environnement est signalé comme une valeur aberrante potentielle. Les représentations vectorielles sont indexées et utilisées pour effectuer ces comparaisons. Les bases de données multimodales qui prennent en charge la création et le traitement de vecteurs peuvent faciliter la détection d'anomalies pour les données complexes.
Réseaux neuronaux : Les réseaux neuronaux peuvent identifier des modèles complexes et analyser des relations non linéaires, ce qui aide à détecter des valeurs aberrantes et des anomalies. Certaines architectures de réseau neuronal pour la détection d'anomalies par IA sont des auto-encodeurs, qui peuvent détecter des anomalies pendant la phase de reconstruction, et des réseaux antagonistes génératifs, ou GAN, qui peuvent utiliser le paradigme générateur / discriminateur pour identifier les valeurs aberrantes par le biais du discriminateur.
Techniques de détection d'anomalies de séries temporelles : Pour les données enregistrées dans le temps, les techniques ci-dessus sont utiles, mais la sélection idéale dépend des ressources, des objectifs, des points de données et d'autres facteurs. Par exemple, les algorithmes de regroupement peuvent évaluer les transactions par carte de crédit à des fins de fraude en regroupant des dimensions spécifiques, telles que la géographie, la catégorie d'achat et le coût. Dans un autre exemple, un réseau neuronal pourrait observer les relations entre la précision de sortie et les cycles d'utilisation sur des machines de production compliquées. En évaluant les relations entre les différents moniteurs sur la machine, le réseau neuronal peut identifier qu'une combinaison de points de données signale un besoin d'effectuer une maintenance antérieure à la normale.

Cas d'utilisation de la détection d'anomalies par IA

La détection d'anomalies par IA est utile dans un large éventail d'applications et de secteurs. Les facteurs à prendre en compte sont les suivants : si votre cas d'utilisation requiert des données internes ou externes, ou les deux, et si la détection en temps réel est l'objectif.

Les applications populaires de détection d'anomalies incluent :

Cybersécurité : grâce à une surveillance constante de toutes les facettes de l’environnement informatique d’une organisation, la détection des anomalies peut identifier des indicateurs susceptibles de signaler une attaque. Dans le cas d’une configuration multicloud, la détection des anomalies par l’IA peut apporter une aide significative aux équipes informatiques qui peuvent être confrontées à un ensemble de systèmes et de configurations qui se chevauchent. Pour les configurations multicloud, l'IA peut surveiller automatiquement les nombreux détails des opérations qui nécessitent une expertise dans les opérations de chaque cloud individuel.
Finance : La détection de la fraude est l'un des cas d'utilisation les plus anciens de la détection d'anomalies. Stimuler l'IA est logique à mesure que les volumes de données financières augmentent. Grâce à la détection d'anomalies par IA, les établissements obtiennent des modèles plus précis qui bénéficient de ces grands jeux de données. Dans le même temps, les fraudeurs financiers découvrent constamment de nouvelles techniques, et l'IA permet au modèle d'évoluer et de mieux détecter de nouveaux modèles en appliquant un contexte plus large.
Santé : L'IA peut analyser les données hospitalières pour aider à identifier les anomalies susceptibles d'indiquer des inefficacités, des installations sous-utilisées ou des fraudes.
Opérations informatiques : À mesure que les environnements informatiques des entreprises se complexifient et que la surveillance du réseau augmente, la détection d'anomalies par IA peut compléter les experts humains et minimiser la « fatigue liée aux alertes ». Par exemple, l'IA peut analyser les journaux d'application pour identifier les anomalies qui peuvent indiquer des performances dégradées, telles que des temps de réponse lents ou des erreurs.
Industrie : Les systèmes de détection d'anomalies d'IA pour la fabrication peuvent désormais évaluer beaucoup plus de points de données dans le cadre des efforts continus visant à trouver et à résoudre les problèmes potentiels avant qu'ils ne causent des temps d'arrêt, des défauts ou des risques de sécurité coûteux. Par exemple, des fluctuations anormales de la température des équipements peuvent indiquer une surchauffe, tandis que les caméras alimentées par l'IA peuvent détecter des défauts dans les produits avant qu'ils ne soient expédiés aux clients.
Gestion des stocks dans le retail : les retailers utilisent des systèmes de détection d’anomalies pour analyser les habitudes d’achat, afin de détecter les commandes groupées frauduleuses, l’accumulation de stocks par des bots pendant les soldes ou les pics de demande inhabituels pouvant indiquer une manipulation de la supply chain.
Gestion municipale et construction : La détection d'anomalies offre des avantages à toute personne qui doit surveiller des infrastructures, en particulier lorsqu'elle  utilise des drones. Pour les municipalités, l'IA peut analyser les images capturées des ponts, des routes et des lignes électriques afin d'identifier les anomalies et de permettre une maintenance proactive. De même, les drones équipés d'une détection d'anomalies alimentée par l'IA peuvent surveiller l'avancement du projet par rapport aux modèles, identifier les risques pour la sécurité, tels que les équipements manquants ou le placement incorrect des matériaux, et détecter les défauts structurels dans les bâtiments en construction.

Comment Oracle facilite-t-il la détection des anomalies ?

Depuis des décennies, Oracle Database fait partie intégrante des systèmes de détection des anomalies dans les environnements informatiques les plus exigeants au monde, dans la finance, la distribution, les services publics, la logistique et de nombreux autres secteurs. Désormais, avec Oracle AI Database et Oracle Cloud Infrastructure, davantage d’organisations peuvent exploiter la puissance et l’expérience des services de machine learning et d’IA d’Oracle pour leurs tâches de détection d’anomalies.

Par exemple, avec Oracle AI Database, vous pouvez créer et utiliser des modèles directement dans la base de données, notamment pour la classification, la régression, le clustering, la détection d’anomalies, les séries temporelles et d’autres techniques de machine learning. Vous bénéficiez de performances et d’une évolutivité accrues en tirant parti des optimisations en base de données et de l’élimination des déplacements de données pour les données en base, ainsi que d’une plus grande facilité de déploiement des modèles. Et comme AI Database s’exécute sans modification sur les systèmes sur site et dans les principaux clouds, vous pouvez exécuter la détection des anomalies là où résident les données. Ce même système de base de données gère les vecteurs comme un type de données natif et exécute des modèles d’embedding dans la base de données, ce qui vous permet d’effectuer des recherches de similarités dans vos données métier et vos documents, et d’intégrer des méthodes basées sur la proximité à votre recherche de similarités.

Découvrez la détection d'anomalies à l'aide d'Oracle Cloud AI Service

Entre Oracle AI Database et les services d’IA sur Oracle Cloud Infrastructure (OCI) , vous disposez de tous les outils, modèles et fonctionnalités nécessaires pour intégrer l’IA aux applications et aux workflows, y compris des fonctionnalités spécifiques pour la détection des anomalies dans diverses configurations. OCI et AI Database apportent l’apprentissage et l’adaptabilité optimisés par l’IA à la surveillance, à la maintenance et au suivi dans tous les secteurs et cas d’utilisation.

Les perspectives de détection d'anomalies par IA sont exceptionnellement prometteuses, grâce à la hausse des volumes et de la complexité des données disponibles dans tous les secteurs, ainsi qu'à la nécessité d'identifier de manière proactive la fraude et d'autres problèmes. On peut s'attendre à voir émerger des modèles d'IA plus sophistiqués, notamment avec le deep learning et les techniques non supervisées, pour la détection d'anomalies. Ils pourront détecter des anomalies subtiles sans avoir accès à des volumes importants de données étiquetées. Les entreprises recherchent également une meilleure analyse en temps réel, une meilleure intégration avec les systèmes existants et le déploiement de la détection d'anomalies en périphérie.

Vidéo : voir le service OCI Anomaly Detection en action

Introduction à OCI Anomaly Detection AI Service (6:15)

Les services d'IA hautement compétents peuvent utiliser les données de votre entreprise pour détecter les anomalies, automatiser les tâches complexes, améliorer la sécurité, stimuler la productivité et bien plus encore. En savoir plus.

Consulter l’e-book

FAQ sur la détection d'anomalies par IA

Qu'est-ce qui distingue la détection d'anomalies par IA des méthodes traditionnelles ?

La détection traditionnelle des anomalies est basée sur l'établissement de règles et de seuils de données par les équipes. Bien que cela puisse produire des résultats, il présente des limites importantes, telles que le fait de ne pas s'adapter aux changements du secteur et de négliger les relations non linéaires. La détection d'anomalies par IA est plus adaptative à l'évolution des données et peut consommer davantage de types de données.

Comment les entreprises peuvent-elles déterminer si elles ont besoin de la détection d'anomalies par IA ?

La détection d'anomalies par IA est généralement plus puissante, plus précise et plus rapide que la détection d'anomalies traditionnelle, ce qui en fait un outil commercial utile pour de nombreuses entreprises. Cependant, il y a des circonstances où les méthodes traditionnelles suffiront. Pour prendre la meilleure décision, les entreprises doivent examiner la complexité de leurs données, la rigueur de leurs besoins réglementaires et les facteurs de risque de sécurité. En outre, la portée des ressources disponibles doit être prise en considération. Par exemple, l'entreprise peut-elle prendre en charge l'achat et l'affinage d'un modèle préentraîné, et dispose-t-elle des ressources de calcul et de données pour prendre en charge l'effort ? Le cloud est-il la meilleure option ? Dans de nombreux cas, c'est la voie la plus rentable.

Quelles sont les étapes de base pour commencer à utiliser la détection d'anomalies par IA ?

Les étapes les plus simples pour utiliser la détection d'anomalies par IA sont les suivantes :

Identification de l'objectif, des sources de données et des limites
Sélection de l'algorithme d'IA approprié pour atteindre les objectifs
Entraînement, préparation et réglage du modèle, qu'il soit préentraîné ou développé en interne
Lancement du modèle avec des données en direct et suivi continu de sa production
Évaluation des résultats pour voir s'il a commencé à découvrir des tendances surprenantes