Nous misons tant sur les informations recueillies par des satellites et des instruments météorologiques pour nous aider à programmons nos vies quotidiennes, imaginez ce qui se passerait si les données que nous avons reçu de ces technologies a mal tourné et a prédit des résultats cataclysmiques dans les jours ou semaines à venir? Panique pourrait induire des scènes dans nos rues rappellent les films catastrophe hollywoodiens. Pour éviter de tels événements - ou tout simplement aider à faire les choses, même si la prévision est plus terre à terre - les scientifiques du Centre national pour la recherche atmosphérique (NCAR) et l'Université du Colorado à Boulder (CU) ont mis au point une technique de calcul innovante appelée détection des valeurs aberrantes Intelligent algorithme, ou IODA, qui se fonde sur les statistiques, l'imagerie, et d'autres disciplines afin de détecter les erreurs dans les systèmes technologiques sensibles.

Agissant comme un type de contrôle de qualité des données recueillies, IODA peut alerter les opérateurs de lectures erronées ou d'autres problèmes associés à des capteurs défaillants. Si les capteurs dysfonctionnement et commencer à transmettre des données incorrectes, les ordinateurs programmés avec l'algorithme pourraient identifier le problème et isoler que les mauvaises données bien avant que les choses dérapent.

Les développeurs espèrent étendre l'utilisation des principes de l'algorithme pour voitures et autres systèmes de transport, des centrales électriques, des satellites et de l'exploration spatiale, et les données des radars et autres instruments d'observation.

"Cela pourrait, au moins en théorie, permettre aux opérateurs de garder un système performant même si elle est défaillante," dit Andrew Weekley, un ingénieur logiciel au NCAR qui a dirigé l'effort de développement de l'algorithme. «Quand un système commence à échouer, il est absolument essentiel d'être capable de le contrôler le plus longtemps possible. Cela peut faire la différence entre les catastrophes ou non."

Comment ça marche

IODA effectue un contrôle de qualité sur les données recueillies au fil du temps, comme la vitesse du vent au cours d'un mois. L'algorithme se fonde sur les statistiques, la théorie des graphes, traitement de l'image, et les arbres de décision, et peut être appliquée dans les cas où l'évaluation correcte des données est critique, les données entrantes sont trop nombreux pour un humain d'examiner facilement, ou les conséquences d'un capteur échec serait significative.

À l'heure actuelle l'algorithme se compose de plusieurs milliers de lignes d'un langage informatique connu sous le nom technique MATLAB mais il pourrait être traduit dans un langage de programmation d'ordinateur tel que C, de sorte qu'il peut être utilisé à des fins commerciales.

Assurer la qualité des données de séries chronologiques entrant est primordiale pour chaque organisation impliquée dans des opérations complexes. Si les capteurs commencent à relayer l'information inexacte, il peut être très difficile de séparer les données correctes de mal, surtout dans les cas impliquant d'énormes quantités d'informations.

IODA est différent de nombreux systèmes d'analyse commun, car elle compare les données entrantes vers des modèles communs d'échec - une approche qui peut être largement appliquée parce qu'elle est indépendante d'un capteur ou mesure spécifique.

Weekley et les collègues ont pris une nouvelle approche du problème quand ils ont commencé à développer IODA il ya dix ans. Alors que les méthodes existantes traitent les données en fonction du temps, Weekley a conçu un algorithme qui traite les données comme une image.

Cette approche imite la façon dont une personne pourrait ressembler à un terrain de points de données pour repérer une incohérence. Par exemple, si vous étiez à étudier une ligne tracée entre les points sur un graphique qui représentaient températures matinales passant de 50-70 ° F, puis repéré un endroit où cette ligne lisse a été brisée, plongeant fortement en raison de nombreux points de données à 10 ° F, vous serait immédiatement soupçonner qu'il y avait une mauvaise lecture du capteur.

Mais imaginez étudier les cas où il y avait des milliers, voire des millions de points de données sur la température ou d'autres variables? Comment serait-il difficile de repérer les mauvais?

Weekley pense qu'un ordinateur peut être programmé pour reconnaître des modèles communs de défaillance au moyen de techniques de traitement d'image. Puis, comme une personne qui cherche à les données, l'ordinateur pourrait identifier les problèmes avec les points de données tels que les sauts et les modes de vue dans le intermitency- données et de déterminer non seulement si une donnée particulière est mauvais, mais caractérisent aussi comment elle est inexacte.

"Notre idée était d'organiser une séquence de données comme une image et appliquer des techniques de traitement d'image pour identifier un échec sans ambiguïté", a dit Weekley. "Nous avons pensé que, en utilisant le traitement d'image, nous pourrions enseigner le système de détecter les incohérences, un peu comme le ferait une personne."

«[Ce] est une rupture radicale avec les techniques habituelles de la littérature de la série de temps», dit Kent Goodrich, un professeur de l'UC des mathématiques et un co-auteur de la recherche. "Le traitement de l'image et d'autres techniques ne sont pas nouvelles, mais l'utilisation de ces images et techniques ainsi que dans une application de séries chronologiques est nouvelle, et IODA est capable de caractériser bons et mauvais points très bien dans certaines situations fréquemment rencontrées. "

En-tests sur le terrain

Lorsque l'équipe de recherche a testé IODA, ils ont appliqué l'algorithme de liquider des lectures de anémomètres en Alaska qui contenaient des erreurs défectueux en raison d'un écrou mobile, qui a laissé les anémomètres incapable de mesurer systématiquement rafales dans des situations à haut vent.

«Cette technique a de très larges implications», dit Weekley. "Pratiquement tous les systèmes de contrôle reposent sur des données de séries chronologiques à un certain niveau, et la capacité à identifier les données suspectes avec l'échec possible est très utile dans la création de systèmes qui sont plus robustes. Nous pensons qu'il est une méthode puissante qui pourrait être appliqué à presque toutes les séquences de mesures qui varient au fil du temps ".

IODA a été financée par la National Science Foundation.