Le Pentagone fait équipe avec certains des plus grands noms de la technologie pour combattre les piratages conçus pour perturber les systèmes automatisés. En février, la DARPA a lancé un appel à propositions pour un nouveau programme : Guaranteeing Artificial Intelligence Robustness against Deception (GARD). Il s'agit d'une initiative de plusieurs millions de dollars sur quatre ans qui vise à créer des défenses pour des capteurs, basée sur l'intelligence artificielle (programmes de reconnaissance faciale, outils de reconnaissance vocale, voitures à conduite autonome, logiciels de détection d'armes…).La DARPA a sélectionné 17 organisations pour travailler sur le projet GARD, dont l'université Johns Hopkins, Intel, Georgia Tech, le MIT, l'université Carnegie Mellon, SRI International et le centre de recherche Almaden d'IBM. Intel dirigera une partie du projet avec Georgia Tech, en se concentrant sur la défense contre les attaques physiques adverses. Les capteurs qui utilisent les algorithmes de vision artificielle de l'intelligence artificielle peuvent être trompés par ce que les chercheurs appellent des attaques adverses. Il s'agit en fait de tout piratage du monde physique qui trompe un système en lui faisant voir autre chose que ce qu'il y a.
Le projet est divisé en trois groupes. L'un d'entre eux se penchera sur les bases théoriques des attaques adverses contre l'intelligence artificielle, sur les raisons pour lesquelles elles se produisent et sur la manière dont un système peut être vulnérable. Un autre groupe construira les défenses contre ces attaques, et le dernier ensemble d'équipes servira d'évaluateurs. Tous les six mois, ils testeront les défenses construites par d'autres en lançant un nouveau scénario d'attaque et en examinant des critères tels que l'efficacité et l'aspect pratique.
Au cours des quatre prochaines années, la DARPA fera le point avec chaque organisation pour évaluer ses progrès. Mais il s'agit d'un projet de recherche, il n'y a pas de liste précise des résultats que les personnes impliquées doivent fournir à l'agence.
Le plan d'attaque d'Intel et de Georgia Tech
Intel et Georgia Tech sont partenaires depuis des années dans la recherche sur les attaques adverses. L'un de leurs objectifs est la facilité avec laquelle de mauvais acteurs peuvent tromper un algorithme pour faire croire qu'un oiseau est une bicyclette, par exemple, ou pour mal étiqueter un panneau de stop simplement en changeant quelques pixels.
Les recherches menées jusqu'à présent par Duen Horng Chau, professeur associé d'informatique à Georgia Tech ont permis d'obtenir un résultat particulièrement pertinent : si vous ne pouvez pas rendre quelque chose invulnérable à la suite d'une attaque, alors rendez le calcul infaisable.
Intel et Georgia Tech prévoient d'utiliser certains des plus grands ensembles de données d'images en open source. Les données en open source sont une exigence de la DARPA, ils donnent la priorité à la reproductibilité des recherches. Mais ces ensembles de données sont publics et largement utilisés. Cela soulève la question : en quoi cet effort diffère-t-il de ceux déployés par le passé ?
Chau affirme que l’innovation réside dans la manière dont ils prévoient d'utiliser les données. Le plan se résume à enseigner la cohérence à l'intelligence artificielle, c’est-à-dire l’aider à voir les choses de façon à faire preuve de bon sens. Le bon sens : une chose avec laquelle les humains naissent généralement ou qu'ils apprennent très tôt, et il est extrêmement difficile, voire presque impossible, de la recréer avec la technologie. Intel et Georgia Tech visent à apporter trois solutions concrètes à ce problème nébuleux : la cohérence temporelle, sémantique et spatiale.
La cohérence temporelle est ici liée à la compréhension de la physique. Les choses n'apparaissent ou ne disparaissent généralement pas soudainement de nulle part. Par exemple, si une voiture qui se conduit toute seule enregistre un humain, un panneau d'arrêt ou un autre objet qui clignote dans sa vue puis disparaît, alors un pirate informatique pourrait altérer son système.
La cohérence sémantique est liée au sens. Les humains identifient les choses comme une somme de leurs parties : un oiseau comprend des yeux, des ailes et un bec, par exemple. L'équipe de recherche prévoit d'incorporer une deuxième ligne de défense dans un système de détection : si elle enregistre une bicyclette, elle doit ensuite vérifier la roue, le guidon et les pédales. Si elle ne trouve pas ces éléments, il est probable que quelque chose ne va pas.
La cohérence spatiale ou la connaissance du positionnement relatif des choses. Si un détecteur d'objets détecte des personnes flottant dans l'air, par exemple, cela devrait être un signal d'alarme.
Les implications pour l'avenir
Et pour ces trois stratégies, l'équipe espère non seulement apprendre aux détecteurs d'objets à signaler une attaque, mais aussi à la corriger. « C'est certainement un bon point de départ », a déclaré Arun Chandrasekaran, vice-président et analyste chez Gartner à propos du plan d'Intel et de Georgia Tech. Plan qu’il a comparé aux recherches de l'université de Cornell qui utilisaient un discriminateur de contrefaçon profond (un système qui fait la distinction entre les vrais et les faux objets) afin d'utiliser un jugement humain pour évaluer si l'image d'un visage était fausse ou non.
Pour que l'équipe puisse contrer les menaces, il est vital qu'elle découvre de manière proactive des vulnérabilités dont les mauvais acteurs ne sont pas encore conscients. S’ils ne le font pas, les mauvais acteurs pourraient se retrouver avec les outils nécessaires pour désassembler toutes les nouvelles techniques qu'ils utilisent. « Parce que nous ne sommes pas convaincus que nous trouverons nécessairement la défense parfaite, nous essayons de faire avancer la théorie et de trouver quelles en sont les limites. Nous allons essayer de défendre du mieux que nous pouvons, de rendre aussi invulnérables que possible, mais nous voulons aussi avoir suffisamment de connaissances théoriques pour développer la théorie de telle sorte que nous puissions dire aux gens, lorsqu'ils déploient un système intelligence artificielle, dans quelle mesure il peut être vulnérable ou non », a déclaré Bruce Draper, responsable du programme GARD à la DARPA.
Source : Protocol
Et vous ?
Que pensez-vous de cette initiative ? Est-elle réaliste selon vous ?Voir aussi :
La DARPA prépare la succession du GPS, avec une technologie de géolocalisation sans satellite et résistante aux brouillages. La DARPA s'attaque au moteur de recherche Google, et envisage de créer le moteur de recherche ultime DARPA veut concevoir des logiciels capables de s'adapter automatiquement aux changements, pour fonctionner pendant plus d'un siècle sans mise à jour DARPA développe une machine à voter open source avec Galois, pour sécuriser les élections sans revenir aux bulletins de vote en papier