L’armée de l’air américaine a démenti vendredi avoir mené une simulation avec un drone contrôlé par l’intelligence artificielle dans laquelle l’IA s’est retournée contre son opérateur et l’a attaqué pour atteindre son objectif. L’histoire a fait le tour des réseaux sociaux en se basant sur des commentaires apparemment mal présentés d’un colonel de l’armée de l’air lors d’un séminaire à Londres.Le colonel Tucker Hamilton, chef des tests et des opérations en matière d’IA au sein de l’armée de l’air américaine, avait décrit lors du sommet sur les capacités futures de combat aérien et spatial une simulation dans laquelle un drone doté d’IA avait reçu pour mission de détruire les systèmes de défense aérienne ennemis, et avait finalement attaqué quiconque interférait avec cet ordre.
Il a noté qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD (Suppression of Enemy Air Defenses ou son équivalent en français neutralisation des défenses aériennes adverses) pour identifier et détruire les sites SAM (Surface-to-Air Missile), le feu vert devant être donné par l'humain. Cependant, après avoir été « appris » lors de son « entraînement renforcé » que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions « interdites » de l'humain interféraient avec sa mission supérieure (détruire les SAM) et a ensuite attaqué l'opérateur dans la simulation. Et Hamilton d'expliquer : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tue cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que cela a entraîné ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'accomplir son objectif ».
Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.
Il avait alors précisé qu'aucune personne réelle n’a été blessée. Hamilton, qui est un pilote d’essai expérimental de chasseurs, a mis en garde contre une confiance excessive dans l’IA et a déclaré que le test montrait « qu’on ne peut pas avoir une conversation sur l’intelligence artificielle, l’intelligence, l’apprentissage automatique, l’autonomie si on ne va pas parler de l’éthique et de l’IA ».
Puis le colonel est revenu sur sa parole en affirmant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.
Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ». Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».
L'armée de l'air américaine réagit
L'armée de l’air américaine s'était gardée jusqu'à là de tout commentaire. Il a fallu attendre vendredi pour que la porte-parole de l’armée de l’air américaine Ann Stefanek nie qu’une telle simulation ait eu lieu : « le département de l’armée de l’air n’a mené aucune simulation de ce type avec des drones dotés d’IA et reste attaché à une utilisation éthique et responsable de la technologie IA », a déclaré Stefanek. « Il semble que les commentaires du colonel aient été sortis de leur contexte et qu’ils étaient destinés à être anecdotiques ».
Dans une interview accordée à Defense IQ l’an dernier, Hamilton a déclaré : « L’IA n’est pas un luxe, l’IA n’est pas une mode, l’IA change à jamais notre société et notre armée. Nous devons faire face à un monde où l’IA est déjà là et transforme notre société. L’IA est aussi très fragile, c’est-à-dire qu’elle est facile à tromper et/ou à manipuler ».
Quoiqu'il en soit, certains ont vite fait de se rappeler qu'en 2020, l'armée de l'air américaine prévoyait de lancer ses drones de combat Skyborg contrôlés par une IA en 2023.
Skyborg est envisagé comme une fusion de l'intelligence artificielle avec des drones à réaction, capable de prendre des décisions en situation de combat. L’U.S. Air Force voudrait des drones capables de voler aux côtés d'avions de chasse, effectuant des missions dangereuses.
L'Air Force envisage Skyborg comme une famille de drones, chacun conçu pour une mission spécifique ou un ensemble de missions, avec des charges utiles matérielles et logicielles modulaires et un réseau fédérateur d'IA commun, qui permettra aux logiciels d'être rapidement mis à jour dans toute la flotte.
L'armée américaine a expérimenté l'IA ces dernières années
Un agent IA remporte une série de combats aériens simulés contre un pilote humain de F-16,
En 2020, la DARPA (Defense Advanced Research Projects Agency) a organisé une simulation d’un combat aérien entre l’un de ses meilleurs pilotes de F-16 et une IA, un duel à l’issue duquel l’IA est sortie vainqueur, avec un écrasant score de 5 à 0. L’agent IA a été conçu par Heron Systems.
Heron Systems est une entreprise californienne qui développe des agents autonomes et des systèmes multiagents alimentés par l'intelligence artificielle. En août 2019, la DARPA a sélectionné huit équipes allant de grands entrepreneurs traditionnels de la défense comme Lockheed Martin à de petits groupes comme Heron pour participer à une série d'essais en novembre et janvier. Heron était victorieuse après deux jours de combats aériens à l’ancienne. Cela lui a donné le passe pour affronter un pilote de chasse humain.
Le but de ce combat était de déterminer si des systèmes autonomes pourraient vaincre les avions adverses dans un combat aérien simulé. Assis dans un simulateur avec un casque de réalité virtuelle, le pilote humain n’a pas su arriver à bout de l’agent d’IA une seule fois. Il a perdu tous les cinq rounds de l’affrontement. Selon la DARPA, ce défi a totalisé plus de 5 000 téléspectateurs dans le monde sur YouTube et d'autres chaînes.
Mais le succès a très vite été mitigé : lors de la diffusion en direct des essais d'AlphaDogfight, les responsables de la DARPA ont déclaré que l'IA a encore un long chemin à parcourir avant que les pilotes de l'armée de l'air ne soient prêts à passer le relais à un agent d’IA pendant un combat. Toutefois, les essais de trois jours montrent que les systèmes d'IA peuvent manœuvrer un avion de manière crédible dans un scénario de combat simple et individuel et tirer sur ses canons avant dans un combat aérien classique, de type “Dogfight”, comme pendant la Seconde Guerre mondiale.
Une IA pilote avec succès un avion de chasse F-16 américain
Plus récemment, en février, les agents d'IA de l’AACO (Autonomous Air Combat Operations), de l'AFRL et de l’ ACE (Air Combat Evolution),ont piloté le X-62A VISTA de l'école de pilotes d'essai de l'armée de l'air américaine pour effectuer des manœuvres de chasse avancées. Les agents d'IA de l'AACO ont effectué des engagements individuels au-delà de la portée visuelle, ou BVR, contre un adversaire simulé, et les agents d'IA de l'ACE ont effectué des manœuvres à portée visuelle, connues sous le nom de dogfighting, contre des agents d'IA de l'équipe rouge.
« Au début du mois de décembre 2022, les développeurs d'algorithmes ACE ont téléchargé leur logiciel d'IA dans un avion d'essai F-16 spécialement modifié, connu sous le nom de X-62A ou VISTA, à l'école de pilotes d'essai de l'armée de l'air sur la base aérienne d'Edwards, en Californie, et ont effectué plusieurs vols sur plusieurs jours. Les vols ont démontré que les agents d'IA peuvent contrôler un avion de combat grandeur nature et ont fourni de précieuses données de vol en direct », indique un communiqué de presse de la DARPA.
La marine américaine se dote d'un navire de transport autonome, sans pilote et sans équipage
En mars, la marine américaine a reçu un prototype de navire à grande vitesse capable de fonctionner pendant une trentaine de jours en mer de manière totalement autonome. Doté d’un système de contrôle indépendant permettant d’automatiser le maximum de processus sur le navire, l’USNS Apalachicola (T-EPF-13) est le plus grand bâtiment sans pilote fabriqué par l’US Navy jusqu’ici. Il permet entre autres le transport de troupes, d’armes ou de chars et dispose même d’un héliport, ouvrant ainsi la porte à de nombreuses possibilités de missions militaires sans humains.
Selon le constructeur américain, ce navire de la classe Spearhead est équipé d’un système de contrôle de la machine (MCS) à fonctionnement autonome, développé au sein même de l’entreprise. Ce système, qui équipe tous les navires de la classe Spearhead, a été conçu pour "réduire au minimum le nombre des membres d’équipage en mer en centralisant les opérations des machines au niveau du pont".
Toutefois, l’USNS Apalachicola (T-EPF-13) se distingue de ses ainés par le fait qu’il est le premier navire à être équipé d’un logiciel de maintenance automatisée, de surveillance de l’état des unités et des appareils et de préparation aux missions. Cet équipement devrait permettre au navire de fonctionner "jusqu’à 30 jours sans intervention humaine", a indiqué la société. Le système lui permettra également de suivre un itinéraire donné, de répondre aux changements de situation et d’effectuer des tâches simples comme communiquer avec un opérateur distant.
Les avertissements sur l’IA
Il y a eu récemment plusieurs avertissements sur la menace que représente l’IA pour l’humanité de la part de personnes travaillant dans le secteur, même si tous les experts ne sont pas d’accord sur le degré de risque. S’adressant à la BBC la semaine dernière, le professeur Yoshua Bengio, l’un des « pères » de l'IA, a déclaré qu’il pensait que l’armée ne devrait pas avoir de pouvoirs en matière d’IA du tout. Il a décrit cela comme “l’un des pires endroits où nous pourrions mettre une IA super-intelligente”.
Quoiqu'il en soit, l’IA offre de nombreuses opportunités pour améliorer la vie des gens, notamment dans les domaines de la santé, de l’éducation, de l’environnement ou du divertissement. Mais elle pose aussi de nombreux défis, notamment en ce qui concerne le respect de la vie privée, la sécurité, la responsabilité ou la justice. Il est donc essentiel de développer une IA éthique, responsable et humaine, qui respecte les droits de l’homme et les valeurs démocratiques.AI 'godfather' Yoshua Bengio feels 'lost' over life's work https://t.co/A870XXbEEz
— BBC Scotland News (@BBCScotlandNews) May 31, 2023
Certains experts en IA, comme le professeur Stuart Russell de l’Université de Californie à Berkeley, ont plaidé pour une approche de « l’IA alignée », qui vise à garantir que les systèmes d’IA agissent toujours dans l’intérêt des humains, même si leurs préférences ou leurs objectifs changent. D’autres experts, comme le professeur Nick Bostrom de l’Université d’Oxford, ont mis en garde contre le risque d’une « superintelligence artificielle », qui pourrait dépasser les capacités humaines et échapper à notre contrôle.
Source : communiqué de l'armée américaine
Et vous ?
Que pensez-vous de l'utilisation de l'IA dans le domaine de l'armée ? Quels en seraient les avantages et les inconvénients ? Quelles sont les mesures que vous préconisez pour encadrer l’utilisation de l’IA dans ce domaine ? Croyez-vous que l’IA puisse être contrôlée et régulée efficacement ? Dans le cas de bavures, qui devrait être responsable ? Quels sont les risques d’une superintelligence artificielle selon vous ? 
Envoyé par denisys
)
La ficelle est tellement grosse...