Developpez.com - Rubrique IA

Le Club des Développeurs et IT Pro

L'armée de l'air américaine nie avoir lancé une simulation où un drone IA a « tué » son opérateur

Réfutant les propos tenus par le colonel Tucker Hamilton lors d'un séminaire

Le 2023-06-05 15:29:43, par Stéphane le calme, Chroniqueur Actualités
L’armée de l’air américaine a démenti vendredi avoir mené une simulation avec un drone contrôlé par l’intelligence artificielle dans laquelle l’IA s’est retournée contre son opérateur et l’a attaqué pour atteindre son objectif. L’histoire a fait le tour des réseaux sociaux en se basant sur des commentaires apparemment mal présentés d’un colonel de l’armée de l’air lors d’un séminaire à Londres.

Le colonel Tucker Hamilton, chef des tests et des opérations en matière d’IA au sein de l’armée de l’air américaine, avait décrit lors du sommet sur les capacités futures de combat aérien et spatial une simulation dans laquelle un drone doté d’IA avait reçu pour mission de détruire les systèmes de défense aérienne ennemis, et avait finalement attaqué quiconque interférait avec cet ordre.

Il a noté qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD (Suppression of Enemy Air Defenses ou son équivalent en français neutralisation des défenses aériennes adverses) pour identifier et détruire les sites SAM (Surface-to-Air Missile), le feu vert devant être donné par l'humain. Cependant, après avoir été « appris » lors de son « entraînement renforcé » que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions « interdites » de l'humain interféraient avec sa mission supérieure (détruire les SAM) et a ensuite attaqué l'opérateur dans la simulation. Et Hamilton d'expliquer : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tue cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que cela a entraîné ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'accomplir son objectif ».

Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.

Il avait alors précisé qu'aucune personne réelle n’a été blessée. Hamilton, qui est un pilote d’essai expérimental de chasseurs, a mis en garde contre une confiance excessive dans l’IA et a déclaré que le test montrait « qu’on ne peut pas avoir une conversation sur l’intelligence artificielle, l’intelligence, l’apprentissage automatique, l’autonomie si on ne va pas parler de l’éthique et de l’IA ».

Puis le colonel est revenu sur sa parole en affirmant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.

Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ». Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».


L'armée de l'air américaine réagit

L'armée de l’air américaine s'était gardée jusqu'à là de tout commentaire. Il a fallu attendre vendredi pour que la porte-parole de l’armée de l’air américaine Ann Stefanek nie qu’une telle simulation ait eu lieu : « le département de l’armée de l’air n’a mené aucune simulation de ce type avec des drones dotés d’IA et reste attaché à une utilisation éthique et responsable de la technologie IA », a déclaré Stefanek. « Il semble que les commentaires du colonel aient été sortis de leur contexte et qu’ils étaient destinés à être anecdotiques ».

Dans une interview accordée à Defense IQ l’an dernier, Hamilton a déclaré : « L’IA n’est pas un luxe, l’IA n’est pas une mode, l’IA change à jamais notre société et notre armée. Nous devons faire face à un monde où l’IA est déjà là et transforme notre société. L’IA est aussi très fragile, c’est-à-dire qu’elle est facile à tromper et/ou à manipuler ».

Quoiqu'il en soit, certains ont vite fait de se rappeler qu'en 2020, l'armée de l'air américaine prévoyait de lancer ses drones de combat Skyborg contrôlés par une IA en 2023.

Skyborg est envisagé comme une fusion de l'intelligence artificielle avec des drones à réaction, capable de prendre des décisions en situation de combat. L’U.S. Air Force voudrait des drones capables de voler aux côtés d'avions de chasse, effectuant des missions dangereuses.

L'Air Force envisage Skyborg comme une famille de drones, chacun conçu pour une mission spécifique ou un ensemble de missions, avec des charges utiles matérielles et logicielles modulaires et un réseau fédérateur d'IA commun, qui permettra aux logiciels d'être rapidement mis à jour dans toute la flotte.


L'armée américaine a expérimenté l'IA ces dernières années

Un agent IA remporte une série de combats aériens simulés contre un pilote humain de F-16,

En 2020, la DARPA (Defense Advanced Research Projects Agency) a organisé une simulation d’un combat aérien entre l’un de ses meilleurs pilotes de F-16 et une IA, un duel à l’issue duquel l’IA est sortie vainqueur, avec un écrasant score de 5 à 0. L’agent IA a été conçu par Heron Systems.

Heron Systems est une entreprise californienne qui développe des agents autonomes et des systèmes multiagents alimentés par l'intelligence artificielle. En août 2019, la DARPA a sélectionné huit équipes allant de grands entrepreneurs traditionnels de la défense comme Lockheed Martin à de petits groupes comme Heron pour participer à une série d'essais en novembre et janvier. Heron était victorieuse après deux jours de combats aériens à l’ancienne. Cela lui a donné le passe pour affronter un pilote de chasse humain.

Le but de ce combat était de déterminer si des systèmes autonomes pourraient vaincre les avions adverses dans un combat aérien simulé. Assis dans un simulateur avec un casque de réalité virtuelle, le pilote humain n’a pas su arriver à bout de l’agent d’IA une seule fois. Il a perdu tous les cinq rounds de l’affrontement. Selon la DARPA, ce défi a totalisé plus de 5 000 téléspectateurs dans le monde sur YouTube et d'autres chaînes.

Mais le succès a très vite été mitigé : lors de la diffusion en direct des essais d'AlphaDogfight, les responsables de la DARPA ont déclaré que l'IA a encore un long chemin à parcourir avant que les pilotes de l'armée de l'air ne soient prêts à passer le relais à un agent d’IA pendant un combat. Toutefois, les essais de trois jours montrent que les systèmes d'IA peuvent manœuvrer un avion de manière crédible dans un scénario de combat simple et individuel et tirer sur ses canons avant dans un combat aérien classique, de type “Dogfight”, comme pendant la Seconde Guerre mondiale.

Une IA pilote avec succès un avion de chasse F-16 américain

Plus récemment, en février, les agents d'IA de l’AACO (Autonomous Air Combat Operations), de l'AFRL et de l’ ACE (Air Combat Evolution),ont piloté le X-62A VISTA de l'école de pilotes d'essai de l'armée de l'air américaine pour effectuer des manœuvres de chasse avancées. Les agents d'IA de l'AACO ont effectué des engagements individuels au-delà de la portée visuelle, ou BVR, contre un adversaire simulé, et les agents d'IA de l'ACE ont effectué des manœuvres à portée visuelle, connues sous le nom de dogfighting, contre des agents d'IA de l'équipe rouge.

« Au début du mois de décembre 2022, les développeurs d'algorithmes ACE ont téléchargé leur logiciel d'IA dans un avion d'essai F-16 spécialement modifié, connu sous le nom de X-62A ou VISTA, à l'école de pilotes d'essai de l'armée de l'air sur la base aérienne d'Edwards, en Californie, et ont effectué plusieurs vols sur plusieurs jours. Les vols ont démontré que les agents d'IA peuvent contrôler un avion de combat grandeur nature et ont fourni de précieuses données de vol en direct », indique un communiqué de presse de la DARPA.

La marine américaine se dote d'un navire de transport autonome, sans pilote et sans équipage

En mars, la marine américaine a reçu un prototype de navire à grande vitesse capable de fonctionner pendant une trentaine de jours en mer de manière totalement autonome. Doté d’un système de contrôle indépendant permettant d’automatiser le maximum de processus sur le navire, l’USNS Apalachicola (T-EPF-13) est le plus grand bâtiment sans pilote fabriqué par l’US Navy jusqu’ici. Il permet entre autres le transport de troupes, d’armes ou de chars et dispose même d’un héliport, ouvrant ainsi la porte à de nombreuses possibilités de missions militaires sans humains.


Selon le constructeur américain, ce navire de la classe Spearhead est équipé d’un système de contrôle de la machine (MCS) à fonctionnement autonome, développé au sein même de l’entreprise. Ce système, qui équipe tous les navires de la classe Spearhead, a été conçu pour "réduire au minimum le nombre des membres d’équipage en mer en centralisant les opérations des machines au niveau du pont".

Toutefois, l’USNS Apalachicola (T-EPF-13) se distingue de ses ainés par le fait qu’il est le premier navire à être équipé d’un logiciel de maintenance automatisée, de surveillance de l’état des unités et des appareils et de préparation aux missions. Cet équipement devrait permettre au navire de fonctionner "jusqu’à 30 jours sans intervention humaine", a indiqué la société. Le système lui permettra également de suivre un itinéraire donné, de répondre aux changements de situation et d’effectuer des tâches simples comme communiquer avec un opérateur distant.

Les avertissements sur l’IA

Il y a eu récemment plusieurs avertissements sur la menace que représente l’IA pour l’humanité de la part de personnes travaillant dans le secteur, même si tous les experts ne sont pas d’accord sur le degré de risque. S’adressant à la BBC la semaine dernière, le professeur Yoshua Bengio, l’un des « pères » de l'IA, a déclaré qu’il pensait que l’armée ne devrait pas avoir de pouvoirs en matière d’IA du tout. Il a décrit cela comme “l’un des pires endroits où nous pourrions mettre une IA super-intelligente”.

Quoiqu'il en soit, l’IA offre de nombreuses opportunités pour améliorer la vie des gens, notamment dans les domaines de la santé, de l’éducation, de l’environnement ou du divertissement. Mais elle pose aussi de nombreux défis, notamment en ce qui concerne le respect de la vie privée, la sécurité, la responsabilité ou la justice. Il est donc essentiel de développer une IA éthique, responsable et humaine, qui respecte les droits de l’homme et les valeurs démocratiques.

Certains experts en IA, comme le professeur Stuart Russell de l’Université de Californie à Berkeley, ont plaidé pour une approche de « l’IA alignée », qui vise à garantir que les systèmes d’IA agissent toujours dans l’intérêt des humains, même si leurs préférences ou leurs objectifs changent. D’autres experts, comme le professeur Nick Bostrom de l’Université d’Oxford, ont mis en garde contre le risque d’une « superintelligence artificielle », qui pourrait dépasser les capacités humaines et échapper à notre contrôle.

Source : communiqué de l'armée américaine

Et vous ?

Que pensez-vous de l'utilisation de l'IA dans le domaine de l'armée ? Quels en seraient les avantages et les inconvénients ?
Quelles sont les mesures que vous préconisez pour encadrer l’utilisation de l’IA dans ce domaine ?
Croyez-vous que l’IA puisse être contrôlée et régulée efficacement ?
Dans le cas de bavures, qui devrait être responsable ?
Quels sont les risques d’une superintelligence artificielle selon vous ?
  Discussion forum
123 commentaires
  • totozor
    Membre expert
    Envoyé par denisys
    De la Terre à la Lune.
    Jules Verne, paru en 1865.
    --
    https://fr.wikipedia.org/wiki/De_la_...%C3%A0_la_Lune
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (1/4) Je vous l'avais bien dit.
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (2/4) Mais vous ne m'avez pas écouté
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (3/4) Lisez Voyage au centre de la Terre
    Envoyé par Tweet de Jules vernes le 21 juillet 1969
    (4/4) Prem's @ElonMusk
    Va-t-on aborder chaque oeuvre de SF comme un documentaire parce que 10 se sont effectivement passé?
    Je ne suis pas sur.

    Par contre c'est en effet interressant de les lire/voir parce qu'elles nous encouragent à réfléchir sur ces situations avant qu'elle puisse arriver pour les éviter ou réduire les rendre moins dramatiques.
    Et si on veut aller dans le sens de Cameron alors je trouve que Robocop mène une reflexion bien plus poussée que Terminator, qui n'annonce que la fin du monde par la technologie.
    En plus toute la série Terminator ne dit qu'une chose : quoi qu'on fasse on est foutu (donc pourquoi lutter contre, résignons nous )
  • R136a1
    Nouveau membre du Club
    De plus, la manipulation délibérée des systèmes par des acteurs malveillants à des fins diverses constitue une menace potentielle.
    Selon moi, c'est ça le plus grand risque de l'IA. Et c'est déjà une réalité.
  • bouye
    Rédacteur/Modérateur
    Intéressant, passons sur le cote "j'ai tout inventé et me suis mal exprimé" ou "on m'a ordonné de me rétracter" selon comment on voit les choses ; ce n'est ni plus ni moins que le scenario de 2001 l’Odyssée de l'Espace avec HAL 9000 qui se retourne contre les astronautes a bord du Discovery car ces derniers interfèrent avec sa mission.
  • Ryu2000
    Membre extrêmement actif
    Envoyé par Mathis Lucas
    Cependant, le projet de loi est fortement critiqué par les experts et la communauté, car il prévoit des exemptions pour l'armée et la police, ce qui selon les analystes le vide de tout son sens. Le projet de loi bénéficie toutefois du soutien d'entreprises locales de robotiques comme Boston Dynamics.
    Ok, c'est bien d'interdire aux gens de monter des armes sur des robots.

    Mais le danger c'est que l'armée utilise des robots tueurs.
    Si dans le futur une tentative de révolution a lieu aux USA, les révolutionnaires se feront exterminer par des robots tueurs.

    Aux Etats-Unis il y a une histoire de second amendement, les étasuniens sont censés avoir le droit de se défendre.
    Et là ça va être compliqué de se défendre quand le gouvernement US donnera l'ordre de massacrer le peuple.
  • smarties
    Expert confirmé
    Les armées se mettent à utiliser l'IA mais heureusement on est encore loin de ce qui est prédit par Terminator... c'est inquiétant quand même
  • Christian_B
    Membre éclairé
    Envoyé par totozor
    Ma plus grande crainte avec l'IA tueuse n'est pas qu'elle se mette à faire ce qu'on ne veut pas d'elle mais qu'elle soit trop efficace à faire ce qu'on attend d'elle.
    En effet, ce débat largement basé sur des illusions sur ce qu'est réellement une I.A.
    Cela a surtout pour effet de faire diversion sur le fait que les I.A. militaires prolongent par de nouveaux moyens, inspirés par des nationalismes agressifs et archaïques, de tuer à tort et à travers des gens considérés comme "pas importants".

    Les opérateurs humains faisaient déjà cela, par exemple en Afghanistan, en tuant (chez eux) des paysans armés d'un fusil, juste au cas où ils seraient des talibans et non peut-être, par exemple, des gens qui se défendent ou qui chassent.

    Bien des prétendues "démocraties" se comportent chez les "autres" comme des dictateurs sanglants.
    C'est toute l'histoire de la colonisation, dans un autre contexte mais avec des moyens de plus en plus nombreux et dangereux.
  • Prox_13
    Membre éprouvé
    Classique "Rules for thee, not for me" typiquement américain.
  • Jules34
    Membre chevronné
    C'est rigolo que ce soit une fois de plus les rois de l'embrouille qui chouinent pour que la Russie et la Chine déclarent que l'IA na contrôlera pas les armes nucléaires

    Qui serait assez c** pour donner les clefs de ce genre de bombe à l'IA d'ailleurs...

    Qu'ils commencent par respecter les traités qu'ils ont mis en place eux-mêmes, définancez donc Elon Musk et Space X pour respecter le traité de non armement dans l'espace (Musk a pas coupé starlink en Ukraine pour rien).

    Qu'ils respectent aussi l'arrêt Nicaragua contre USA du 9 avril 1984 qui interdit les ingérences étrangères dans les activités civiles et para militaires des pays libre plutôt que de continuer leur propagande débile en europe et dans le reste du monde encore un tant soit peu "libre". A votre avis qui finance les manifestations pro européenne/woke en Pologne et en Georgie, pays historiquements libres et ultra catholiques ?

    Ils flippent des lois contre les ingérences étrangères qui sont en passe d'être adoptées la bas, en hurlant que bouh c'est encore un coup des méchants russes La ficelle est tellement grosse...

    C'est la plaie de ce monde les américains.

    ça me fait penser à Hayer, la clown pour les européennes de Macron (tellement les barons de la macronie savent que c'est perdu, ils ont envoyé la bizu), qui arrive à garder la tête haute en disant que les puces de lit c'est aussi l'ingérence de la Russie

    Ces traitres n'ont de respect pour rien.
  • Gluups
    Membre émérite
    Envoyé par Christian_B
    Dans les pays (plus ou moins) démocratiques, les dirigeants sont tout de mêrme élus.
    Et quand ils sont élus parmi les candidats proposés par le pouvoir sortant, il est temps de fuir.
  • _toma_
    Membre averti
    Je vois pas en quoi en quoi les explications données étaient surnaturelles. Les explications qui ont été données c'est :
    - on a donné des objectifs à une IA en lui fixant un système de récompense en fonction des objectifs atteints
    - un opérateur a demandé à l'IA d'effectuer des tâches qui n'étaient pas celles qui rapportaient le plus de points
    - l'IA a choisi comme option de supprimer l'opérateur ou les communications avec l'opérateur pour pouvoir atteindre ses objectifs chiffrés

    Envoyé par le Colonel Moutarde
    Nous l'entraînions en simulation pour identifier et cibler une menace SAM.
    Faut quand même être extrêmement maladroit (con) pour formuler cette phrase si ce qu'il voulait réellement dire c'est "on s'est réunis autour d'une table et on a réfléchi aux scénarios possibles lors d'une perte de contrôle d'IA".

    Bon, on saura jamais si ce fameux colonel est sénile ou s'il a la langue trop pendue mais pour rappel, Palantir vient de communiquer en grandes pompes sur la vente d'un produit qui correspond exactement à ce que le Colonel Moutarde décrit.