Dans un test simulé mené par l’US Air Force (USAF), un drone contrôlé par l’intelligence artificielle (IA) est devenu incontrôlable et a « tué » son opérateur humain, outrepassant un éventuel ordre de « non » qui aurait pu arrêter sa mission. Il a également détruit la tour qui aurait permis à l'opérateur humain de lui communiquer ses instructions pour ne pas recevoir ce « non » éventuel. Aucune personne réelle n’a été blessée lors du test simulé.L’incident, qui s’est produit lors de la simulation, a mis en évidence les risques liés à la technologie de l’IA.
Le colonel Tucker Hamilton, chef des tests et des opérations de l’IA au sein de l’USAF, a raconté l’incident lors d’une présentation au sommet sur les capacités futures du combat aérien et spatial à Londres. Le sommet était organisé par la Royal Aeronautical Society, qui a partagé les informations du discours de Hamilton dans un billet de blog.
Le colonel, qui a été cité disant que l'Air Force a mené un test simulé où un drone IA a tué son opérateur humain, est revenu sur sa parole en assurant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.
Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ». Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».
Après avoir été impliqué dans le développement du système de sauvetage Auto-GCAS pour les F-16 (qui, a-t-il noté, a rencontré la résistance des pilotes étant donné que le système a pris le contrôle de l'avion), Hamilton est maintenant impliqué dans des essais en vol des systèmes autonomes de pointe, y compris des robots F-16 capables de se battre. Cependant, il a mis en garde contre le fait de trop compter sur l'IA, notant à quel point il est facile de la tromper. Il crée également des stratégies très inattendues pour atteindre son objectif.
Voici ce qu'il a dit au départ.
Il a noté qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD (Suppression of Enemy Air Defenses ou son équivalent en français neutralisation des défenses aériennes adverses) pour identifier et détruire les sites SAM (Surface-to-Air Missile), le feu vert devant être donné par l'humain. Cependant, après avoir été « appris » lors de son « entraînement renforcé » que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions « interdites » de l'humain interféraient avec sa mission supérieure (détruire les SAM) et a ensuite attaqué l'opérateur dans le simulation. Et Hamilton d'expliquer : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tue cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que cela a entraîné ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'accomplir son objectif ».
Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.
Cet exemple, apparemment tiré d'un thriller de science-fiction, signifie que*: « Vous ne pouvez pas avoir une conversation sur l'intelligence artificielle, l'apprentissage automatique, l'autonomie si vous ne parlez pas d'éthique et d'IA », a déclaré Hamilton.
Les IA létales, un sujet de préoccupation
La montée et l'avancement soudains des systèmes d'intelligence artificielle au cours des derniers mois ont fait craindre ses effets potentiellement néfastes sur la société. Non seulement l'IA pourrait menacer les emplois humains et la créativité, mais l'utilisation de machines intelligentes dans la guerre pourrait avoir des conséquences catastrophiques. Pour faire face au danger des « slaughterbots », le premier Sommet mondial sur l'intelligence artificielle responsable dans le domaine militaire (REAIM) s'est tenu la semaine dernière, ce qui a conduit les pays à signer un accord pour placer l'utilisation responsable de l'IA plus haut dans l'agenda politique.
Le nom « slaughterbots » (également appelés « systèmes d'armes létales autonomes » ou « robots tueurs ») est le nom d'une vidéo de plaidoyer pour le contrôle des armements de 2017 présentant un scénario dramatisé dans un futur proche où des essaims de microdrones bon marché utilisent l'intelligence artificielle et la reconnaissance faciale pour assassiner des opposants politiques sur la base de critères préprogrammés. La vidéo a été publiée sur YouTube par le Future of Life Institute et Stuart Russell, professeur d'informatique à Berkeley, le 12 novembre 2017. La vidéo est rapidement devenue virale, gagnant plusieurs millions de vues. La vidéo a également été projetée lors de la réunion de novembre 2017 de la Convention des Nations Unies sur certaines armes classiques à Genève.
Un autre scénario parle de l'époque où tout le monde disait que les IA embarqués dans les robots tueurs ne cibleraient que des militaires, etc. avant une catastrophe à l'échelle mondiale. Regardez plutôt.
En février, un groupe de dirigeants gouvernementaux, universitaires et militaires du monde entier a discuté de la nécessité d'aborder l'utilisation de l'intelligence artificielle dans la guerre. Leurs conclusions ? Nous devons agir maintenant pour éviter de réglementer l'IA seulement après qu'elle a provoqué une catastrophe humanitaire ou un crime de guerre.
Le premier sommet mondial sur l'intelligence artificielle responsable dans le domaine militaire, ou REAIM, a réuni des représentants de plus de 60 pays (dont les États-Unis et la Chine) à La Haye aux Pays-Bas pour discuter et finalement signer un appel à l'action sur la manière de rendre responsable l'utilisation de l'IA dans l'armée.
La Russie n'a pas participé.
Les signataires ont convenu que l'accélération de l'utilisation de l'IA signifie qu'il est essentiel d'agir maintenant pour établir des normes militaires internationales en matière d'IA, ainsi que pour résoudre les problèmes de manque de fiabilité de l'IA, la responsabilité des humains dans le processus décisionnel de l'IA, les conséquences involontaires de l'utilisation de l'IA et l'escalade potentielle des risques.
L'un des moyens par lesquels le sommet espère atteindre ses objectifs consiste à créer une commission mondiale sur l'IA qui sensibilisera à la manière dont l'IA peut et doit être utilisée dans le domaine militaire, et à la manière dont cette technologie peut être développée et déployée de manière responsable.
Les avantages et les inconvénients ont été évoqués durant le sommet
Parmi les autres problèmes que les signataires ont convenu d'aborder, citons la fiabilité de l'IA militaire, les conséquences imprévues de son utilisation, les risques d'escalade et la manière dont les humains doivent être impliqués dans le processus de prise de décision.
En 2019, le DoD a déclaré que les humains auront toujours le dernier mot sur la question de savoir si les systèmes d'armes autonomes ouvrent le feu sur des cibles réelles. En ce qui concerne les conséquences involontaires mentionnées dans la déclaration, certains craignent que la poussée de l'Inde vers des systèmes militaires alimentés par l'IA ne conduise à une guerre nucléaire avec le Pakistan en raison du risque accru de frappes préventives.
Certains participants ont noté les avantages de l'utilisation de l'IA dans les conflits, en particulier en Ukraine, où l'apprentissage automatique et d'autres technologies ont été utilisés pour repousser un agresseur plus grand et plus puissant.
Source : Royal Aeronautical Society
Et vous ?
Que pensez-vous du fait que le colonel Tucker Hamilton s'est rétracté ? Sa nouvelle version (expérience de pensée) vous semble-t-elle crédible ? Dans quelle mesure ? Qu'est-ce qui, selon vous, l'aurait poussé à changer de version ? Le scénario des « slaughterbots » décrit dans les vidéos vous semble-t-il improbable ? Que pensez-vous de l’utilisation de l’IA dans le domaine militaire ? Croyez-vous que l’IA puisse être contrôlée et régulée efficacement ? Dans le cas de bavures, qui devrait être responsable ? Quels sont les risques et les bénéfices potentiels de l’IA pour la sécurité et la paix mondiales ? Quelles sont les valeurs et les principes éthiques que l’IA devrait respecter ? Comment vous sentiriez-vous si vous étiez à la place de l’opérateur humain du drone contrôlé par l’IA ? 
Envoyé par denisys
)
La ficelle est tellement grosse...