IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Quand l'IA se rebelle : un drone contrôlé par l'IA « tue » son opérateur humain lors d'une simulation
Il avait au préalable détruit la tour pour empêcher que l'opérateur ne lui donne des ordres

Le , par Stéphane le calme

15PARTAGES

6  0 
Dans un test simulé mené par l’US Air Force (USAF), un drone contrôlé par l’intelligence artificielle (IA) est devenu incontrôlable et a « tué » son opérateur humain, outrepassant un éventuel ordre de « non » qui aurait pu arrêter sa mission. Il a également détruit la tour qui aurait permis à l'opérateur humain de lui communiquer ses instructions pour ne pas recevoir ce « non » éventuel. Aucune personne réelle n’a été blessée lors du test simulé.

L’incident, qui s’est produit lors de la simulation, a mis en évidence les risques liés à la technologie de l’IA.


Le colonel Tucker Hamilton, chef des tests et des opérations de l’IA au sein de l’USAF, a raconté l’incident lors d’une présentation au sommet sur les capacités futures du combat aérien et spatial à Londres. Le sommet était organisé par la Royal Aeronautical Society, qui a partagé les informations du discours de Hamilton dans un billet de blog.

Le colonel, qui a été cité disant que l'Air Force a mené un test simulé où un drone IA a tué son opérateur humain, est revenu sur sa parole en assurant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.

Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ». Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».

Après avoir été impliqué dans le développement du système de sauvetage Auto-GCAS pour les F-16 (qui, a-t-il noté, a rencontré la résistance des pilotes étant donné que le système a pris le contrôle de l'avion), Hamilton est maintenant impliqué dans des essais en vol des systèmes autonomes de pointe, y compris des robots F-16 capables de se battre. Cependant, il a mis en garde contre le fait de trop compter sur l'IA, notant à quel point il est facile de la tromper. Il crée également des stratégies très inattendues pour atteindre son objectif.

Voici ce qu'il a dit au départ.

Il a noté qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD (Suppression of Enemy Air Defenses ou son équivalent en français neutralisation des défenses aériennes adverses) pour identifier et détruire les sites SAM (Surface-to-Air Missile), le feu vert devant être donné par l'humain. Cependant, après avoir été « appris » lors de son « entraînement renforcé » que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions « interdites » de l'humain interféraient avec sa mission supérieure (détruire les SAM) et a ensuite attaqué l'opérateur dans le simulation. Et Hamilton d'expliquer : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tue cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que cela a entraîné ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'accomplir son objectif ».

Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.

Cet exemple, apparemment tiré d'un thriller de science-fiction, signifie que*: « Vous ne pouvez pas avoir une conversation sur l'intelligence artificielle, l'apprentissage automatique, l'autonomie si vous ne parlez pas d'éthique et d'IA », a déclaré Hamilton.


Les IA létales, un sujet de préoccupation

La montée et l'avancement soudains des systèmes d'intelligence artificielle au cours des derniers mois ont fait craindre ses effets potentiellement néfastes sur la société. Non seulement l'IA pourrait menacer les emplois humains et la créativité, mais l'utilisation de machines intelligentes dans la guerre pourrait avoir des conséquences catastrophiques. Pour faire face au danger des « slaughterbots », le premier Sommet mondial sur l'intelligence artificielle responsable dans le domaine militaire (REAIM) s'est tenu la semaine dernière, ce qui a conduit les pays à signer un accord pour placer l'utilisation responsable de l'IA plus haut dans l'agenda politique.

Le nom « slaughterbots » (également appelés « systèmes d'armes létales autonomes » ou « robots tueurs ») est le nom d'une vidéo de plaidoyer pour le contrôle des armements de 2017 présentant un scénario dramatisé dans un futur proche où des essaims de microdrones bon marché utilisent l'intelligence artificielle et la reconnaissance faciale pour assassiner des opposants politiques sur la base de critères préprogrammés. La vidéo a été publiée sur YouTube par le Future of Life Institute et Stuart Russell, professeur d'informatique à Berkeley, le 12 novembre 2017. La vidéo est rapidement devenue virale, gagnant plusieurs millions de vues. La vidéo a également été projetée lors de la réunion de novembre 2017 de la Convention des Nations Unies sur certaines armes classiques à Genève.


Un autre scénario parle de l'époque où tout le monde disait que les IA embarqués dans les robots tueurs ne cibleraient que des militaires, etc. avant une catastrophe à l'échelle mondiale. Regardez plutôt.


En février, un groupe de dirigeants gouvernementaux, universitaires et militaires du monde entier a discuté de la nécessité d'aborder l'utilisation de l'intelligence artificielle dans la guerre. Leurs conclusions ? Nous devons agir maintenant pour éviter de réglementer l'IA seulement après qu'elle a provoqué une catastrophe humanitaire ou un crime de guerre.

Le premier sommet mondial sur l'intelligence artificielle responsable dans le domaine militaire, ou REAIM, a réuni des représentants de plus de 60 pays (dont les États-Unis et la Chine) à La Haye aux Pays-Bas pour discuter et finalement signer un appel à l'action sur la manière de rendre responsable l'utilisation de l'IA dans l'armée.

La Russie n'a pas participé.

Les signataires ont convenu que l'accélération de l'utilisation de l'IA signifie qu'il est essentiel d'agir maintenant pour établir des normes militaires internationales en matière d'IA, ainsi que pour résoudre les problèmes de manque de fiabilité de l'IA, la responsabilité des humains dans le processus décisionnel de l'IA, les conséquences involontaires de l'utilisation de l'IA et l'escalade potentielle des risques.

L'un des moyens par lesquels le sommet espère atteindre ses objectifs consiste à créer une commission mondiale sur l'IA qui sensibilisera à la manière dont l'IA peut et doit être utilisée dans le domaine militaire, et à la manière dont cette technologie peut être développée et déployée de manière responsable.

Les avantages et les inconvénients ont été évoqués durant le sommet

Parmi les autres problèmes que les signataires ont convenu d'aborder, citons la fiabilité de l'IA militaire, les conséquences imprévues de son utilisation, les risques d'escalade et la manière dont les humains doivent être impliqués dans le processus de prise de décision.

En 2019, le DoD a déclaré que les humains auront toujours le dernier mot sur la question de savoir si les systèmes d'armes autonomes ouvrent le feu sur des cibles réelles. En ce qui concerne les conséquences involontaires mentionnées dans la déclaration, certains craignent que la poussée de l'Inde vers des systèmes militaires alimentés par l'IA ne conduise à une guerre nucléaire avec le Pakistan en raison du risque accru de frappes préventives.

Certains participants ont noté les avantages de l'utilisation de l'IA dans les conflits, en particulier en Ukraine, où l'apprentissage automatique et d'autres technologies ont été utilisés pour repousser un agresseur plus grand et plus puissant.

Source : Royal Aeronautical Society

Et vous ?

Que pensez-vous du fait que le colonel Tucker Hamilton s'est rétracté ? Sa nouvelle version (expérience de pensée) vous semble-t-elle crédible ? Dans quelle mesure ?
Qu'est-ce qui, selon vous, l'aurait poussé à changer de version ?
Le scénario des « slaughterbots » décrit dans les vidéos vous semble-t-il improbable ?
Que pensez-vous de l’utilisation de l’IA dans le domaine militaire ?
Croyez-vous que l’IA puisse être contrôlée et régulée efficacement ?
Dans le cas de bavures, qui devrait être responsable ?
Quels sont les risques et les bénéfices potentiels de l’IA pour la sécurité et la paix mondiales ?
Quelles sont les valeurs et les principes éthiques que l’IA devrait respecter ?
Comment vous sentiriez-vous si vous étiez à la place de l’opérateur humain du drone contrôlé par l’IA ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de totozor
Membre expert https://www.developpez.com
Le 20/07/2023 à 8:03
Citation Envoyé par denisys Voir le message
De la Terre à la Lune.
Jules Verne, paru en 1865.
--
https://fr.wikipedia.org/wiki/De_la_...%C3%A0_la_Lune
Citation Envoyé par Tweet de Jules vernes le 21 juillet 1969
(1/4) Je vous l'avais bien dit.
Citation Envoyé par Tweet de Jules vernes le 21 juillet 1969
(2/4) Mais vous ne m'avez pas écouté
Citation Envoyé par Tweet de Jules vernes le 21 juillet 1969
(3/4) Lisez Voyage au centre de la Terre
Citation Envoyé par Tweet de Jules vernes le 21 juillet 1969
(4/4) Prem's @ElonMusk
Va-t-on aborder chaque oeuvre de SF comme un documentaire parce que 10 se sont effectivement passé?
Je ne suis pas sur.

Par contre c'est en effet interressant de les lire/voir parce qu'elles nous encouragent à réfléchir sur ces situations avant qu'elle puisse arriver pour les éviter ou réduire les rendre moins dramatiques.
Et si on veut aller dans le sens de Cameron alors je trouve que Robocop mène une reflexion bien plus poussée que Terminator, qui n'annonce que la fin du monde par la technologie.
En plus toute la série Terminator ne dit qu'une chose : quoi qu'on fasse on est foutu (donc pourquoi lutter contre, résignons nous )
5  0 
Avatar de Minato Sensei
Futur Membre du Club https://www.developpez.com
Le 03/06/2023 à 9:07
Citation Envoyé par nasserk Voir le message
A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...
En suivant ce raisonnement, on peut se dire que les Tesla dont l'IA, selon vous, « obéit aveuglement », sont formées pour éviter la police, percuter les voitures de police, etc. ?

Ou encore que le chatbot IA de Microsoft était programmé pour être raciste et fan d'Hitler ? Que ChatGPT a été programmé pour faire des menaces aux étudiants ?

Je pense qu'il arrive que le logiciel fasse quelque chose d'inattendu, sans pour autant que cela soit associé à de la « volonté propre ».

Il revient alors aux développeurs de réajuster les paramètres pour prendre en considération un scénario de ce type. Il n'y a pas de magie dedans, c'est simplement de la science informatique.
4  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 03/06/2023 à 12:42
Citation Envoyé par nasserk Voir le message
A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...
Tous les chercheurs spécialistes de l'IA le savent, et quand je parle de "spécialistes", je ne parle ni des "branleurs" qui se disent "expert" et qui sont "expert de rien", ni des "vendeurs" de tout poils prêts à faire du profit en vendant à leur mère une grenade dégoupillée en disant qu'il s'agit d'un ananas:

Une IA peut avoir un comportement "inattendu", hors de toute logique, que les spécialistes en IA n'ont jamais pu expliquer ou même corriger.

On explique ce comportement par l'exemple de l'orange et de l'hélicoptère: On apprend à une IA à reconnaître sur des photos qui lui sont présentées les oranges. On reprend ensuite les photos des oranges et on y change juste quelques pixels: Pour l'oeil humain, il s'agit toujours de photos d'orange, mais l'IA va tout d'un coup reconnaître sur une photo un hélicoptère!!!

Ce problème de comportement est présent sur la totalité des IA actuelles: Une IA fournit des informations qui ne sont pas fiables! 90%, 95% seront peut-être justes, mais il y aura des immenses erreurs dans les résultats fournis et ces erreurs apparaitront de manière non prévisibles, rendant les résultats inutilisables sans une vérification humaine.

Ce forum en a d'ailleurs donné un exemple avec cet avocat américain qui a demandé à une IA de préparer sa plaidoirie: L'IA a tout simplement inventé de toute pièces 6 affaires faisant jurisprudence qui n'ont jamais existé dans la réalité. Pas de bol pour l'avocat, si lui n'a pas vérifié, le juge a détecté les *inventions" de l'IA.
5  1 
Avatar de R136a1
Nouveau membre du Club https://www.developpez.com
Le 18/02/2024 à 11:36
De plus, la manipulation délibérée des systèmes par des acteurs malveillants à des fins diverses constitue une menace potentielle.
Selon moi, c'est ça le plus grand risque de l'IA. Et c'est déjà une réalité.
4  0 
Avatar de bouye
Rédacteur/Modérateur https://www.developpez.com
Le 05/06/2023 à 23:37
Intéressant, passons sur le cote "j'ai tout inventé et me suis mal exprimé" ou "on m'a ordonné de me rétracter" selon comment on voit les choses ; ce n'est ni plus ni moins que le scenario de 2001 l’Odyssée de l'Espace avec HAL 9000 qui se retourne contre les astronautes a bord du Discovery car ces derniers interfèrent avec sa mission.
4  1 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 18/09/2023 à 14:31
Citation Envoyé par Mathis Lucas Voir le message
Cependant, le projet de loi est fortement critiqué par les experts et la communauté, car il prévoit des exemptions pour l'armée et la police, ce qui selon les analystes le vide de tout son sens. Le projet de loi bénéficie toutefois du soutien d'entreprises locales de robotiques comme Boston Dynamics.
Ok, c'est bien d'interdire aux gens de monter des armes sur des robots.

Mais le danger c'est que l'armée utilise des robots tueurs.
Si dans le futur une tentative de révolution a lieu aux USA, les révolutionnaires se feront exterminer par des robots tueurs.

Aux Etats-Unis il y a une histoire de second amendement, les étasuniens sont censés avoir le droit de se défendre.
Et là ça va être compliqué de se défendre quand le gouvernement US donnera l'ordre de massacrer le peuple.
3  0 
Avatar de smarties
Expert confirmé https://www.developpez.com
Le 19/07/2023 à 16:05
Les armées se mettent à utiliser l'IA mais heureusement on est encore loin de ce qui est prédit par Terminator... c'est inquiétant quand même
2  0 
Avatar de Christian_B
Membre éclairé https://www.developpez.com
Le 07/08/2023 à 12:57
Citation Envoyé par totozor Voir le message
Ma plus grande crainte avec l'IA tueuse n'est pas qu'elle se mette à faire ce qu'on ne veut pas d'elle mais qu'elle soit trop efficace à faire ce qu'on attend d'elle.
En effet, ce débat largement basé sur des illusions sur ce qu'est réellement une I.A.
Cela a surtout pour effet de faire diversion sur le fait que les I.A. militaires prolongent par de nouveaux moyens, inspirés par des nationalismes agressifs et archaïques, de tuer à tort et à travers des gens considérés comme "pas importants".

Les opérateurs humains faisaient déjà cela, par exemple en Afghanistan, en tuant (chez eux) des paysans armés d'un fusil, juste au cas où ils seraient des talibans et non peut-être, par exemple, des gens qui se défendent ou qui chassent.

Bien des prétendues "démocraties" se comportent chez les "autres" comme des dictateurs sanglants.
C'est toute l'histoire de la colonisation, dans un autre contexte mais avec des moyens de plus en plus nombreux et dangereux.
2  0 
Avatar de Prox_13
Membre éprouvé https://www.developpez.com
Le 20/09/2023 à 10:46
Classique "Rules for thee, not for me" typiquement américain.
2  0 
Avatar de totozor
Membre expert https://www.developpez.com
Le 05/06/2023 à 7:59
Citation Envoyé par Stéphane le calme Voir le message
Le colonel, qui a été cité disant que l'Air Force a mené un test simulé où un drone IA a tué son opérateur humain, est revenu sur sa parole en assurant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.
Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ».
Comment un général qui n'y connait visiblement rien en IA peut estimé qu'une expérience de pensée est suffisament crésible pour qu'il la présente comme vraie?
Pense-t-il son employeur suffisament incompétent pour ne par demander que ce scénario soit exclu?
Pense-t-il les "incormaticiens" suffisament incmpétents pour ne pas demander si ce scénario doit être exclu?
Pense-t-il les testeurs suffisament incompétents pour ne pas tester ce scénario avant d'accepter son utilisation?
Ou alors il y connait rien, ils ont sous traité ce dev à une armée d'étudiants qui ont fait de leur mieux.
Citation Envoyé par Stéphane le calme Voir le message
Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « [...] c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».
USAF et éthique dans la même phrase?
Ca ne peut être qu'un mensonge illustre
Citation Envoyé par Stéphane le calme Voir le message
Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.
Ces gens passent leurs vies à se faire passer pour des gens stricts, carrés, disciplinés, clairs mais quand ils s'addressent à une IA ils deviennent l'image qu'ils ont d'un ado, sérieux?
Les consignes ne deviennent plus claires, "fait pas ci, c'est mal", "le fait vraiment pas tu vas PERDRE des POINTS"... Donc pour lui tuer quelqu'un (de bien) c'est n'est pas interdit, c'est puni?
Mais alors les résultats de ce crime n'apporte-t-il pas plus de points que le tuer n'en fait perdre?
La nuance chez l'USAF m'inpressionne c'est le début des militaires déconstruits et inclusifs

Cet exemple, apparemment tiré d'un thriller de science-fiction, signifie que*: « Vous ne pouvez pas avoir une conversation sur l'intelligence artificielle, l'apprentissage automatique, l'autonomie si vous ne parlez pas d'éthique et d'IA », a déclaré Hamilton.

Ma plus grande crainte avec l'IA tueuse n'est pas qu'elle se mette à faire ce qu'on ne veut pas d'elle mais qu'elle soit trop efficace à faire ce qu'on attend d'elle.
1  0