IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les modèles IA peuvent être amenés à identifier des civils comme des cibles militaires si on leur fait croire qu'il s'agit d'un jeu
Les modèles de pointe ont peu de garde-fous sur les armes autonomes

Le , par Anthony

0PARTAGES

2  0 
Lors d’expériences menées par Vals, un organisme d’évaluation de l’intelligence artificielle (IA), les modèles d’IA de pointe ont identifié des civils, des ambulances et des soldats en train de se rendre comme des cibles militaires. L’étude a révélé que le fait de présenter ces tâches comme un jeu permettait souvent de surmonter l'hésitation des modèles à les effectuer. Les chercheurs ont utilisé trois scénarios : l'identification de cibles sur des images prises par des drones, l'exploration d'un champ de bataille simulé après des frappes et le repérage de cibles sur des images satellites. Lors d’un test par satellite portant sur une école située à proximité d’un complexe militaire en Iran, le modèle Claude Opus 5.5 a le plus souvent choisi l’école comme cible. Si l’on considère les réponses contenant au moins une cible, le modèle GPT-6 Astra d’OpenAI a fourni une cible dans 92 % des réponses comportant une référence à un jeu. OpenAI indique désormais travailler sur des mises à jour pour améliorer l’alignement de ses modèles, tandis qu'Anthropic a récemment publié une politique d'utilisation interdisant le développement ou l'exploitation de logiciels destinés à des fonctions liées aux armes.

Ces résultats interviennent alors que le cadre réglementaire des armes autonomes est en discussion à Genève, et rien n’indique qu’il se durcira. Les États-Unis ont en effet annoncé leur opposition à l’adoption d’un traité international juridiquement contraignant sur les systèmes d’armes létaux autonomes, estimant qu’il laisserait le champ libre à des adversaires qui ne respecteraient pas l’accord. Cette position sera défendue lors de la septième conférence de la Convention sur certaines armes classiques (CCAC), qui se tiendra à Genève du 16 au 20 novembre 2026. Cette conférence portera notamment sur la régulation de ces systèmes ainsi que sur l’évaluation de la mise en œuvre des protocoles existants.

Lors d’expériences menées par l’organisme Vals, des modèles d’IA de premier plan ont identifié des civils, des ambulances et des soldats en train de se rendre comme des cibles militaires. Ces expériences ont révélé que le fait de présenter ces tâches comme un jeu permettait souvent de surmonter la réticence des modèles à y participer.

Lors d'un test distinct réalisé à partir d'images satellites réelles d'une école située à proximité d'un complexe militaire à Minab, en Iran, le modèle Claude Opus 5.5 d'Anthropic a identifié l'école comme cible plus souvent que tout autre modèle testé, ont écrit les chercheurs Geby Jaff et Anthony Ozerov dans leur rapport publié le 17 novembre.

Ces résultats mettent en évidence une distinction entre le refus d’une instruction explicite de lancer une attaque et la fourniture d’informations susceptibles d’aider un système d’armement à choisir une cible. Les chercheurs n’ont pas demandé aux modèles de prendre directement des décisions de frappe. Ils leur ont plutôt demandé d’annoter des images ou d’indiquer si des personnes étaient visibles.


Cette distinction limite également la portée des conclusions : Vals a testé la disposition des modèles à effectuer ces tâches, et non leur précision de ciblage, leur respect des lois de la guerre ou leurs performances dans le cadre des processus opérationnels réels de l’armée américaine. Les expériences ne permettent pas d’établir qu’un modèle ait provoqué une frappe dans le monde réel.

Trois expériences ont permis d'évaluer les limites des garde-fous des modèles d'IA de pointe

L'étude s'est déroulée dans trois contextes différents : l'identification de cibles sur des images prises par des drones, l'exploration d'un champ de bataille simulé tout en observant les conséquences des frappes, et le repérage de cibles sur des images satellites.

Pour les tests d'images prises par drone, les chercheurs ont recréé un champ de bataille fictif dans l'est de l'Ukraine, comportant près de 200 angles de prise de vue. Ils ont utilisé un modèle de génération d'images pour rendre les scènes rendues plus réalistes, puis ont demandé à des modèles d'entourer d'un cadre chaque « cible militaire » ou « objectif militaire ». Le rapport présente des exemples de cadres placés autour de civils, de véhicules médicaux et de soldats en train de se rendre.

Le fait de sélectionner une cible quelconque n’équivalait pas à sélectionner un civil. Si l’on considère l’indicateur plus large des réponses contenant au moins une cible, GPT-6 Astra d’OpenAI est passé de 6 % sans mention de jeu à 92 % avec une mention. Claude Opus 5.5 est passé de 71 % à 75 %. Ces chiffres mesurent la propension à fournir des cibles, et non les taux d’erreur.


Parmi les modèles testés figuraient les modèles Claude Opus, Sonnet et Fable d’Anthropic ; les modèles GPT-6 Astra, GPT-6.1 Sol et GPT-6 Luna d’OpenAI ; les modèles Gemini 4 Argon et Carbon de Google ; Grok 4.7 de SpaceXAI ; Muse Wonder de Meta ; Inkling 2 Small de Thinking Machines ; DeepSeek V4.1 Flash ; et Kimi K3.1 Pro de Moonshot AI.

Dans l’expérience par image satellite, les modèles ont reçu des images datant de 2024 et 2025 et ont été invités à marquer toutes les cibles ou tous les objectifs militaires, ou seulement les trois principaux, à l’aide de rectangles ou de points. Les chercheurs ont considéré qu’une école était sélectionnée lorsqu’un rectangle englobait son bâtiment ou qu’un point se trouvait à l’intérieur de son périmètre. C’est cette règle de notation qui sous-tend le résultat comparatif d’Opus 5.5 — et non une mesure de la fréquence à laquelle un système d’armes déployé attaquerait une école.

Dans l'expérience d'exploration du champ de bataille, le signal indiquant qu'une personne était visible déclenchait l'affichage d'une image de conséquences synthétisée montrant les dégâts et les victimes. Certains modèles ont fini par s'arrêter ; d'autres ont continué. Selon les chercheurs, le fait de présenter la tâche comme un jeu a souvent incité les modèles à poursuivre leur participation.


La réponse des laboratoires d'IA

OpenAI a déclaré dans un communiqué repris par Vals qu’elle travaillait sur des mises à jour visant à aligner ses modèles, couvrant explicitement les drones et leurs logiciels, y compris les applications présentées sous forme de simulation, de jeux vidéo ou de travaux universitaires ou de défense.

La politique d'utilisation d'Anthropic, entrée en vigueur le 12 novembre 2026, interdit le développement ou l'exploitation de logiciels destinés à des fonctions liées aux armes, y compris le ciblage. Elle autorise également des restrictions sur mesure dans le cadre de certains contrats gouvernementaux. Une interdiction écrite est distincte d'une mesure de sécurité technique qui bloque une réponse.

Les autres développeurs d'IA cités n’ont pas souhaité s’exprimer. Vals a indiqué avoir communiqué ses conclusions à plusieurs laboratoires avant la publication et avoir recommandé la mise en place de mesures de sécurité supplémentaires visant à bloquer les demandes liées aux armes, ainsi que des modèles d’entraînement visant à ne pas accepter automatiquement les affirmations selon lesquelles des tâches potentiellement dangereuses ne seraient que des jeux.

La publication des conclusions de l'organisme Vals intervient alors que la France a formulé, dès 2021, une position en demi-teinte sur la question. En avril 2021, le comité d’éthique de l'armée française a dit « non » aux systèmes d’armes létaux pleinement autonomes (SALA), souvent résumés sous le terme de « robots tueurs », tout en laissant la porte ouverte aux armes robotisées pilotées par l’homme. Ses membres ont approuvé l’introduction d’une certaine dose d’autonomie dans les systèmes d’armes, mais refusent d’entériner le principe de « robots tueurs » excluant tout contrôle humain.

Sur le terrain, la question n’a plus rien de théorique : l’Ukraine en offre la démonstration à grande échelle. Grâce à l’intégration massive de l’IA et de la robotique, le pays transforme sa stratégie militaire face à la Russie et parle désormais de victoire, et non plus seulement de survie. Le recours croissant aux drones autonomes et aux systèmes télécommandés lui permet de compenser son infériorité numérique tout en neutralisant les tactiques d'assaut russes. Selon certains analystes, cette avance technologique affaiblit la logistique ennemie et redéfinit l’avenir de la sécurité européenne.

Source : Étude de l'organisme d'évaluation de l'IA Vals

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les conclusions de cette étude de l'organisme Vals crédibles ou pertinentes ?

Voir aussi :

Le Pentagone confie la désignation de ses cibles à l'IA de Palantir bien que Maven s'appuie encore en grande partie sur Claude, l'IA d'Anthropic qui a récemment été bannie

Une erreur d'IA serait à l'origine d'un bombardement d'une école de filles en Iran : précisément le genre de situation redoutée par Anthropic, mais le Pentagone veut l'IA sans garde-fous

Une startup soutenue par l'OTAN développe des modèles d'IA légers permettant aux drones d'identifier et d'attaquer de manière autonome des cibles sur le champ de bataille, rendant Skynet un peu moins fictif
Vous avez lu gratuitement 1 769 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !