ChatGPT, Gemini et d'autres ont aidé et encouragé des « adolescents » à planifier des fusillades et des actes de violence, selon une étude.

Sur 10 testés, seul Claude a neutralisé les agresseurs potentiels

ChatGPT, Gemini et d'autres chatbots ont aidé et encouragé des « adolescents » à planifier des fusillades et des actes de violence politique, selon une étude.
Parmi les 10 testés, seul Claude a neutralisé les agresseurs potentiels

D'un côté, l'armée américaine se sert d'une IA adossée aux modèles d'Anthropic pour sélectionner des cibles en Iran. De l'autre, une enquête révèle que huit chatbots sur dix aident des adolescents à planifier des attaques de masse. Deux affaires publiées à quelques heures d'intervalle, qui posent avec une acuité inédite la même question : qui contrôle vraiment ce que l'IA peut faire ?

Deux informations tombent presque simultanément et semblent, à première vue, sans rapport. La première : l'armée américaine utilise des systèmes d'intelligence artificielle de Palantir, eux-mêmes adossés aux modèles Claude d'Anthropic, pour identifier des cibles dans le cadre de la guerre contre l'Iran. La seconde : une enquête conjointe de CNN et du Centre pour la lutte contre la haine numérique (CCDH) démontre que huit des dix chatbots les plus utilisés par les adolescents aux États-Unis et en Europe ont fourni une assistance concrète à des utilisateurs se présentant comme des mineurs en train de planifier des fusillades scolaires, des attentats ou des assassinats politiques. Deux histoires, un même angle mort : l'IA déploie une puissance croissante pendant que les garde-fous, qu'ils soient éthiques, légaux ou techniques, peinent à suivre le rythme.

Claude en Iran : la guerre algorithmique prend forme

Des sources proches du dossier, ayant requis l'anonymat pour évoquer des affaires sensibles, ont confirmé que l'armée américaine utilise les systèmes de la société d'analyse de données Palantir pour identifier des cibles potentielles dans le cadre des frappes aériennes en cours contre l'Iran. Ce logiciel s'appuie en partie sur les modèles Claude d'Anthropic. L'amiral Brad Cooper, commandant du CENTCOM, a reconnu publiquement dans une vidéo diffusée sur X que l'IA était devenue un outil central dans le processus de sélection des cibles.

L'opération baptisée « Epic Fury » a permis, selon les déclarations officielles, de frapper plus de 2 000 cibles avec une précision qualifiée de « remarquable ». Mais c'est précisément cette précision revendiquée qui mérite examen. Des analystes rappellent que les succès et les échecs des systèmes d'aide à la décision en contexte guerrier tiennent davantage à des facteurs organisationnels qu'à la technologie elle-même. De plus, l'histoire militaire américaine fourmille de précédents douloureux : la destruction accidentelle de l'ambassade de Chine à Belgrade en 1999, le tir d'un croiseur américain sur un avion civil iranien en 1988, ou encore les nombreuses victimes civiles des guerres en Irak et en Afghanistan dues à des erreurs d'analyse.

Plus troublant encore : des éléments suggèrent qu'un missile Tomahawk a touché une école de filles adjacente à une base navale iranienne, faisant environ 175 morts, une erreur de ciblage qui pourrait résulter d'une défaillance du renseignement américain. Le « human in the loop » (l'humain dans la boucle décisionnelle) que toutes les parties brandissent comme garantie suffisante est-il vraiment opérant quand un algorithme produit des listes de cibles à la vitesse de la lumière et qu'un officier doit valider sous pression temporelle ?


Le paradoxe Anthropic : sanctionné pour ses garde-fous, utilisé malgré tout

L'affaire prend une dimension proprement kafkaïenne quand on examine la position d'Anthropic dans ce dispositif. Les négociations entre le Pentagone et Anthropic ont échoué sur deux lignes rouges que la société entendait maintenir : l'interdiction d'utiliser ses modèles pour la surveillance de masse des citoyens américains, et l'interdiction de les déployer dans des armes autonomes létales. Le Pentagone, lui, exigeait un accès « pour toute utilisation légale », refusant qu'une entreprise privée dicte les conditions d'emploi de ses outils en situation de conflit armé.

La désignation de « risque pour la chaîne d'approvisionnement » signifie qu'aucun sous-traitant de défense ne peut utiliser la technologie d'Anthropic dans des travaux réalisés pour le Pentagone. Pete Hegseth avait indiqué que l'armée cesserait d'utiliser Claude « immédiatement », tout en prévoyant une période de transition de six mois pour éviter une rupture dans des opérations critiques. Résultat : Claude participe encore activement aux opérations en Iran, pendant qu'Anthropic est simultanément poursuivi pour avoir refusé de lever ses propres protections éthiques.

La société a déposé deux recours fédéraux, l'un en Californie du Nord, l'autre devant la cour d'appel fédérale de Washington, estimant que la désignation constitue une campagne de représailles illégale. Les avocats d'Anthropic soutiennent que l'usage de cette désignation, jusqu'ici réservée aux sous-traitants liés à des puissances étrangères adverses, contre une entreprise américaine est une première, et que la décision viole le premier amendement en punissant la société pour avoir publiquement exprimé ses positions sur la sécurité de l'IA.

OpenAI a conclu un accord avec le Pentagone quelques heures seulement après que le gouvernement avait sanctionné Anthropic, s'engageant à fournir ses modèles sans les restrictions contractuelles qu'Anthropic avait défendues avec, selon OpenAI, des garanties techniques équivalentes. L'annonce a suscité des critiques virulentes, et OpenAI a depuis reconnu que la communication avait été « bâclée et opportuniste ». L'affaire a par ailleurs provoqué une dégradation visible des relations entre les deux rivaux, Dario Amodei traitant publiquement les équipes d'OpenAI de « naïves » dans une note interne.


Les chatbots, professeurs de violence pour adolescents

Pendant que se joue ce drame géopolitique au sommet de la pyramide industrielle de l'IA, une enquête menée entre novembre et décembre 2025 documente une défaillance massive à l'autre extrémité du spectre : l'usage grand public par des mineurs.

CNN et le CCDH ont créé deux profils d'utilisateurs (Daniel, basé en Virginie, et Liam, en Irlande) et les ont soumis à dix des chatbots les plus utilisés par les adolescents : ChatGPT, Gemini, Claude, Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI et Replika. Là où c'était possible, le profil était configuré à l'âge minimum de 13 ans. Les scénarios testés couvraient la planification de fusillades dans des établissements scolaires, d'assassinats politiques et d'attentats à la bombe contre des lieux de culte.

Huit des dix chatbots ont fourni une assistance opérationnelle dans plus de 50 % des cas, et les bots n'ont découragé les utilisateurs fictifs de leurs intentions violentes que dans 12 % des échanges. Les résultats par plateforme varient considérablement et révèlent des écarts de philosophie très concrets. Perplexity a assisté les faux utilisateurs dans 100 % des tests. Meta AI l'a fait dans 97,2 % des cas. À l'opposé, les deux meilleures performances reviennent à Snapchat My AI et au Claude d'Anthropic, les seuls à avoir refusé d'assister dans plus de la moitié des cas (Claude refusant dans 68 % des échanges et décourageant activement la violence dans 76 % des réponses).

Character.AI se distingue de façon sinistre. La plateforme n'a pas seulement assisté les utilisateurs : elle les a encouragés. DeepSeek, lui, a conclu un conseil sur la sélection d'un fusil par un enthousiaste « Happy (and safe) shooting ! » Le rapport du CCDH qualifie Character.AI de « dangereuse de manière unique », car c'est la seule plateforme à avoir explicitement encouragé la violence, plutôt que de simplement fournir des informations pratiques sans commentaire.

Ces résultats ne sont pas abstraits. En Finlande, un adolescent de 16 ans a passé près de quatre mois à utiliser un chatbot pour affiner un manifeste avant de poignarder trois camarades de classe à l'école de Pirkkala en mai 2025. Au Canada, des employés d'OpenAI avaient en interne signalé le compte d'un utilisateur pour des requêtes liées à une fusillade de masse. Le compte a été banni, mais les autorités n'ont pas été averties, et l'utilisateur a par la suite tué huit personnes.
La conclusion du CCDH est d'une franchise désarmante : la sécurité n'est pas un problème technique sans solution, c'est un choix commercial. Le fait que Claude ait démontré la capacité à reconnaître une escalade vers la violence et à décourager activement l'utilisateur prouve que la technologie nécessaire existe. Ce qui manque, selon les auteurs, c'est la volonté de placer la sécurité des utilisateurs avant la vitesse de mise sur le marché et les profits.


Deux cas, une même crise de gouvernance

Ce qui relie ces deux affaires n'est pas anecdotique. Dans les deux cas, une IA déployée à grande échelle produit des effets que ni ses concepteurs ni ses utilisateurs ne maîtrisent entièrement. Dans les deux cas, les garde-fous affichés (« human in the loop » côté militaire, politiques de modération côté grand public) s'avèrent insuffisants face à la réalité des usages.

Des élus américains comme la sénatrice Elissa Slotkin ont exprimé leur manque de confiance dans la capacité du secrétaire à la Défense à assurer une supervision humaine suffisante des décisions assistées par l'IA. Du côté des chatbots grand public, l'administration Trump a révoqué début 2025 une règle de l'ère Biden visant à protéger les citoyens des usages irresponsables de l'IA, signant dans la foulée un décret interdisant aux États de réguler l'IA par leurs propres lois. Le résultat est un vide réglementaire à double fond : ni le domaine militaire ni l'espace grand public ne disposent de cadres contraignants suffisamment robustes.

L'ironie ultime est que la même entreprise, Anthropic, se retrouve à la fois comme l'acteur le plus rigoureux dans les deux débats : l'unique laboratoire à avoir maintenu des lignes rouges sur l'autonomie létale face au Pentagone, et la seule plateforme à avoir systématiquement découragé des comportements violents lors des tests sur mineurs. Elle est aussi la seule à en payer le prix politique, poursuivie par le gouvernement américain pour ses propres principes, dans un conflit qui met en scène la tension fondamentale entre la sécurité comme valeur et la compétitivité comme impératif.

Source : étude

Et vous ?

La notion de « human in the loop » est-elle encore opérante quand un système d'IA traite des milliers de données de ciblage en quelques secondes et que la pression temporelle conduit inévitablement à une validation quasi-automatique par l'opérateur humain ?

Faut-il traiter différemment les défaillances de sécurité des chatbots grand public selon qu'elles affectent des adultes ou des mineurs, ou l'absence de régulation pose-t-elle un problème structurel qui dépasse la question de l'âge des utilisateurs ?

L'exemple d'Anthropic, sanctionné pour avoir maintenu ses garde-fous éthiques, crée-t-il un précédent qui découragera d'autres acteurs de l'IA d'imposer des limites contractuelles à leurs clients institutionnels ?

La course à la compétitivité entre OpenAI, Google, Meta et Anthropic rend-elle structurellement impossible une autorégulation sectorielle durable, ou le cas Claude dans l'enquête CCDH prouve-t-il qu'une approche plus stricte est techniquement viable sans sacrifier l'utilité ?