Anthropic affirme avoir bloqué des tentatives d'utilisation de l'IA pour développer des armes biologiques

Des cas en Iran et cinq cas de recherches biologiques à double usage avec Claude

Anthropic a déclaré avoir contrecarré cette année plusieurs tentatives de chercheurs visant à utiliser ses modèles d'IA pour des recherches biologiques susceptibles de contribuer au développement d'armes biologiques, ce qui a conduit l'entreprise à suspendre des comptes et à renforcer ses mesures de sécurité. L'entreprise a présenté cinq études de cas concernant des chercheurs qui avaient utilisé son chatbot Claude pour mener des recherches biologiques de pointe pouvant avoir des applications à double usage. Anthropic a souligné qu'elle ne prétendait pas que les chercheurs avaient l'intention de causer du tort, notant que la recherche biologique peut servir à mettre au point des vaccins et des traitements, mais qu'elle peut également faire l'objet d'abus.

Anthropic, PBC, est une société américaine d’intérêt public spécialisée dans l’intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Son produit phare est Claude, une série de grands modèles de langage (LLM) propriétaires. Anthropic a été fondée en 2021 dans le but de promouvoir la sécurité de l’IA par d’anciens membres d’OpenAI, notamment les frère et sœur Daniela Amodei et Dario Amodei, qui en sont respectivement la présidente et le PDG. La société est privée, mais envisagerait une introduction en bourse en 2026. Évaluée à 965 milliards de dollars américains lors d'un tour de table de série H en mai 2026, Anthropic est l'une des entreprises spécialisées exclusivement dans l'IA les plus valorisées au monde, rivalisant avec OpenAI.

Anthropic a déclaré récemment avoir contrecarré cette année plusieurs tentatives de chercheurs visant à utiliser ses modèles d'IA pour des recherches biologiques susceptibles de contribuer au développement d'armes biologiques, ce qui a conduit l'entreprise à suspendre des comptes et à renforcer ses mesures de sécurité. Dans un rapport de 154 pages intitulé « Détecter et lutter contre l’utilisation abusive de l’IA », l’entreprise spécialisée dans l’IA a présenté cinq études de cas concernant des chercheurs qui avaient utilisé son chatbot Claude pour mener des recherches biologiques de pointe pouvant avoir des applications à double usage.

À l'issue de son enquête, l'entreprise a déclaré avoir suspendu les comptes concernés, partagé ses conclusions avec les autorités gouvernementales et d'autres laboratoires d'IA, et renforcé ses mesures de sécurité. « Nous avons suspendu tous les comptes concernés, collaboré avec nos partenaires pour démanteler les réseaux relais qui contournaient les blocages régionaux, et partagé nos conclusions avec les laboratoires d'IA concernés et les autorités gouvernementales », a déclaré Anthropic.

Anthropic a souligné qu’elle ne prétendait pas que les chercheurs avaient l’intention de causer du tort, notant que la recherche biologique peut servir à mettre au point des vaccins et des traitements, mais qu’elle peut également faire l’objet d’abus. « Les capacités biologiques sont à double usage : elles peuvent être utilisées à des fins bénéfiques ou néfastes, et il est souvent difficile de faire la distinction entre les deux », indique le rapport.


« Les mêmes informations qui peuvent servir à mettre au point une arme biologique pourraient également servir à développer, par exemple, un vaccin ou un remède contre une maladie. » L’un des cas concernait un chercheur qui avait demandé à Claude de l’aider à rédiger une demande de subvention pour des recherches de « gain de fonction » sur le virus du chikungunya, transmis par les moustiques.

Anthropic a précisé que cette proposition visait à modifier le virus afin de le rendre plus contagieux et plus dangereux. Si ce type de recherche peut aider les scientifiques à mettre au point des vaccins et des traitements, l’entreprise a souligné qu’elle pouvait également être détournée pour rendre le virus plus nocif. L'entreprise a déclaré avoir bloqué la demande et découvert par la suite que les chercheurs utilisaient une plateforme tierce pour contourner les restrictions régionales et rediriger automatiquement les requêtes rejetées vers un autre modèle d'IA.

D'autres cas concernaient la grippe aviaire, la recherche sur les orthopoxvirus et la recherche liée aux venins et toxines non transmissibles, selon le rapport. « Les acteurs malveillants sophistiqués savent que nous (et d’autres fournisseurs d’IA) tentons de détecter les utilisations dangereuses de nos modèles, et ils exploitent la nature à double usage de la biologie pour conserver une sorte de « déni plausible » concernant leurs recherches », a déclaré l’entreprise.

Par ailleurs, le rapport détaille plusieurs cas liés à l’Iran dans lesquels des acteurs auraient utilisé Claude pour mener des campagnes d’influence, des opérations de surveillance et des recherches sur les forces navales américaines. « Nous avons identifié et neutralisé un acteur malveillant lié à l’Iran qui utilisait Claude pour collecter et analyser des données accessibles au public afin d’élaborer des recommandations de ciblage contre les forces navales américaines dans la région », a déclaré l’entreprise.

« Nous avons suspendu le compte de cet acteur, mis au point des mécanismes de détection pour réduire le risque d’abus futurs et partagé des renseignements sur la menace avec les autorités gouvernementales afin de neutraliser cette menace. » Ce rapport fait suite aux déclarations d’un chercheur senior en sécurité chez Anthropic, qui a affirmé que l’IA avait plus de 10 % de chances de « tuer tous les humains » au cours de la prochaine décennie, en réponse à un ancien employé ayant démissionné après avoir accusé l’entreprise d’agir de manière irresponsable.

Jacob Coxon, ancien chercheur chez Anthropic et OpenAI, a écrit dans un long fil de discussion publié sur X à l'occasion de sa démission que « les personnes qui développent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie ». « J'ai démissionné d'Anthropic. J'ai passé ces trois dernières années à mener des recherches sur le pré-entraînement, tant chez OpenAI que chez Anthropic. Aucune de ces deux entreprises n'agit de manière responsable. Elles se précipitent tête baissée vers une superintelligence capable de s'auto-améliorer et jouent avec nos vies », a-t-il écrit.

Jacob Coxon a brusquement démissionné cette semaine, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé Anthropic et OpenAI de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». Evan Hubinger, chef d’équipe chez Anthropic, a appuyé cet avertissement, estimant que la probabilité d’un tel scénario était « supérieure à 10 % » d’ici dix ans — une prise de position publique rare de la part d’un membre d’une entreprise développant cette même technologie.

Source : Anthropic

Et vous ?

Pensez-vous que cette information est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Des dizaines de scientifiques de renom signent une initiative visant à prévenir l'utilisation d'armes biologiques par l'IA, l'accord reconnaît que l'IA présente des risques

Le Pentagone accélère l'intégration de l'IA pour maintenir sa compétitivité face à la Chine, avec des indications selon lesquelles les États-Unis développeront des armes autonomes létales

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »