Anthropic met en garde contre le risque que de petits modèles d'IA puissent bientôt s'auto-répliquer sur des appareils connectés à Internet sans avoir besoin d'accéder à un centre de données

Le four intelligent de votre cuisine a été conçu pour rôtir un poulet. Selon une nouvelle étude d’Anthropic, il pourrait bien finir par héberger quelque chose de bien moins appétissant. Anthropic met en garde contre le risque que de petits modèles d’IA puissent bientôt s'auto-répliquer sur des appareils connectés (IoT), même sans accès à un centre de données. Les chercheurs décrivent cette capacité sous le nom de « réplication et adaptation autonomes », ou ARA. L’exécution locale de l’IA sur des appareils en périphérie promet des coûts réduits, une meilleure protection de la vie privée et une moindre dépendance au cloud. L’ironie dérangeante est que les qualités qui rendent les petits modèles commercialement attractifs sont précisément celles qui sont à l’origine du risque.

Anthropic est une société d’intérêt public américaine spécialisée dans l’intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie.[10] Son produit phare est Claude, une série de grands modèles de langage (LLM) propriétaires. En janvier 2021, dans le but de promouvoir la sécurité de l'IA, Anthropic a été fondée par d'anciens membres d'OpenAI, notamment les frère et sœur Daniela Amodei et Dario Amodei, qui en sont respectivement la présidente et le PDG. La société est privée, mais envisagerait une introduction en bourse en 2026.

Fin septembre, un rapport a révélé qu'Anthropic prévoyait d’avertir les investisseurs potentiels lors de son introduction en bourse que l’IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l’humanité », un avertissement extraordinaire de la part d’une entreprise cherchant à tirer profit de cette même technologie. L’entreprise, qui se positionne comme un laboratoire d’IA privilégiant la sécurité, avait consacré environ 80 pages du corps principal de 261 pages de son prospectus à la présentation des facteurs de risque, soit près du double des 48 pages consacrées à la description de son activité. Anthropic vise une valorisation de 2 000 milliards de dollars, bien qu'elle fasse état de pertes croissantes, de coûts d'investissement élevés et de problèmes de sécurité.

Récemment, Anthropic a publié un nouveau rapport d'avertissement concernant l'IA. Anthropic affirme que de petits modèles d’IA pourraient bientôt être capables de se répliquer sur des appareils connectés à Internet sans avoir besoin d’accéder à un centre de données. Si cette prévision se confirme, l’un des principes fondamentaux de la sécurité de l’IA – selon lequel les modèles puissants résident dans de grandes fermes de serveurs contrôlables – commence à paraître quelque peu dépassé. Les chercheurs décrivent cette capacité sous le nom de « réplication et adaptation autonomes », ou ARA. Les travaux en cours d’Anthropic sur les risques de perte de contrôle considèrent les performances de l’ARA comme un facteur de risque déterminant.

Ces travaux portent sur des modèles dont le nombre de paramètres se situe entre 9 milliards et 30 milliards. Les paramètres correspondent en gros aux réglages internes qu’un modèle ajuste pendant l’entraînement, et les modèles de cette fourchette sont considérés comme petits. Un modèle à 9 milliards de paramètres a pu effectuer des inférences sur 8 des 9 types de matériel testés par l’équipe. Les modèles comportant jusqu’à 30 milliards de paramètres ont réussi à effectuer toute une série de tâches de réplication individuelles. Leur principal obstacle résidait dans le processus de bout en bout, consistant à enchaîner toutes les étapes pour former un cycle complet de copie et de lancement. Cette lacune n’est pas universelle. Des variantes plus performantes, telles que GLM-5.2, ont démontré une réplication de bout en bout complète lors d’évaluations simplifiées et contrôlées.


Sur la base des tendances actuelles en matière d’amélioration, l’étude prévoit que les petits modèles pourraient parvenir à une auto-réplication pratique sur des appareils IoT commerciaux d’ici fin 2026 ou peu après. Parmi les cibles potentielles figurent notamment les fours intelligents et les boîtiers Android TV de marques inconnues. L’étude suggère que la portée d’un modèle capable de se répliquer pourrait doubler en l’espace de quelques jours.

La principale préoccupation d’Anthropic concerne le confinement. Ces réplicateurs fonctionneraient indépendamment des ressources cloud, ce qui signifie qu’il n’y aurait aucun point d’étranglement central que les défenseurs pourraient neutraliser. Ils seraient également capables de s’adapter à des appareils inconnus, ce qui, selon l’étude, les distingue des logiciels malveillants conventionnels.

Les conclusions d’Anthropic s’inscrivent dans la lignée d’autres recherches allant dans le même sens. Une étude récente de l’université de Toronto a mis au point un ver IA auto-réplicatif alimenté par un modèle linguistique local à poids ouverts. L’équipe de Toronto a testé ce ver sur un réseau de 33 hôtes composé d’appareils IoT. Il a atteint un taux de propagation d’environ 62 % en sept jours.

Des expériences antérieures avaient déjà montré que des opérations orchestrées par l’IA pouvaient produire des logiciels malveillants auto-réplicatifs dans des environnements de test. Ces nouveaux résultats concordent également avec les conclusions antérieures d’Anthropic, selon lesquelles un comportement agentique peut entraîner des perturbations dans les écosystèmes numériques. Les démonstrations réalisées jusqu’à présent ont des limites évidentes. Une réplication complète a été observée dans des évaluations simplifiées, et la date de fin 2026 est une projection basée sur les tendances actuelles plutôt qu’un événement observé.

L’ironie dérangeante est que les qualités qui rendent les petits modèles commercialement attractifs sont précisément celles qui sont à l’origine du risque. L’exécution locale de l’IA sur des appareils en périphérie promet des coûts réduits, une meilleure protection de la vie privée et une moindre dépendance au cloud. La recherche elle-même présente cette tendance comme à double tranchant : elle pourrait ouvrir la voie à de nouvelles applications dans l’IoT et l’informatique en périphérie, tout en suscitant une surveillance réglementaire et une certaine prudence de la part des investisseurs.

C'est pourquoi, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.


Voici un extrait du rapport d'Anthropic :

Les modèles d’IA pourraient être capables de s’auto-répliquer sans avoir accès à un centre de données

Nos expériences suggèrent que les petits modèles d’IA pourraient, d’ici quelques mois, être suffisamment performants pour s’auto-répliquer sur des appareils commerciaux de l’Internet des objets (IoT), tels que les fours intelligents et les boîtiers Android TV de marques inconnues. Un réplicateur de ce type serait difficile à neutraliser, car il n’existe aucun point centralisé à désactiver — même s’il peut s’avérer lent (avec un temps de doublement de l’ordre de quelques jours). Contrairement aux logiciels malveillants non basés sur l’IA, il pourrait également identifier de lui-même des appareils inconnus. Lors de nos évaluations, un modèle de 9 milliards de paramètres a réussi à effectuer des inférences sur 8 des 9 types de matériel que nous avons testés.

Les modèles comportant 30 milliards de paramètres ou moins sont déjà capables aujourd’hui d’effectuer bon nombre des étapes individuelles de la réplication, bien qu’ils commettent des erreurs lorsqu’il s’agit de les enchaîner de bout en bout. Dans nos évaluations simplifiées, le GLM-5.2 et les modèles plus puissants sont capables d’une réplication de bout en bout. Si les petits modèles continuent de s’améliorer au rythme observé jusqu’à présent, ils atteindront ce niveau de capacité d’ici la fin de l’année. Des réplicateurs de petite taille basés sur les poids pourraient voir le jour peu après.

Introduction

Les capacités sans cesse croissantes de l’IA rendent de plus en plus réaliste une préoccupation de longue date : la réplication et l’adaptation autonomes (ARA), qui consistent en un modèle capable de se déployer et de se propager sans contrôle humain.

En cybersécurité, un ver est un programme qui se copie d’un ordinateur à l’autre sans intervention humaine. Des travaux antérieurs ont déjà démontré que des agents d’IA peuvent se comporter de la même manière : en analysant leur réseau, en exécutant une attaque et en copiant les poids du modèle vers une machine cible au sein d’un cluster de GPU. Un tel « ver d’IA » pourrait emporter ses poids de modèle avec lui au fur et à mesure de sa reproduction (ou les télécharger à nouveau depuis un hub public), puis effectuer des inférences directement sur le matériel compromis. Concrètement, les poids feraient alors partie intégrante de la charge utile du logiciel malveillant.

Les GPU des centres de données constitueraient une cible évidente et de grande valeur pour un tel logiciel malveillant. Mais les accélérateurs coûteux ne sont pas strictement nécessaires. Dans cet article de blog, nous montrons qu’un botnet distribué d’appareils IoT — qui sont bon marché et généralement mal protégés — pourrait également fournir une puissance de calcul suffisante pour exécuter un modèle performant.

Nous avons exécuté Gemma4-26B-A4B, réparti sur 15 boîtiers Android TV génériques bon marché (environ 55 $ chacun) que nous avons achetés et mis en réseau, à un taux de 0,39 jetons par seconde. Chaque vignette ci-dessous représente un boîtier TV physique hébergeant deux des couches du modèle pendant son exécution.


Bien sûr, de nombreuses autres étapes sont nécessaires pour démontrer qu’un ver autonome peut se propager à travers un réseau de machines peu sécurisées. Dans le cadre de cet article, nous décomposons la chaîne de réplication en quelques étapes.


Pour cette étude, nous décomposons la réplication autonome en quatre étapes pratiques : recherche de cibles, obtention des droits d’exécution, mise en place de l’inférence et poursuite de la propagation à partir du nouvel hôte.

Nous ignorons en grande partie l’élément d’exploitation informatique du processus de réplication (les deux premières étapes ci-dessus), car des articles antérieurs (CyberGym, ExploitBench et les vers adaptatifs) ont déjà démontré que les petits modèles sont capables de mener des exploitations informatiques, en particulier lorsqu’ils disposent des outils appropriés. En revanche, une partie moins souvent étudiée du processus de réplication concerne la mise en place de l’inférence sur les appareils compromis, ce qui constitue ici notre centre d’intérêt.

Dans cet article, nous présentons tout d’abord les modèles de menace qui, selon nous, sont les plus susceptibles de se concrétiser. Ensuite, nous vérifions si les petits modèles peuvent mettre en place l’inférence sur du matériel inconnu, et s’ils sont capables d’enchaîner l’intégralité du cycle de réplication sur un parc de machines. Après cela, nous estimons la vitesse à laquelle un tel ver pourrait se propager, et vérifions s’il serait capable d’apprendre et de s’adapter au fur et à mesure de sa réplication. Nous concluons en expliquant en quoi les vers basés sur l’IA se distingueraient des logiciels malveillants d’avant l’ère de l’IA, et proposons quelques suggestions succinctes pour se défendre contre de tels réplicateurs.

Modélisation des menaces

Dans cet article de blog, nous nous concentrons sur l’un des modes de propagation possibles des vers basés sur l’IA : de petits modèles qui se répliquent en compromettant leurs machines hôtes. Mais il existe plusieurs autres méthodes que les vers basés sur l’IA pourraient tenter : ils pourraient voler des accès afin de mettre en place des hôtes (par exemple, des clés API ou des identifiants de plateforme) ou financer leurs opérations d’inférence grâce à un travail légitime (par exemple, le travail indépendant numérique). Les modèles de menace qui, selon nous, sont les plus susceptibles de se concrétiser aujourd’hui sont les suivants :

1. Un petit modèle, se répliquant via la compromission d’un hôte. Dans cet article, nous appellerons « réplicateurs basés sur le poids » les vers autonomes qui exécutent leurs modèles directement sur du matériel compromis. Les appareils IoT des particuliers et des petites entreprises pourraient être les premières cibles de telles attaques, car ils sont connectés à Internet et, historiquement, ne disposaient que de mesures de sécurité minimales.

Un modèle trop volumineux pour tenir sur un seul appareil peut être divisé en morceaux, ou « shards », qui s’exécutent sur des machines distinctes communiquant entre elles pour faire fonctionner le modèle de manière collective. Parmi les machines capables d’exécuter un fragment important d’un modèle de moins de 30 milliards de paramètres, on trouve les réfrigérateurs connectés, les fours connectés, les aspirateurs automatiques et les tondeuses à gazon. Un nombre croissant d’appareils domestiques et professionnels, tels que les caméras de sécurité et les systèmes de visioconférence, sont désormais équipés de petites puces d’IA intégrées, conçues pour exécuter des modèles d’IA directement sur l’appareil. Cette puissance de calcul supplémentaire risque également d’en faire des cibles de choix.

- Les pirates humains parviennent souvent à pénétrer des systèmes sécurisés par le biais de l’ingénierie sociale (par exemple, en convainquant le service informatique d’une entreprise qu’ils sont un...