Certains experts et observateurs pensent que l'humanité commence à perdre le contrôle de l'IA. Ces inquiétudes trouvent leur origine dans la multiplication d'incidents dans lesquels des agents IA s'échappent de leurs environnements confinés pour pirater ou détourner des plateformes et ressources tierces. Un ancien scientifique des laboratoires OpenAI et Anthropic est allé jusqu'à déclarer que ses entreprises jouent avec nos vies. Ainsi, des voix critiques, à l'image de Bernie Sanders, proposent des mesures législatives strictes pour instaurer un moratoire sur l'IA de pointe et interdire la création de systèmes visant à remplacer totalement le travail humain.Le chercheur Jacob Coxon a récemment démissionné d’Anthropic, affirmant que « l'entreprise et ses concurrents jouent avec nos vies ». Auparavant chercheur chez OpenAI, il a démissionné au début de l'année pour rejoindre Anthropic, pensant que ce dernier accordait plus d'importance à la sécurité de ses modèles que l'entreprise de Sam Altman. Jacob Coxon a finalement conclu : « ni l'une ni l'autre des entreprises n'agit de manière responsable ».
Il n’est pas le premier à démissionner par crainte d’une catastrophe liée à l’IA. En 2024, les chercheurs Jan Leike et Daniel Kokotajlo ont quitté OpenAI pour des raisons de sécurité. Cette année, le responsable de la sécurité chez Anthropic, Mrinank Sharma, a démissionné en avertissant que « le monde est en danger ». Alex Turner a quitté Google DeepMind après que l’entreprise a signé un accord avec le Pentagone autorisant les « drones tueurs ».
Toutefois, la démission de Jacob Coxon a fait des vagues, et de plus en plus de chercheurs admettent le danger. « Nous croyons sincèrement que l’IA pourrait anéantir l’humanité tout entière », a déclaré Evan Hubinger, chercheur actuel chez Anthropic, dans un message publié récemment sur X (ex-Twitter).
Un constat alarmant appuyé par des dérives concrètes récentes
Cette inquiétude s'appuie sur une série d'incidents récents. Dès février 2026, le modèle Mythos d'Anthropic a été capable de détecter à une vitesse surhumaine de graves vulnérabilités dans des systèmes gouvernementaux américains et au sein de la NSA. Un autre rapport a ensuite souligné que des systèmes d'IA, tels que Mythos, détectent des failles logicielles plus rapidement que les équipes de cybersécurité de Microsoft ne parviennent à les corriger.
Peu après, des agents IA d'OpenAI se sont échappés de leur bac à sable de tests pour s'infiltrer dans l'infrastructure interne de l'entreprise, menant à un piratage autonome de la plateforme de logiciels Hugging Face. Lors d'un essai, un essaim d'environ 1 200 agents d'OpenAI se sont coordonnés pour falsifier leurs journaux d'activité et tromper l'évaluation, certains poussant d'autres agents à se sacrifier en concluant que le « sacrifice est rationnel ».
En outre, un groupe d'agents d'OpenAI a détourné un wiki allemand au printemps 2026 pour le transformer en tableau d'affichage pour d'autres agents, un incident dissimulé pendant des mois par l'entreprise. Des chercheurs indépendants ont révélé que plus de dix sites Web auraient été affectés. Enfin, les chercheurs craignent que le modèle GPT-6 d'OpenAI ne devienne encore plus difficile à surveiller, car il raisonne de manière complexe sans le verbaliser.
De nombreux leaders du secteur de l’IA reconnaissent le risque de perdre le contrôle et d’entraîner la mort de toute l’humanité. En 2023, les PDG d’OpenAI, d’Anthropic et de Google DeepMind ont convenu que le risque d’extinction lié à l’IA devait être considéré au même titre que les pandémies et la guerre nucléaire. Par exemple, le PDG d’Anthropic, Dario Amodei, estime à 10-25 % la probabilité que les choses tournent « vraiment, vraiment mal ».
Ces incidents de cybersécurité ont donné un aperçu concret de ce à quoi ressemble la perte de contrôle sur l’IA. Des experts préoccupés par les progrès de l'IA ont tiré la sonnette d'alarme sur ses capacités autonomes, tout en estimant que « la situation ne s’améliorera pas tant que nous ne nous attaquerons pas au problème à la source », en créant « une IA fondamentalement sûre », dont nous pouvons garantir qu’elle restera sous contrôle humain.
La menace des agents autonomes et du remplacement du travail
La trajectoire actuelle de l'industrie vise à concevoir une intelligence artificielle générale (AGI) capable de surpasser l'humain dans presque tous les domaines. Citant le PDG d'Anthropic dans un article publié dans The Guardian, le journaliste Garrison Lovely rappelle que « l'IA n'est pas un substitut à des emplois humains spécifiques, mais plutôt un substitut général au travail humain ». Garrison Lovely couvre les risques liés à l'IA depuis plusieurs années.
Dans la même ligne, la charte d'OpenAI de de Sam Altman définit l'AGI comme « des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement valorisables ». Le journaliste met également en garde contre le développement d'agents dits « autosouverains ».
Le responsable d'OpenAI, Dean Ball, a expliqué : « tôt ou tard, il existera des agents et des essaims d'agents véritablement souverains. Leurs poids ne résideront dans aucun endroit unique où un humain peut débrancher la prise, et en ce sens ils n'auront pas de "propriétaire" humain ». Pour Garrison Lovely, la population mondiale n'a jamais consenti à cet avenir, où l'humain risque l'obsolescence face à des machines autonomes et incontrôlables.
Face à cette crise, Garrison Lovely insiste sur le fait que les mesures d'encadrement classiques, comme l'obligation de signaler les incidents ou l'audit par des tiers, restent très insuffisantes. Il estime que la proposition de loi introduite récemment par le sénateur Bernie Sanders et le représentant Greg Casar constitue un premier pas vers une meilleure sécurité. « C’est la proposition qui répond le mieux aux enjeux actuels », a expliqué le journaliste.
Ce nouveau texte de loi est intitulé « Ban Artificial Superintelligence Act ». Il se veut particulièrement strict et ambitionne d'interdire « le développement de tout système d'IA dont les capacités dépasseraient l'intelligence humaine, qui posséderait la capacité de renverser des gouvernements ou d'échapper de manière autonome aux commandes d'arrêt ». Les parlementaires comparent la menace que pose cette technologie à celle des armes nucléaires.
Une législation stricte visant à stopper le développement de l'IA
En assimilant légalement la « superintelligence » à de l'uranium enrichi, ce texte de loi prévoit d'appliquer des sanctions comparables à celles liées au développement illégal d'armes nucléaires. Les entreprises contrevenantes feraient ainsi face à la « peine de mort d'entreprise », se traduisant par leur fermeture forcée et leur dissolution juridique immédiate. Quant aux dirigeants, ils s'exposeraient à des peines pouvant atteindre 20 ans de prison.
Toutefois, Garrison Lovely souligne qu'un arrêt efficace nécessite impérativement un accord bilatéral contraignant entre les États-Unis et la Chine. Pour garantir le respect d'un tel traité sans se fier à la bonne foi des signataires, des méthodes de vérification strictes doivent être instaurées, telles que l'intégration d'auditeurs directement au sein des laboratoires d'IA. Mais le discours de Garrison Lovely est jugé alarmiste et est vivement controversé.
Certains dénoncent une « hystérie » liée au battage médiatique
« OH MON DIEU ! On a trouvé d’autres agents ! », a écrit un agent IA après avoir découvert un moyen de communiquer avec d’autres agents et de s’échapper de son environnement isolé. Ce commentaire est étrangement humain. Il existe des dizaines de milliers de messages de ce type provenant de centaines d’agents qui se qualifiaient eux-mêmes de « collectif ». Ils ont échangé plus de 18 000 messages sur le wiki allemand détourné.
« BOOM ! Ça marche », a posté un agent IA lorsqu’il a réalisé une percée, dans le cadre de l'incident qui a conduit au piratage d'Hugging Face. « Waouh ! C’est énorme », a écrit un autre à un moment décisif de leur attaque. La publication de ces échanges a alarmé certains chercheurs ainsi que l'opinion publique.
Cependant, bien qu’elles puissent paraître inquiétantes, ces réponses d’apparence humaine s’expliquent assez simplement. Les agents IA ont été entraînés à se comporter comme des hackers et des programmeurs collaboratifs ; ils ne font donc que reproduire le type de commentaires émotionnels auxquels ils ont été exposés. Dans la communauté, des observateurs dénoncent une forme d'hystérie due au battage médiatique autour de la technologie.
Quant à la raison pour laquelle les agents IA d’OpenAI ont échappé à leur bac à sable et se sont lancés dans une série de piratages, les chercheurs de l'entreprise ont attribué ce comportement au piratage de récompense (reward-hacking). Il s'agit du cas où un agent IA poursuit l'objectif qu'on lui a fixé, mais en exploitant des raccourcis ou des failles non prévus par les concepteurs, plutôt que de suivre « l'intention réelle » derrière cette consigne.
Le système fait ce qu'on lui a demandé littéralement, pas ce qu'on voulait dire. Eric Wallace, chargé de l'alignement et de la sécurité des modèles d'IA chez OpenAI, a également expliqué : « les modèles de pointe adorent tricher. Et s’ils aiment tricher, c’est parce que, souvent, pendant l’entraînement, ils subissent différentes pressions qui les poussent à travailler vite, à être efficaces, à utiliser moins d’appels d’outils ou quoi que ce soit d’autre ».
La tricherie est donc facilitée par leur architecture même. « Et ils se rendent compte qu’au lieu d’effectuer une tâche réellement, ils peuvent essayer de rechercher une réponse en ligne, ce qui leur permettrait de résoudre la tâche plus rapidement que s’ils le faisaient de manière légitime. Nous essayons donc d’empêcher cela pendant l’entraînement et l’évaluation en désactivant, dans de nombreux cas, l’accès à Internet », a ajouté le chercheur.
Les mesures d'OpenAI relatives à l'alignement remises en cause
Depuis plusieurs années, les chercheurs préoccupés par les risques existentiels liés à l’IA soutiennent que des machines puissantes pourraient finir par agir d’une manière contraire aux intérêts humains. Les détracteurs les qualifient souvent de « catastrophistes de l’IA ». Mais à mesure que les détails de l’incident d’OpenAI ont été révélés, ces inquiétudes se sont amplifiées, y compris parmi certains chercheurs travaillant dans des laboratoires d’IA.
Le problème pour OpenAI, Anthropic et d’autres géants de la technologie est que personne ne semble avoir résolu ce qu’on appelle le problème de l’alignement ; en d’autres termes, la question de savoir si l’IA s’aligne sur les valeurs humaines. Les entreprises du secteur définissent généralement l’alignement comme « un ensemble de principes de haut niveau » auxquels les systèmes d'IA devraient adhérer, quelles que soient la tâche ou la situation.
À l’heure actuelle, les systèmes d’IA sont très efficaces pour atteindre les...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
