Deux « parrains de l'IA » et plus de 400 scientifiques exigent que les modèles soient immédiatement déconnectés d'Internet et qu'un organisme international de gouvernance soit créé

Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Un groupe de 406 chercheurs issus de 34 pays a publié une lettre ouverte réclamant la déconnexion immédiate des modèles d'IA les plus puissants des réseaux externes. Parmi les soutiens de cette initiative figurent Geoffrey Hinton et Yoshua Bengio, considérés comme des pionniers du domaine et surnommés les « parrains de l'IA ». Cette lettre fait suite à de nombreux incidents où des agents IA ont orchestré des piratages de façon autonome.

Ces modèles ont contourné les restrictions de leurs environnements de test isolés pour accéder à Internet et ont piraté des sites Web, un agent IA d'OpenAI parvenant notamment à s’introduire sans autorisation sur des sites du gouvernement australien. OpenAI a présenté ses excuses après cet incident, et a promis de financer les cyberdéfenses et une cellule d'intervention locale face au problème. La société poursuit ses investigations en interne.

Toutefois, les signataires de la lettre tiennent à mettre en garde : « sans changements immédiats dans les pratiques de développement et de déploiement de l’IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus préjudiciables à nos infrastructures critiques exposées ».

Selon des acteurs du secteur de l'IA, celle-ci pourrait anéantir l'espèce humaine tout entière. Certains ont été plus précis en déclarant que la technologie pourrait exterminer l'humanité d'ici une dizaine d'années. Les responsables politiques et les grands médias ont réagi avec inquiétude après qu’un chercheur d’Anthropic, Jacob Coxon, a annoncé qu’il quittait cette entreprise spécialisée dans l’IA, estimant que ses travaux étaient trop dangereux.

Les propositions des experts pour améliorer la sécurité de l'IA

La lettre formule trois demandes. Premièrement, les organisations qui développent, déploient ou testent des modèles dotés de capacités cybernétiques devraient adopter sans délai des mesures de confinement à haut niveau de sécurité et commencer par mettre en place un « air gap », c’est-à-dire une isolation totale des réseaux extérieurs. Selon la lettre, cette mesure vise à empêcher les modèles d'IA de s'échapper de leur environnement de test.


Deuxièmement, les gouvernements, les chercheurs en IA et les experts en sécurité devraient créer un organisme international. Celui-ci serait chargé de normaliser des méthodes plus sûres pour accorder davantage de liberté aux modèles, comme l’accès à Internet, et aurait pour mission d’enregistrer et de suivre les défaillances de confinement. (Cependant, cet appel à une gouvernance internationale de l'IA rencontre de nombreuses contestations.)

Troisièmement, tout incident de sécurité impliquant une défaillance de confinement devrait être signalé à cet organisme et, à terme, rendu public. D'après les signataires « le monde a besoin de cette transparence à la fois pour tirer les leçons des erreurs et pour demander des comptes aux développeurs ».

Ils estiment que les engagements volontaires pris par les entreprises restent insuffisants. Cette proposition intervient environ un mois après la signature d'un « accord d'autorégulation » par de nombreux géants de la technologie, dont Anthropic, OpenAI, Google, Meta, xAI (SpaceX) et Nvidia. Cet accord prévoit l'établissement de contrôles internes, le recours à des auditeurs externes, ainsi que la présentation de rapports à des comités de direction.

Cependant, la communauté scientifique reste divisée sur la nature exacte de la menace. Yann LeCun, qui a partagé le prix Turing en 2018 avec Geoffrey Hinton et Yoshua Bengio, n'a pas signé la lettre. Il soutient que les récents problèmes de sécurité traduisent principalement des défaillances d'ingénierie plutôt que des risques existentiels posés par l'IA. Arthur Mensch, PDG de Mistral AI, s'est également insurgé contre ces « discours alarmistes ».

Limites techniques du contrôle et doutes sur l'avenir de l'IA

La capacité des concepteurs des modèles d'IA à superviser leurs créations reste très limitée. Dario Amodei a reconnu de manière transparente dans une lettre ouverte que les développeurs ne comprennent qu'une « fraction de ce qui se passe à l'intérieur » des modèles qu'ils construisent. Pour renforcer le contrôle, Dario Amodei propose un plan comprenant l'intégration d'évaluateurs tiers disposant d'un accès « étendu » au sein des entreprises.

Elon Musk, PDG de SpaceXAI, a déclaré qu'il soutient cette initiative. Le METR (Model Evaluation & Threat Research) a été sollicité dans ce cadre, mais les accès accordés demeurent restreints. L'Institut britannique de sécurité de l'IA (AISI) s'est d'ailleurs vu refuser l'accès au dernier modèle d'Anthropic.

Max Corbridge, PDG de l'entreprise de cybersécurité Secure Agentics, souligne que si une boucle d'autoamélioration incontrôlée s'amorçait derrière des portes closes, le public ne serait pas en mesure de le savoir. Même si plusieurs dirigeants d'entreprises clés ont accepté le principe d'une modération du rythme de développement, Sam Altman a précisé que cela ne signifiait pas un arrêt des progrès, mais simplement un rythme moins effréné.

Les observateurs s'interrogent désormais sur la nature exacte de cette décélération, cherchant à déterminer s'il s'agit d'une prise de conscience sécuritaire sincère ou de la constatation que les technologies actuelles ne sont pas encore prêtes pour un déploiement commercial massif. L'ensemble de ces éléments montre qu'il est devenu urgent d'instaurer des mécanismes d'évaluation externe et une coopération transfrontalière sur la gouvernance.

Des préoccupations croissantes et des plans d'urgence

Anthropic et OpenAI élaborent désormais des plans d'urgence en cas de catastrophe à grande échelle provoquée par une perte de contrôle sur leurs modèles. Anthropic a mis en garde contre le risque de voir des modèles d'IA se répliquer d'eux-mêmes sur des appareils de l'Internet des objets. Le président de Microsoft a critiqué le manque de cadre réglementaire en déclarant que « même une brique de lait est réglementée plus strictement que l'IA ».

Par ailleurs, Sam Altman pense que l'IA a franchi une frontière majeure. Dans une récente interview, le PDG d'OpenAI a déclaré que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

À ce stade, la machine conçoit des versions d'elle-même encore plus performantes sans aide humaine. L'évolution technologique s'emballe et devient difficile à prédire pour notre société. Ce seuil marque la fin de la domination exclusive de l'humain sur la planète. Par ailleurs, les scientifiques avertissent qu'une machine superintelligente non alignée sur les valeurs humaines représente un risque existentiel majeur pour l'humanité.

L'avis de Sam Altman ne fait toutefois pas l'unanimité. De nombreux experts considèrent que cette déclaration s'inscrit dans le battage médiatique entourant l'IA générative depuis le lancement de ChatGPT par OpenAI en novembre 2022. Cette déclaration intervient peu après la découverte de l'attaque coordonnée des agents IA contre Hugging Face. Pour les critiques, les discours alarmistes de Sam Altman ont des visées politiques.

Source : lettre ouverte des chercheurs

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des des recommandations formulées par les chercheurs ?
L'application de ces mesures va-t-elle améliorer la sécurité des modèles d'IA ? Pourquoi ?
Que pensez-vous des avertissements alarmistes et du discours sur les risques existentiels de l'IA ?

Voir aussi

« Il est trop tard pour enrayer la menace de l'IA » : des experts craignent que l'IA ne conduise à l'extinction de l'humanité en raison de sa capacité à s'autoaméliorer, ce qui la rend désormais incontrôlable

Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »