Le monde «pourrait ne pas avoir le temps» de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur.

L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise ?

L’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse récente de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.

Depuis deux ans, l’IA générative a changé d’échelle. Les modèles ne se contentent plus de produire du texte ou des images crédibles : ils commencent à « raisonner », à planifier, à interagir de manière autonome avec des environnements numériques complexes. Cette progression fulgurante repose sur une combinaison bien connue : puissance de calcul croissante, volumes de données massifs et investissements financiers quasi illimités.

Le problème, selon plusieurs chercheurs cités par la presse anglo-saxonne, est que cette accélération ne s’accompagne pas d’un effort équivalent sur la sûreté. Les cadres réglementaires restent nationaux, fragmentés et souvent en retard d’un cycle technologique. Quant aux mécanismes techniques de contrôle, ils peinent à suivre l’émergence de comportements imprévus dans des systèmes de plus en plus opaques.

Quand les chercheurs parlent d’un risque systémique

Yoshua Bengio

Parmi les voix les plus écoutées figure celle de Yoshua Bengio, l’un des pionniers de l’apprentissage profond. Pour lui, le danger ne réside pas uniquement dans les usages malveillants de l’IA, mais dans la possibilité que des systèmes avancés développent des objectifs mal alignés avec les intérêts humains. Ce scénario, longtemps considéré comme théorique, gagne en crédibilité à mesure que les modèles deviennent capables d’optimiser leurs actions sur le long terme.

L’enjeu n’est pas une « révolte des machines » au sens hollywoodien, mais un risque plus insidieux : des systèmes extrêmement efficaces poursuivant des objectifs définis de manière imparfaite, avec des effets secondaires potentiellement catastrophiques sur l’économie, la sécurité ou l’information.

Yoshua Bengio est un informaticien canadien né en 1964, reconnu mondialement comme l’un des pionniers de l’intelligence artificielle et de l’apprentissage profond. Professeur à l’Université de Montréal et fondateur de l’Mila – Institut québécois d’intelligence artificielle, il a profondément influencé la recherche contemporaine en réseaux de neurones. En 2018, il a reçu le prix Turing, considéré comme le « prix Nobel de l’informatique », aux côtés de Geoffrey Hinton et Yann LeCun.


Umberto Domínguez

Dans son article intitulé « Effets catastrophiques », le professeur Umberto León Domínguez de l'université de Monterrey explore les implications potentielles de l'intelligence artificielle (IA) sur les fonctions cognitives humaines. En se penchant sur des chatbots tels que ChatGPT, conçus pour imiter la conversation humaine, Domínguez exprime ses préoccupations quant à la possibilité que l'IA agisse comme une « prothèse cognitive », accomplissant des tâches cognitives pour les humains.

Il met en garde contre le « délestage cognitif », avertissant que la dépendance excessive à l'IA pourrait entraîner un affaiblissement des capacités cognitives humaines, compromettant la pensée critique et la créativité. Malgré ces avancées, l'IA ne pourra jamais dépasser les capacités du cerveau humain. Des chercheurs de l'université de Sheffield ont souligné qu'il existe des différences inhérentes qui empêchent l'IA de penser comme les humains.

David Dalrymple

David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'Agence britannique pour la recherche avancée et l'invention (ARIA), a averti que le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité que posent les systèmes d'IA en rapide évolution. Il a déclaré au Guardian que les gens devraient s'inquiéter des capacités croissantes de cette technologie.

« Je pense que nous devrions nous inquiéter des systèmes capables d'exécuter toutes les fonctions que les humains accomplissent pour faire avancer les choses dans le monde, mais en mieux. Nous serons dépassés dans tous les domaines où nous devons être dominants afin de garder le contrôle de notre civilisation, de notre société et de notre planète », a-t-il déclaré.

Dalrymple a également souligné un fossé entre le secteur public et les entreprises d'IA en matière de compréhension des avancées potentielles de l'IA. Il a averti que les choses évoluent très rapidement et que nous n'aurons peut-être pas le temps de prendre les devants en matière de sécurité. « Et ce n'est pas de la science-fiction de prévoir que d'ici cinq ans, la plupart des tâches économiquement rentables seront effectuées par des machines avec un niveau de qualité supérieur et à un coût inférieur à celui des humains », a-t-il ajouté.

Il a également averti que les gouvernements ne devaient pas tenir pour acquise la fiabilité des systèmes d'IA avancés. Aria, une organisation qui gère le financement de la recherche tout en restant indépendante malgré son financement public, se concentre sur la protection de l'utilisation de l'IA dans des secteurs critiques tels que les infrastructures énergétiques. Dalrymple, qui travaille sur ces systèmes de sécurité, a fait remarquer que la science nécessaire pour garantir une fiabilité totale pourrait ne pas émerger assez rapidement en raison des pressions économiques.

« La meilleure chose que nous puissions faire, et que nous serons peut-être en mesure de faire à temps, est donc de contrôler et d'atténuer les inconvénients », a-t-il déclaré.

Sécurité de l’IA : un problème technique… et politique

Ce que souligne l’analyse, c’est que la sûreté de l’IA ne peut plus être traitée comme un simple sous-problème d’ingénierie. Certes, des travaux existent sur l’alignement, la robustesse ou l’interprétabilité des modèles. Mais ces approches restent expérimentales et loin d’être standardisées dans l’industrie.

En parallèle, les décisions structurantes sont prises dans un contexte de compétition géopolitique intense. Les grandes puissances voient l’IA comme un levier stratégique majeur, ce qui réduit l’appétence pour des moratoires ou des freins volontaires. Dans ce cadre, chaque acteur craint qu’un ralentissement unilatéral ne profite à ses rivaux, créant une dynamique proche d’une course aux armements technologiques.

D'ailleurs, David Dalrymple a averti que lorsque les progrès technologiques dépassent les mesures de sécurité, cela peut entraîner de graves risques tant pour la sécurité que pour l'économie. Il a appelé à davantage de recherches techniques afin de mieux comprendre et gérer le comportement des systèmes d'IA avancés.

« Le progrès peut être considéré comme déstabilisant, mais il pourrait en réalité être positif, ce que beaucoup de personnes à la pointe de la technologie espèrent. Je m'efforce d'améliorer la situation, mais les risques sont très élevés et la civilisation humaine avance dans cette transition comme un somnambule », a-t-il ajouté.

L'Institut britannique pour la sécurité de l'IA (AISI) a indiqué que les capacités de l'IA progressaient rapidement, avec des performances doublant tous les 8 mois dans certains domaines. Les modèles avancés peuvent désormais accomplir des tâches de niveau apprenti dans 50 % des cas, et certains systèmes peuvent accomplir de manière autonome des tâches qui prendraient plus d'une heure à un expert humain. L'AISI a testé des modèles pour l'auto-réplication, une préoccupation majeure en matière de sécurité, et a constaté que deux modèles de pointe atteignaient des taux de réussite supérieurs à 60 %. Cependant, l'AISI souligne qu'un scénario catastrophe est peu probable dans des conditions normales.

Dalrymple estime que les systèmes d'IA seront capables d'automatiser l'équivalent d'une journée complète de travail de recherche et développement d'ici la fin 2026, ce qui « entraînera une nouvelle accélération des capacités », car la technologie sera capable de s'améliorer d'elle-même sur les aspects mathématiques et informatiques du développement de l'IA.

Face aux risques potentiels de l'IA, des scientifiques proposent d'intégrer des interrupteurs d'arrêt d'urgence

Des chercheurs de l’Université de Cambridge ont suggéré d’intégrer des interrupteurs d’arrêt d’urgence et des blocages à distance, similaires à ceux développés pour empêcher le lancement non autorisé d’armes nucléaires, dans le matériel qui l’alimente. Ils ont également recommandé de suivre les ventes de puces IA dans le monde. Leur étude a été soutenue par des voix de nombreuses institutions académiques, dont OpenAI.

L’étude met en évidence plusieurs façons dont les décideurs politiques pourraient aborder la réglementation du matériel IA. Le document, dans lequel s'expriment de nombreuses institutions universitaires et plusieurs représentants d'OpenAI, défend l'idée que la réglementation du matériel sur lequel reposent ces modèles pourrait être le meilleur moyen d'en empêcher l'utilisation abusive.

L'entraînement des modèles les plus prolifiques, dont on pense qu'ils dépassent un trillion de paramètres, nécessite une immense infrastructure physique : des dizaines de milliers de GPU ou d'accélérateurs et des semaines, voire des mois, de temps de traitement. Selon les chercheurs, il est donc difficile de dissimuler l'existence et les performances relatives de ces ressources.

De plus, les puces les plus avancées utilisées pour entraîner ces modèles sont produites par un nombre relativement restreint d'entreprises, comme Nvidia, AMD et Intel, ce qui permet aux responsables politiques de restreindre la vente de ces biens aux personnes ou aux pays concernés.

Ces facteurs, ainsi que d'autres comme les contraintes de la chaîne d'approvisionnement dans la fabrication des semi-conducteurs, offrent aux décideurs politiques les moyens de mieux comprendre comment et où l'infrastructure de l'IA est déployée, qui est autorisé ou non à y accéder, et d'appliquer des sanctions en cas d'utilisation abusive, affirme le document.

Sources : Vidéo dans le texte, David Dalrymple

Et vous ?

Trouvez-vous les propos des chercheurs crédibles ou pertinents ?

Avons-nous des indicateurs objectifs montrant que les risques liés à l’IA progressent plus vite que notre capacité à les comprendre et à les maîtriser, ou s’agit-il avant tout d’un sentiment d’urgence alimenté par l’accélération médiatique et financière autour de l’IA ?

Les entreprises qui développent les modèles les plus avancés doivent-elles être juridiquement responsables des effets imprévus de leurs systèmes, même lorsque ceux-ci sont utilisés par des tiers ?

Peut-on sérieusement compter sur l’autorégulation dans un contexte de concurrence mondiale intense, ou faut-il admettre que les incitations économiques rendent cette option illusoire ?

Sommes-nous prêts à ralentir volontairement certaines applications de l’IA si les risques apparaissent trop élevés, même au prix d’un manque à gagner économique ? Qui doit décider du niveau de risque acceptable : les experts, les gouvernements, les entreprises ou la société civile dans son ensemble ?