Un rapport met en garde les entreprises d'IA contre les dangers liés à la construction de systèmes de niveau humain,

Elles ne disposent pas de plans crédibles pour garantir la sécurité de ces systèmes

L'organisation à but non lucratif Future of Life Institute rapporte que « les entreprises spécialisées dans l'IA sont fondamentalement mal préparées » aux dangers potentiels de la construction de systèmes dotés de performances intellectuelles de niveau humain. Elle alerte sur le fait que ces entreprises ne disposent pas de plans crédibles pour garantir la sécurité de leurs systèmes d'IA et celle de l'humanité. Dans un rapport récent, elle indique qu'aucun des sept principaux acteurs de l'IA, dont OpenAI, Google Deepmind, Anthropic, xAI et les startups chinoises Deepseek et Zhipu AI, n'ont obtenu une note supérieure à D dans son indice de « sécurité existentielle ».

Les entreprises technologiques investissent massivement dans le développement d'une forme d'intelligence artificielle générale (AGI) ou de superintelligence. Les dépenses s'élèvent à plusieurs centaines de milliards de dollars par an depuis 2022. Pourtant, Future of Life Institute rapporte qu'aucune de ces entreprises ne semble avoir « quoi que ce soit qui ressemble à un plan cohérent et réalisable » pour s'assurer que les systèmes restent sûrs et contrôlables.

Future of Life Institute (FLI) est une organisation américaine à but non lucratif spécialisée dans la sécurité de l'IA. Le rapport de Future of Life Institute indique que « l'industrie n'est absolument pas préparée à atteindre les objectifs qu'elle s'est fixés », car elle évolue sans aucun filet de sécurité.

L'AGI fait référence à un stade théorique de développement de l'IA auquel un système est capable d'égaler un humain dans l'exécution de n'importe quelle tâche intellectuelle. OpenAI a déclaré que sa mission est de veiller à ce que l'AGI « profite à l'ensemble de l'humanité ». Les défenseurs de la sécurité ont averti que l'AGI pourrait constituer une menace existentielle en échappant au contrôle humain et en déclenchant « un événement catastrophique » inédit.


Les entreprises affirment qu'elles parviendront à l'AGI au cours de la décennie, mais aucune n'a obtenu un score supérieur à D en matière de « planification de la sécurité existentielle ». L'indice évalue sept des principaux développeurs de grands modèles de langage (LLM) - Google DeepMind, OpenAI, Anthropic, Meta, xAI et les entreprises chinoises comme Zhipu AI et DeepSeek - dans six domaines, dont les « préjudices actuels » et la « sécurité existentielle ».

Anthropic a obtenu la meilleure note globale de sécurité avec un C+, suivi d'OpenAI avec un C et de Google DeepMind avec un C -. Mais « aucune entreprise n'a obtenu la note minimale requise en matière de planification des risques existentiels », qui comprennent les défaillances catastrophiques pouvant entraîner une spirale incontrôlable de l'IA. Cette absence de garde-fous suscite une grande inquiétude et des appels à une réglementation forte en matière d'IA.

Les entreprises semblent très peu inquiètes des risques liés à l'AGI

Les notes de sécurité ont été attribuées et examinées par un groupe d'experts en IA, dont l'informaticien britannique Stuart Russell et Sneha Revanur, fondatrice du groupe de campagne Encode Justice pour la réglementation de l'IA. Selon Max Tegmark, cofondateur de Future of Life Institute, il est assez choquant que des entreprises d'IA de pointe cherchent à construire des systèmes « « superintelligents » sans publier de plans pour en gérer les conséquences.

Max Tegmark a déclaré : « c'est comme si quelqu'un construisait une gigantesque centrale nucléaire à New York qui allait ouvrir la semaine prochaine, mais sans aucun plan pour empêcher une fusion du cœur ». Max Tegmark est également professeur au Massachusetts Institute of Technology (MIT).

SaferAI, une autre organisation à but non lucratif axée sur la sécurité, a publié ses propres conclusions parallèlement à celles de Future of Life Institute. SaferAI avertit aussi que les entreprises spécialisées dans l'IA avancée ont des « pratiques de gestion des risques faibles, voire très faibles » et juge l'approche de l'industrie « inacceptable ». Max Tegmark, de Future of Life Institute, a déclaré que la technologie continuait à dépasser de nouvelles frontières.

Il cite notamment l'ancienne croyance selon laquelle les experts auraient des décennies pour relever les défis de l'IA. « Aujourd'hui, les entreprises elles-mêmes disent qu'elles n'en ont plus que pour quelques années », a-t-il déclaré. En mars 2023, Sam Altman, PDG d’OpenAI, a déclaré à plusieurs reprises que l'AGI pourrait apparaître d’ici à 2027. En 2024, Elon Musk, PDG de xAI, est plus optimiste. Il a déclaré : « je pense que l’AGI pourrait arriver d’ici 2025.

En mai 2024, Demis Hassabis, PDG de Google DeepMind, a noté : « je pense que nous pourrions voir l’AGI dans les prochaines années, peut-être d’ici 2030 ». Mais ces prédictions audacieuses sur l'arrivée de l'AGI sont très controversées. Un rapport récent affirme que l'AGI n'est pas à portée de main. L'incapacité des modèles d'IA actuels à apprendre de façon autonome et continue, comme les humains, freine leur évolution vers une superintelligence.

En réponse à la critique de Future of Life Institute, un porte-parole de Google DeepMind a déclaré que le rapport ne prend pas en compte « tous les efforts de Google DeepMind en matière de sécurité de l'IA ». Le porte-parole a ajouté : « notre approche globale de la sûreté et de la sécurité de l'IA va bien au-delà de ce qui a été capturé ». OpenAI, Anthropic, Meta, xAI, Zhipu AI et DeepSeek n'ont pas répondu aux demandes de commentaires.

Une AGI d'ici la fin de la décennie ? Les experts restent sceptiques

L'AGI est un sujet quelque peu controversé dans le domaine de l'IA, les critiques suggérant qu'il ne s'agit que d'une chimère. « L'AGI est un mensonge. L'intelligence artificielle générale n'existe pas », a déclaré Dana Blankenhorn, journaliste technologique. Il estime que la surmédiatisation de l'AGI est liée aux visées politiques de certains acteurs importants du secteur de l'IA et à leurs tentatives visant à contrôler entièrement le développement de la technologie.


Selon Yann LeCun, co-inventeur de l'apprentissage profond moderne et lauréat du prix Turing 2019, les modèles de langage ne conduiront pas à une véritable intelligence générale. En 2024, il expliquait : « les modèles actuels sont très loin de l’AGI. Ils ne comprennent pas, ne raisonnent pas, ne planifient pas ».

Les prédictions autour de l’AGI sont aujourd’hui profondément divisées entre enthousiasme et scepticisme mesuré. D’un côté, des figures comme Sam Altman, Elon Musk ou Mark Zuckerberg annoncent une AGI d’ici quelques années, parfois dès 2025, en s’appuyant sur la puissance croissante des modèles et des investissements massifs. De l’autre, des voix plus techniques comme Dwarkesh Patel, Satya Nadella ou Yann LeCun rappellent une réalité plus brute :

« Les modèles actuels, aussi impressionnants soient-ils, n’apprennent pas comme les humains. Ils ne comprennent pas, n’apprennent pas par expérience, ne généralisent pas bien. Et tant qu’ils n’auront pas surmonté ce goulot d’étranglement de l’apprentissage continu, l’AGI restera un objectif, pas un fait ». Par ailleurs, l'AGI reste un concept nébuleux. Les entreprises investissent dans une technologie qu'ils semblent encore incapables de définir clairement.

L'industrie de l'IA n'est toujours pas tombée d'accord sur une définition unique de ce qu'est l'AGI. Chaque entreprise a sa propre définition. Début avril 2025, Google DeepMind a publié un document dans lequel il définit l'AGI comme « un système capable d'égaler au moins le 99e percentile des adultes qualifiés dans un large éventail de tâches non physiques, y compris des tâches métacognitives telles que l'apprentissage de nouvelles compétences ».

Selon un rapport de The Information, OpenAI et Microsoft définissent l'AGI comme « un système d'IA pouvant générer jusqu'à 100 milliards de dollars de bénéfices », ce qui semble totalement éloigné de toute référence scientifique. Le rapport cite un document de 2023 émanant des deux entreprises. Il suggère que l'AGI, telle que beaucoup l'imaginent, est un objectif irréaliste et révèle surtout qu'OpenAI est aujourd'hui plus intéressé par les profits.

Conclusion

Le rapport de Future of Life Institute alerte sur le manque de préparation des acteurs majeurs de l’IA pour encadrer les dangers potentiels liés au développement de systèmes de niveau humain (AGI). Les entreprises examinées n’ont pas une stratégie crédible pour gérer les conséquences existentielles. Ce constat rejoint les critiques formulées par d’autres experts, qui appellent à une mobilisation urgente pour renforcer les réglementations en matière d'IA.

D'un autre côté, certains pensent que l'IA ne représente pas une menace existentielle pour l'humanité, notamment en raison de leur manque de capacité d'apprentissage autonome. Selon une étude publiée en 2023, il n'y a aucune preuve d'un raisonnement complexe émergent chez les grands modèles de langage. Selon les chercheurs, les préoccupations devraient se concentrer sur l'utilisation abusive de l'IA plutôt que sur les menaces existentielles.

Sources : Future of Life Institute, SaferAI

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que l'IA pose un risque existentiel pour l'humanité ? Pourquoi ?
Que pensez-vous des conclusions du rapport de Future of Life Institute ? Sont-elles crédibles ?
Les entreprises seraient mal préparées aux dangers potentiels de l'intelligence artificielle générale. Qu'en pensez-vous ?

Voir aussi

« L'AGI n'est pas à portée de main. L'incapacité des modèles d'IA actuels à apprendre de façon autonome et continue, comme les humains, freine leur évolution vers une superintelligence », selon un critique

« La bulle de l'IA à Wall Street est pire que la bulle des dotcoms de 1999 », avertit un économiste de premier plan. Les dix principales actions liées à l'IA sont nettement plus éloignées de la réalité

Les milliardaires de la Tech rêvent d'une IA capable de faire de nouvelles découvertes scientifiques, mais dans la réalité, l'IA excelle dans l'imitation, mais pas dans l'innovation