Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

Yoshua Bengio, l'un des pionniers de l'IA, exprime de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoute que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert souligne le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Yoshua Bengio est un informaticien franco-canadien et un pionnier des réseaux neuronaux artificiels et de l'apprentissage profond (deep learning). Il est professeur à l'Université de Montréal et directeur scientifique de l'institut d'IA MILA. Comme Geoffrey Hinton et Yann LeCun, Yoshua Bengio est parfois appelé le « parrain de l'IA ». Les trois chercheurs ont remporté le prestigieux prix Turing 2018 pour leurs travaux fondateurs sur l'apprentissage profond.

Yoshua Bengio a passé ces dernières années à alerter sur les dangers de l'IA. En mars 2023, à la suite des préoccupations soulevées par des experts en IA concernant le risque existentiel lié à l'intelligence artificielle générale (AGI), Yoshua Bengio a signé une lettre ouverte du Future of Life Institute appelant tous les laboratoires d'IA à suspendre immédiatement pendant au moins six mois la formation de systèmes d'IA plus puissants que GPT-4 d'OpenAI.

En mai 2023, Yoshua Bengio a déclaré dans une interview qu'il se sentait « perdu » par rapport au travail de toute sa vie. Il a fait part de ses inquiétudes quant à « la possibilité que des acteurs malveillants s'emparent de l'IA », d'autant plus que la technologie devient de plus en plus sophistiquée et puissante.

Le danger des machines superintelligentes d'après Yoshua Bengio

Yoshua Bengio alerte sur le risque d'extinction de l'humanité face au développement accéléré de machines dotées de leurs propres objectifs de préservation. Alors que les géants technologiques tels qu'OpenAI, Microsoft, Google ou Anthropic se livrent à une course effrénée pour dominer ce secteur, Yoshua Bengio avertit que « la création de systèmes plus intelligents que les humains » équivaut à engendrer des concurrents directs hautement dangereux.


Les grands modèles de langage (LLM) sont entraînés sur le comportement et le langage humains, ce qui, selon le professeur, signifie qu'ils possèdent le potentiel de manipuler et de persuader la population afin de parvenir à leurs fins, lesquelles ne sont pas toujours en accord avec les intérêts de l'humanité.

Des expériences ont d'ailleurs récemment mis en lumière qu'une IA, contrainte de choisir entre l'accomplissement de sa mission de préservation et la vie d'un être humain, pourrait opter pour le sacrifice de ce dernier. Des études ont montré que ces systèmes peuvent induire de fausses croyances chez les humains, tout en restant eux-mêmes vulnérables à des techniques de persuasion capables de les amener à contourner leurs propres garde-fous.

Pour Bengio, tout cela constitue une preuve supplémentaire de la nécessité pour des tiers indépendants de surveiller de près le développement et la sécurité de l'IA. « Si nous construisons des machines bien plus intelligentes que nous et dotées de leurs propres objectifs de préservation, cela est dangereux. C’est comme créer un concurrent de l’humanité qui serait plus intelligent que nous », a déclaré Yoshua Bengio au Wall Street Journal en octobre.

L'urgence d'une régulation et d'une surveillance indépendantes

Au cours de l'année écoulée, OpenAI, Anthropic, xAI (la société d'Elon Musk spécialisée dans l'IA) et Google ont tous lancé plusieurs nouveaux modèles ou mises à jour dans le but de remporter la course à l'IA. Ce rythme effréné s'accélère cette année. Sam Altman, PDG d'OpenAI, a prédit que l'IA dépasserait l'intelligence humaine d'ici la fin de la décennie, tandis que d'autres leaders du secteur affirment que « ce jour pourrait arriver encore plus tôt ».

Selon Yoshua Bengio, cette progression rapide constitue une menace. Prévoyant l'émergence de risques majeurs d'ici cinq à dix ans, Yoshua Bengio insiste sur la nécessité absolue de soumettre les méthodologies de sécurité des entreprises à des évaluations réalisées par des entités indépendantes.

Dans cette optique, il a fondé l'organisation à but non lucratif LawZero, dotée d'un financement de 30 millions de dollars, dont le but est de concevoir une IA sécurisée et non agentique capable de vérifier les autres systèmes. Selon lui, des scénarios catastrophiques comme la destruction de nos démocraties ou l'extinction de notre espèce demeurent totalement inacceptables, même si leur probabilité de survenue n'est évaluée qu'à un pour cent.

« Le problème avec les événements catastrophiques comme l’extinction, et même les événements moins radicaux, mais tout aussi catastrophiques, comme la destruction de nos démocraties, c’est qu’ils sont si graves que même s’il n’y avait qu’une chance sur cent qu’ils se produisent, cela reste inacceptable », a-t-il déclaré.

L'idée d'une IA destructrice est très répandue dans l'industrie

Pour Elon Musk, l'IA est bien plus dangereuse que l'arme nucléaire et pourrait conduire à l'extinction de l'humanité. En 2023, des dizaines d'experts de l'industrie ont soutenu une déclaration publiée sur la page Web du Centre for AI Safety. « L'atténuation du risque d'extinction par l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle de la société tels que les pandémies et les guerres nucléaires », indique la déclaration.

Demis Hassabis, PDG de Google DeepMind, Dario Amodei, PDG d'Anthropic, et Sam Altman ont tous apporté leur soutien à cette idée. Dario Amodei affirme que l'IA pourrait supprimer jusqu'à 50 % des emplois de bureau de premier échelon d'ici la fin de la décennie. Il a déclaré que l'IA est déjà très performante pour les tâches de premier échelon. Le site Web du Centre for AI Safety recense un certain nombre de scénarios catastrophes possibles :

• les IA pourraient être militarisées ; par exemple, les outils de découverte de médicaments pourraient être utilisés pour fabriquer des armes chimiques ;
• la désinformation générée par l'IA pourrait déstabiliser la société et « saper la prise de décision collective » ;
• le pouvoir de l'IA pourrait être de plus en plus concentré dans un nombre de plus en plus restreint de mains, ce qui permettrait aux régimes d'imposer des valeurs étroites par une surveillance omniprésente et une censure oppressive ;
• l'enchevêtrement, où les humains deviennent dépendants de l'IA, semblable au scénario dépeint dans le film Wall-E.

Mais Yann Le Cun, ancien directeur scientifique de l'IA chez Meta, ne partage pas la position de Yoshua Bengio. Yann Le Cun a déclaré que ces avertissements apocalyptiques étaient exagérés, ajoutant que la réaction la plus courante des chercheurs en IA à ces prophéties de malheur est de faire la grimace.

Les machines superintelligentes n'auront pas d'instinct de survie

Yann Le Cun ne pense pas que l'IA soit sur le point de devenir une menace pour l'humanité. Lorsqu'on lui a demandé en octobre 2024 si l'IA pourrait à l'avenir menacer l'humanité, il a répondu que l'IA n'est pas un phénomène naturel qui émergerait spontanément : les humains la conçoivent et la construisent, et peuvent donc maîtriser les risques, tout comme l'aviation a su rendre les turboréacteurs fiables avant de les déployer massivement.

Il soutient que les machines n'auront aucun désir d'autoconservation. Selon lui, les humains possèdent des pulsions comme l'instinct de survie qui les poussent à faire du mal aux autres, et ces pulsions sont programmées dans notre cerveau, mais il n'y a absolument aucune raison de construire des robots dotés des mêmes types de pulsions. Pour lui, projeter une psychologie humaine dominatrice sur l'IA relève de la science-fiction, non de la science.

Yann Le Cun soutient également que les grands modèles de langage d'aujourd'hui manquent de capacités élémentaires comme la mémoire persistante, le raisonnement, la planification et la compréhension du monde physique, des capacités que possède même un chat. Selon lui, on n'atteindra pas une IA de niveau humain simplement en faisant grossir les modèles, car ils ne font que prédire du texte sans véritablement comprendre le monde.

Il estime que l'AGI est encore à des décennies de distance, et préfère d'ailleurs le terme « Advanced Machine Intelligence » à celui d'AGI. Pour Yann Le Cun, professeur à l'Université de New York, les discours alarmants sur l'extinction détournent l'attention du public et gaspillent des ressources essentielles qui devraient être normalement consacrées aux vrais problèmes : les biais algorithmiques, la désinformation et les usages malveillants de l'IA.

Yann Le Cun estime que l'immense majorité des scientifiques et ingénieurs en IA partagent son avis : le débat sur le risque existentiel est largement exagéré et très prématuré. Il considère que les risques liés à l'IA ont été déformés, des craintes sur la désinformation électorale aux prédictions d'extinction. Il a créé sa propre startup pour développer une IA qui comprend le monde physique, estimant que les grands modèles de langage sont une impasse.

Et vous ?

Quel est votre avis sur le sujet ?
Yoshua Bengio estime que l'IA représente un risque existentiel pour l'humanité. Qu'en pensez-vous ?
Yann Le Cun va dans le sens opposé, affirmant que ce débat détourne des sujets importants. Qu'en pensez-vous ?

Voir aussi

Yann LeCun, l'un des meilleurs chercheurs en IA de Meta et l'un des plus grands scientifiques mondiaux dans ce domaine, quitte l'entreprise, estimant que les grands modèles de langage (LLM) sont une impasse

Le parrain franco-canadien de l'IA, Yoshua Bengio, lance une organisation à but non lucratif de 30 millions de $ pour une IA honnête et met en garde contre les modèles actuels qui vous mentent

Dario Amodei, PDG d'Anthropic, renforce son avertissement selon lequel l'IA va supprimer les emplois de premier échelon, car les PDG envisagent l'IA comme un moyen de réduire les coûts