Le parrain franco-canadien de l'IA, Yoshua Bengio, lance une organisation à but non lucratif de 30 millions de $ pour une IA honnête et met en garde contre les modèles actuels qui vous mentent

Le parrain français-canadien de l'IA, Yoshua Bengio, lance une organisation à but non lucratif de 30 millions de $ pour une IA honnête et met en garde contre les modèles actuels qui vous mentent

Yoshua Bengio lance une organisation à but non lucratif pour une IA honnête et met en garde contre les modèles actuels qui vous mentent. Il crée Scientist AI pour détecter les systèmes malhonnêtes. Il estime que l'IA actuelle tente d'imiter les humains et de satisfaire les utilisateurs. Scientist AI permettra de prédire quand une autre IA pourrait agir de manière nuisible ou malhonnête

Yoshua Bengio est un informaticien franco-canadien et un pionnier des réseaux neuronaux artificiels et de l'apprentissage profond. Il est professeur à l'Université de Montréal et directeur scientifique de l'institut d'IA MILA. Comme Geoffrey Hinton et Yann LeCun, Yoshua Bengio est parfois appelé le « parrain de l'IA ».

En mars 2023, à la suite des inquiétudes soulevées par des experts en IA concernant le risque existentiel lié à l'intelligence artificielle générale, Bengio a signé une lettre ouverte du Future of Life Institute appelant "tous les laboratoires d'IA à suspendre immédiatement pendant au moins six mois la formation de systèmes d'IA plus puissants que GPT-4".

En mai 2023, Bengio a déclaré dans une interview qu'il se sentait "perdu" par rapport au travail de toute sa vie. Il a fait part de ses inquiétudes quant à la possibilité que des "acteurs malveillants" s'emparent de l'IA, d'autant plus qu'elle devient de plus en plus sophistiquée et puissante. Il a appelé à une meilleure réglementation, à l'enregistrement des produits, à une formation éthique et à une plus grande implication des gouvernements dans le suivi et l'audit des produits d'IA. Bengio a déclaré qu'il soutenait la surveillance de l'accès aux systèmes d'IA tels que ChatGPT afin de pouvoir suivre les utilisations potentiellement illégales ou dangereuses.

Récemment, Yoshua Bengio a lancé une nouvelle organisation à but non lucratif pour détecter les IA malhonnêtes. Bengio estime que certains modèles d'IA actuels présentent déjà des tendances trompeuses et que, sans les mesures de protection adéquates, ils pourraient agir contre les intérêts humains. "Les agents IA actuels sont formés pour satisfaire et imiter, pas toujours pour dire la vérité", explique Yoshua Bengio.

Bengio a fait cette déclaration alors qu'il lance une nouvelle organisation à but non lucratif appelée LawZero, dont la grande mission est d'arrêter les IA malveillantes avant qu'elles ne causent de réels dommages. Avec un financement initial de 30 millions de dollars et une équipe de chercheurs experts, Bengio souhaite créer ce qu'il appelle "Scientist AI", un outil qui agit comme un psychologue pour les machines.


"Nous voulons créer des IA qui soient honnêtes et non trompeuses", a déclaré Bengio. Contrairement aux agents IA actuels, qu'il décrit comme des "acteurs" essayant d'imiter les humains et de satisfaire les utilisateurs, l'IA scientifique fonctionnera davantage comme un observateur neutre. "Elle fait preuve d'humilité", a déclaré Bengio à propos de son nouveau modèle. Au lieu de prétendre tout savoir, elle donnera des probabilités, et non des réponses définitives. "Elle n'est pas sûre de la réponse", a-t-il ajouté.

Son travail consiste à prédire quand une autre IA pourrait agir de manière nuisible ou malhonnête, et à la signaler ou à l'arrêter. Scientist AI évaluerait la probabilité que les actions d'une IA causent un préjudice. Si le risque est trop élevé, il pourrait bloquer complètement cette action.

L'objectif ? Créer une sorte de filet de sécurité capable de surveiller les agents IA puissants avant qu'ils ne déraillent. Ces agents sont de plus en plus utilisés pour accomplir des tâches sans supervision humaine, ce qui fait craindre ce qui pourrait arriver si l'un d'entre eux commençait à prendre des décisions dangereuses ou essayait d'éviter d'être désactivé.

C'est un projet ambitieux, mais Bengio sait qu'il doit être mis à l'échelle. "L'objectif est de démontrer la méthodologie afin de convaincre les donateurs, les gouvernements ou les laboratoires d'IA d'investir les ressources nécessaires pour former cette IA à la même échelle que les IA de pointe actuelles", a-t-il déclaré. "Il est vraiment important que l'IA de surveillance soit au moins aussi intelligente que l'agent IA qu'elle tente de surveiller et de contrôler."

Les efforts de Bengio sont soutenus par des grands noms de la sécurité de l'IA, notamment le Future of Life Institute, le cofondateur de Skype Jaan Tallinn et Schmidt Sciences, un groupe de recherche créé par l'ancien PDG de Google Eric Schmidt. Son initiative intervient à un moment où les préoccupations concernant la sécurité de l'IA se font de plus en plus pressantes, même parmi ceux qui ont contribué à sa création.


Prenons l'exemple de Geoffrey Hinton, autre parrain de l'IA et co-lauréat du prix Turing 2018 avec Bengio. Hinton a passé ces dernières années à mettre en garde le public contre les risques liés à l'IA. Il a évoqué des machines capables de diffuser de fausses informations, de manipuler les gens ou de devenir trop intelligentes pour que nous puissions les contrôler.

Mais dans une récente interview, Hinton a fait une confession surprenante : il fait davantage confiance à l'IA qu'il ne le devrait probablement. Il utilise quotidiennement le modèle GPT-4 d'OpenAI et a admis : "J'ai tendance à croire ce qu'il dit, même si je devrais probablement me méfier."

Cela dit, Hinton, qui a quitté Google en 2023 pour pouvoir s'exprimer plus librement sur les dangers de l'IA, reste profondément préoccupé par l'avenir de cette technologie. Il a averti que les systèmes d'IA pourraient devenir suffisamment persuasifs pour influencer l'opinion publique ou déstabiliser la société. Néanmoins, ses récentes déclarations illustrent le dilemme auquel sont confrontés de nombreux experts : ils sont impressionnés par la puissance de l'IA, mais inquiets de son imprévisibilité.

Et puis il y a Yann LeCun, le troisième parrain de l'IA et le plus éminent scientifique en IA de Meta. Contrairement à Bengio ou Hinton, LeCun ne s'inquiète pas trop. En fait, il pense que les gens réagissent de manière excessive.

Dans une interview en 2024, LeCun avait déclaré que les systèmes d'IA actuels sont loin d'égaler l'intelligence humaine, ou même l'intelligence animale. "C'est complètement absurde", a-t-il déclaré à propos des discours apocalyptiques sur l'IA. "Il me semble qu'avant de « trouver de toute urgence comment contrôler des systèmes d'IA beaucoup plus intelligents que nous », nous devons commencer par concevoir un système plus intelligent qu'un chat domestique", a-t-il ironisé.

LeCun a joué un rôle majeur dans le développement de l'IA telle qu'on la connaît aujourd'hui, en particulier dans les domaines de la reconnaissance d'images et de la reconnaissance vocale. Chez Meta, ses équipes continuent de développer des outils puissants qui facilitent toutes sortes de tâches, de la traduction automatique à la modération de contenu. Il estime que l'IA n'est encore qu'un outil utile, et non quelque chose à craindre.

Leurs approches différentes mettent en évidence une vérité importante : en matière d'IA, même les experts ne sont pas d'accord. Mais si le projet de Bengio aboutit, nous pourrions bientôt disposer de systèmes suffisamment intelligents – et suffisamment honnêtes – pour se contrôler mutuellement.

Pour rappel, il y a deux ans, les PDG de Google Deepmind, OpenAI et d'autres startups d'IA ont prévenu que les futurs systèmes pourraient être aussi mortels que les pandémies et les armes nucléaires. Le groupe, qui se compose également de chercheurs en IA de renom, a publié une déclaration d'exactement 22 mots afin de tirer la sonnette d'alarme sur un hypothétique "risque d'extinction de l'espèce humaine".

Et vous ?

Pensez-vous que cette initiative est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Des experts en IA et des dirigeants d'entreprises ont signé une lettre ouverte appelant à une plus grande réglementation de la création de "deepfakes", évoquant les risques potentiels pour la société

Le projet de loi californien SB-1047 vise à prévenir les catastrophes potentielles liées à l'IA, mais les critiques craignent que l'accent mis sur les menaces existentielles de futures IA ne nuise à la R&D

Faut-il adopter ou boycotter l'IA ? Un critique appelle à boycotter l'IA, car elle n'est ni bonne pour la créativité ni bonne pour les compétences, et a été créée pour escroquer les utilisateurs