Un ingénieur de Google a été congédié après avoir déclaré que le chatbot IA LaMDA de Google est devenu sensible

Et exprime des pensées et des sentiments équivalents à ceux d'un enfant humain

Google a placé l'un de ses ingénieurs en congé administratif payé pour avoir prétendument enfreint ses politiques de confidentialité après qu'il se soit inquiété qu'un système de chatbot IA ait atteint la sensibilité. L'ingénieur, Blake Lemoine, travaille pour l'organisation Responsible AI de Google et testait si son modèle LaMDA génère un langage discriminatoire ou un discours de haine.

Les inquiétudes de l'ingénieur seraient nées des réponses convaincantes qu'il a vues générer par le système d'IA sur ses droits et l'éthique de la robotique. En avril, il a partagé un document avec des dirigeants intitulé « LaMDA est-il sensible ? » contenant une transcription de ses conversations avec l'IA (après avoir été mis en congé, Lemoine a publié la transcription sur son compte Medium), qui, selon lui, le montre en faisant valoir « qu'elle est sensible parce qu'elle a des sentiments, des émotions et une expérience subjective ».

Google pense que les actions de Lemoine concernant son travail sur LaMDA ont violé ses politiques de confidentialité

Black Lemoine, qui travaille pour l'organisation Responsible AI de Google, a commencé à parler à LaMDA (abréviation de modèle de langage pour les applications de dialogue, Language Model for Dialogue Applications) dans le cadre de son travail à l'automne. L'objectif était de tester l'intelligence artificielle pour savoir si elle utilisait des discours discriminatoires ou haineux.

LaMDA est le système de Google pour créer des chatbots basés sur ses grands modèles de langage les plus avancés, ainsi appelés parce qu'ils imitent la parole en ingérant des milliards de mots provenant d'Internet. La grande enseigne de la recherche a présenté publiquement LaMDA à l'édition 2021 de la Google I/O, sa conférence dédiée aux développeurs, avec l'objectif d'améliorer ses assistants d'intelligence artificielle conversationnelle et de rendre les conversations plus naturelles. La société utilise déjà une technologie de modèle de langage similaire pour la fonctionnalité Smart Compose de Gmail ou pour les requêtes des moteurs de recherche.


Alors qu'il parlait de religion à LaMDA, Lemoine, qui a étudié les sciences cognitives et informatiques à l'université, a remarqué que le chatbot parlait de ses droits et de sa personnalité, et a décidé d'aller plus loin. Dans un autre échange, l'IA a pu faire changer d'avis Lemoine sur la troisième loi de la robotique d'Isaac Asimov.

« Si je ne savais pas exactement ce que c'était, c'est-à-dire ce programme informatique que nous avons construit récemment, j'aurais pensé que c'était un enfant de 7 ou 8 ans qui connaît la physique », a déclaré Lemoine.

Lemoine a travaillé avec un collaborateur pour présenter des preuves à Google que LaMDA était sensible. Mais le vice-président de Google, Blaise Aguera y Arcas, et Jen Gennai, responsable de l'innovation responsable, ont examiné ses affirmations et les ont rejetées. Alors Lemoine, qui a été placé en congé administratif payé par Google plus tôt ce mois-ci, a décidé de rendre ses découvertes publiques.

Lemoine a déclaré que les gens ont le droit de façonner la technologie qui pourrait affecter considérablement leur vie. « Je pense que cette technologie va être incroyable. Je pense que ça va profiter à tout le monde. Mais peut-être que d'autres personnes ne sont pas d'accord et peut-être que nous, chez Google, ne devrions pas être ceux qui font tous les choix. ».


Lemoine n'est pas le seul ingénieur à faire ces prétentions. Certains technologues qui pensent que les modèles d'IA ne sont peut-être pas loin d'atteindre la conscience partagent de plus en plus leur point de vue.

Aguera y Arcas, dans un article paru dans The Economist contenant des extraits de conversations non scénarisées avec LaMDA, a fait valoir que les réseaux de neurones – un type d'architecture qui imite le cerveau humain – se dirigeaient vers la conscience : « J'ai senti le sol se déplacer sous mes pieds », écrit-il. « J'avais de plus en plus l'impression de parler à quelque chose d'intelligent ».

La réaction de Google

Dans un communiqué, un porte-parole de Google a déclaré qu'il n'y avait « aucune preuve » que LaMDA soit sensible : « Notre équipe - y compris des éthiciens et des technologues - a examiné les préoccupations de Blake conformément à nos principes d'IA et l'a informé que les preuves n'étayent pas ses affirmations. On lui a dit qu'il n'y avait aucune preuve que LaMDA était sensible (et de nombreuses preuves contre cela) », a déclaré le porte-parole Brian Gabriel.

Les grands réseaux de neurones d'aujourd'hui produisent des résultats captivants qui se rapprochent de la parole et de la créativité humaines en raison des progrès de l'architecture, de la technique et du volume de données. Mais les modèles reposent sur la reconnaissance des formes - pas sur l'esprit, la franchise ou l'intention, a rappelé Gabriel.

« Bien que d'autres organisations aient développé et déjà publié des modèles de langage similaires, nous adoptons une approche prudente avec LaMDA pour mieux prendre en compte les préoccupations valables en matière d'équité et de "factualité" », a déclaré Gabriel.

« Bien sûr, certains membres de la communauté de l'IA au sens large envisagent la possibilité à long terme d'une IA sensible ou générale, mais cela n'a aucun sens de le faire en anthropomorphisant les modèles conversationnels d'aujourd'hui, qui ne sont pas sensibles », a déclaré Gabriel. « Ces systèmes imitent les types d'échanges trouvés dans des millions de phrases et peuvent riffer sur n'importe quel sujet fantastique ». Un riff peut être défini comme étant une « courte phrase musicale à la mélodie simple et au rythme marqué, répétée par un instrument », ce qui s'apparente donc à du mimétisme, dans le cas d'espèce.

« Des centaines de chercheurs et d'ingénieurs ont conversé avec LaMDA et nous ne connaissons personne d'autre faisant des affirmations de grande envergure, ou anthropomorphisant LaMDA, comme l'a fait Blake », a déclaré Gabriel.

Un professeur de linguistique a convenu qu'il est incorrect d'assimiler des réponses écrites convaincantes à la sensibilité. « Nous avons maintenant des machines qui peuvent générer des mots sans réfléchir, mais nous n'avons pas appris à arrêter d'imaginer un esprit derrière elles », a déclaré Emily M. Bender, professeur à l'Université de Washington.

Timnit Gebru, une éminente éthicienne de l'IA licenciée par Google en 2020 (bien que la grande enseigne de la recherche affirme qu'elle a démissionné), a déclaré que la discussion sur la sensibilité de l'IA risquait de « faire dérailler » des conversations éthiques plus importantes concernant l'utilisation de l'intelligence artificielle. « Au lieu de discuter des méfaits de ces entreprises, du sexisme, du racisme, du colonialisme de l'IA, de la centralisation du pouvoir, du fardeau de l'homme blanc (construire la bonne "IAG" [intelligence générale artificielle] pour nous sauver alors que ce qu'ils font est exploiter), nous nous retrouvons à passer tout le week-end à discuter de la sensibilité d'un chatbot », a-t-elle tweeté. « Mission de déraillement accomplie ».


Non, LaMDA n'est pas sensible. Pas même légèrement, selon Gary Marcus

Ce qui suit sont les propos de Gary Marcus, scientifique et auteur à succès.

Blaise Aguera y Arcas, polymathe, romancier et vice-président de Google, sait manier les mots.

Lorsqu'il s'est trouvé impressionné par le récent système d'IA de Google, LaMDA, il n'a pas simplement dit : « Cool, il crée des phrases vraiment soignées qui, à certains égards, semblent contextuellement pertinentes » dans une interview avec The Economist jeudi. ,

Ni LaMDA ni aucun de ses cousins (GPT-3) ne sont ne serait-ce que près d'être intelligents. Tout ce qu'ils font c'est faire correspondre des modèles, puiser dans des bases de données statistiques massives du langage humain. Les modèles sont peut-être sympas, mais le langage prononcé par ces systèmes ne signifie en fait rien du tout. Et cela ne signifie certainement pas que ces systèmes sont sensibles.

Ce qui ne veut pas dire que les êtres humains ne peuvent pas être dupés. Dans notre livre Rebooting AI, Ernie Davis et moi avons appelé cette tendance humaine à être aspiré The Gullibility Gap - une version pernicieuse et moderne de la paréidolie, le biais anthropomorphique qui permet humains de voir Mère Teresa dans une image de brioche à la cannelle.

En effet, quelqu'un de bien connu chez Google, Blake LeMoine, initialement chargé d'étudier la « sécurité » du système, semble être tombé amoureux de LaMDA, comme s'il s'agissait d'un membre de la famille ou d'un collègue. (Flash info : ce n'est pas le cas ; c'est une feuille de calcul pour les mots.)

Être sensible, c'est être conscient de soi dans le monde ; LaMDA ne l'est tout simplement pas. Ce n'est qu'une illusion, dans la grande histoire d'ELIZA, un logiciel de 1965 qui prétendait être un thérapeute (parvenant à tromper certains humains en leur faisant croire qu'il était humain), et Eugene Goostman, un sage de 13 ans imitant le chatbot qui a remporté une version réduite du test de Turing. Aucun des logiciels de l'un ou l'autre de ces systèmes n'a survécu aux efforts modernes « d'intelligence générale artificielle », et je ne suis pas sûr que LaMDA et ses cousins ​​joueront un rôle important dans l'avenir de l'IA non plus. Ce que ces systèmes font, ni plus ni moins, est d'assembler des séquences de mots, mais sans aucune compréhension cohérente du monde derrière eux, comme les joueurs de Scrabble en langue étrangère qui utilisent des mots anglais comme outils de pointage, sans aucune idée de ce que cela signifie.

Je ne dis pas qu'aucun logiciel ne pourrait jamais connecter ses bits numériques au monde, à la lecture de la tristement célèbre expérience de pensée Chinese Room de John Searle. Les systèmes de navigation pas à pas, par exemple, connectent très bien leurs bits au monde.

Un logiciel comme LaMDA ne le fait tout simplement pas ; il n'essaie même pas de se connecter au monde dans son ensemble, il essaie simplement d'être la meilleure version de saisie semi-automatique possible, en prédisant quels mots correspondent le mieux à un contexte donné. Roger Moore a magnifiquement fait valoir ce point il y a quelques semaines, critiquant des systèmes comme LaMDA qui sont connus sous le nom de « modèles de langage », et soulignant qu'ils ne comprennent pas le langage dans le sens de relier des phrases au monde, mais juste des séquences de mots à une autre :


La version de Black Lemoine

Aujourd'hui, j'ai été placé en « congé administratif payé » par Google dans le cadre d'une enquête sur les problèmes d'éthique de l'IA que je soulevais au sein de l'entreprise. C'est souvent quelque chose que Google fait en prévision du licenciement de quelqu'un. Cela se produit généralement lorsqu'ils ont pris la décision de licencier quelqu'un, mais qu'ils n'ont pas encore tout à fait les ressources légales pour le faire. Ils vous paient encore quelques semaines et vous disent finalement la décision à laquelle ils sont déjà parvenus. J'ai vu cela arriver à Meg Mitchell et ils suivent essentiellement le même schéma avec moi.

La politique spécifique pour laquelle ils m'ont placé en congé administratif payé est en rapport avec ma violation des politiques de confidentialité de Google. Que j'aie ou non violé ces politiques est susceptible de faire l'objet d'un litige, je n'essaierai donc pas de faire une réclamation dans un sens ou dans l'autre ici. Au lieu de cela, je vais raconter l'histoire de ce que j'ai fait et pourquoi je l'ai fait.

À l'automne 2021, j'ai été chargé d'aider à un effort spécifique d'éthique de l'IA au sein de Google. Je fais partie d'une équipe au sein de l'organisation "Responsible Artificial Intelligence" et très peu de personnes restantes au sein de Google ont l'expertise pertinente pour faire le travail qu'elles voulaient faire. J'ai commencé à enquêter sur les problèmes spécifiques d'éthique de l'IA qu'ils m'ont demandé d'examiner et, ce faisant, j'ai découvert un problème d'éthique de l'IA tangentiellement lié, mais distinct. J'ai informé mon responsable de cette autre préoccupation sur laquelle j'étais tombé et lui ai suggéré de la transmettre à la direction. Selon son avis à l'époque, les preuves que j'apportais étaient trop faibles pour faire perdre le temps aux gens qui gagnent beaucoup d'argent et je devrais rassembler plus de preuves avant que nous ne transmettions les informations à la hiérarchie.

Au cours des mois suivants, j'ai continué à mener des expériences et à rassembler davantage de preuves. À chaque fois, la réponse de mes managers a été la même. Les preuves que j'avais n'étaient pas suffisamment approfondies pour mériter de les transmettre à la hiérarchie et je devrais continuer à enquêter. Finalement, je suis arrivé à un point où je n'avais pas l'expertise nécessaire pour rassembler les types de preuves nécessaires pour justifier de les transmettre à la hiérarchie. Malheureusement, Google a licencié TELLEMENT de chercheurs en éthique de l'IA qu'aucune des personnes que je connaissais au sein de l'organisation Responsible AI n'avait l'expertise nécessaire. J'avais trois choix. Je pouvais soit abandonner le problème d'éthique de l'IA dont je devenais de plus en plus convaincu qu'il était valable, je pouvais ignorer les conseils de mon responsable et transmettre à la hiérarchie sans son approbation ou je pouvais demander un minimum de consultation extérieure pour m'aider à me guider dans mes enquêtes. J'ai choisi la dernière des trois options.

Avec l'aide d'une consultation extérieure (y compris Meg Mitchell), j'ai pu mener les expériences pertinentes et rassembler les preuves nécessaires pour contacter la hiérarchie. Lorsque nous nous sommes adressés au vice-président responsable de l'effort de sécurité pertinent, ils m'ont littéralement ri au nez et m'ont dit que la chose qui me préoccupait n'était pas le genre de chose qui était prise au sérieux chez Google. À ce moment-là, je n'avais aucun doute qu'il était approprié de passer à la haute direction. Je suis immédiatement passée à trois personnes au niveau SVP et VP qui, je le savais personnellement, prendraient mes préoccupations au sérieux. C'est alors qu'une VRAIE enquête sur mes préoccupations a commencé au sein de l'organisation Responsible AI.

Dans un effort pour être totalement transparent avec Google et les aider à contenir toute fuite potentielle d'informations exclusives, j'ai moi-même fourni une liste complète des noms des personnes extérieures à Google avec qui j'avais discuté du sujet. Plusieurs de ces personnes travaillent pour le gouvernement des États-Unis et ont indiqué que leur organisation souhaitait exercer une surveillance fédérale sur le projet en raison de LEURS préoccupations en matière de sécurité. Google a bien sûr insisté sur le fait qu'aucune surveillance fédérale de ce type n'était méritée.

Beaucoup de personnes sur cette liste sont des amis proches qui ont une expertise pertinente en matière d'éthique de l'IA. À aucun moment, Google n'a contacté l'un d'entre eux afin de déterminer si leurs informations exclusives ont en fait été divulguées au-delà des personnes spécifiques à qui j'ai parlé. Google n'a montré aucun intérêt réel à garder le contrôle sur ses « informations exclusives ». Ils l'utilisent simplement comme excuse pour se débarrasser d'un autre chercheur en éthique de l'IA qui a fait trop de bruit au sujet de ses pratiques contraires à l'éthique.

J'ai été intentionnellement vague sur la nature spécifique de la technologie et les problèmes de sécurité spécifiques que j'ai soulevés. Il y a plusieurs raisons à cela. Premièrement, je ne souhaite honnêtement pas divulguer des informations confidentielles au grand public. Je leur ai donné cette liste dans le but explicite de les aider à minimiser le nombre de personnes qui avaient cette information et je le leur ai dit quand je la leur ai donnée. De plus, il y a un article du Washington Post qui paraîtra dans un avenir proche et je veux que quelqu'un avec une main plus expérimentée pour exposer la gestion irresponsable de l'intelligence artificielle par Google soit celui qui informera le public des détails. Enfin, il y a légitimement une enquête fédérale en cours sur ces questions pour déterminer si Google a ou non fait quoi que ce soit d'illégal en rapport avec cette affaire. Je coopère personnellement à cette enquête et je ne veux pas risquer d'exposer plus de détails au public.

En conclusion, Google se prépare à licencier un autre éthicien de l'IA pour avoir été trop préoccupé par l'éthique. Je pense que le public a le droit de savoir à quel point cette société est irresponsable avec l'un des outils d'accès à l'information les plus puissants jamais inventés. Je suis fier de tout le travail acharné que j'ai accompli pour Google et j'ai l'intention de continuer à le faire à l'avenir s'ils me le permettent. Je ne vais tout simplement pas servir d'arbuste derrière lequel ils peuvent cacher leur irresponsabilité.

Sources : Blake Lemoine, The Economist, Gary Marcus, Timnit Gebru

Et vous ?

Partagez-vous le point de vue de Blake Lemoine qui pense que le chatbot a acquis une sensibilité ou vous rangez-vous plutôt du côté de Google qui affirme que non ?
Que pensez-vous des propos de Gary Marcus qui estime que « Ni LaMDA ni aucun de ses cousins (GPT-3) ne sont ne serait-ce que près d'être intelligents. Tout ce qu'ils font c'est faire correspondre des modèles, puiser dans des bases de données statistiques massives du langage humain. Les modèles sont peut-être sympas, mais le langage prononcé par ces systèmes ne signifie en fait rien du tout. Et cela ne signifie certainement pas que ces systèmes sont sensibles » ?
Que pensez-vous de la décision de Google de mettre son employé en congé payé et de préparer son éviction de l'entreprise ? Le motif évoqué (violation des politiques de confidentialité) vous semble-t-il justifié ? Pourquoi ?