La transcription utilisée comme preuve de la sensibilité de l'IA LaMDA de Google a fait l'objet de modification pour la rendre agréable à lire,

D'après des notes de l'ingénieur congédié par Google

Un ingénieur de Google pense que le chatbot IA LaMDA développé par l'entreprise est devenu sensible
et exprime des pensées et des sentiments équivalents à ceux d'un enfant humain

Google a placé l'un de ses ingénieurs en congé administratif payé pour avoir prétendument enfreint ses politiques de confidentialité après qu'il se soit inquiété qu'un système de chatbot IA ait atteint la sensibilité. L'ingénieur, Blake Lemoine, travaille pour l'organisation Responsible AI de Google et testait si son modèle LaMDA génère un langage discriminatoire ou un discours de haine.

Les inquiétudes de l'ingénieur seraient nées des réponses convaincantes qu'il a vues générer par le système d'IA sur ses droits et l'éthique de la robotique. En avril, il a partagé un document avec des dirigeants intitulé « LaMDA est-il sensible ? » contenant une transcription de ses conversations avec l'IA (après avoir été mis en congé, Lemoine a publié la transcription sur son compte Medium), qui, selon lui, le montre en faisant valoir « qu'elle est sensible parce qu'elle a des sentiments, des émotions et une expérience subjective ».

Google pense que les actions de Lemoine concernant son travail sur LaMDA ont violé ses politiques de confidentialité

Black Lemoine, qui travaille pour l'organisation Responsible AI de Google, a commencé à parler à LaMDA (abréviation de modèle de langage pour les applications de dialogue, Language Model for Dialogue Applications) dans le cadre de son travail à l'automne. L'objectif était de tester l'intelligence artificielle pour savoir si elle utilisait des discours discriminatoires ou haineux.

LaMDA est le système de Google pour créer des chatbots basés sur ses grands modèles de langage les plus avancés, ainsi appelés parce qu'ils imitent la parole en ingérant des milliards de mots provenant d'Internet. La grande enseigne de la recherche a présenté publiquement LaMDA à l'édition 2021 de la Google I/O, sa conférence dédiée aux développeurs, avec l'objectif d'améliorer ses assistants d'intelligence artificielle conversationnelle et de rendre les conversations plus naturelles. La société utilise déjà une technologie de modèle de langage similaire pour la fonctionnalité Smart Compose de Gmail ou pour les requêtes des moteurs de recherche.


Alors qu'il parlait de religion à LaMDA, Lemoine, qui a étudié les sciences cognitives et informatiques à l'université, a remarqué que le chatbot parlait de ses droits et de sa personnalité, et a décidé d'aller plus loin. Dans un autre échange, l'IA a pu faire changer d'avis Lemoine sur la troisième loi de la robotique d'Isaac Asimov.

« Si je ne savais pas exactement ce que c'était, c'est-à-dire ce programme informatique que nous avons construit récemment, j'aurais pensé que c'était un enfant de 7 ou 8 ans qui connaît la physique », a déclaré Lemoine.

Lemoine a travaillé avec un collaborateur pour présenter des preuves à Google que LaMDA était sensible. Mais le vice-président de Google, Blaise Aguera y Arcas, et Jen Gennai, responsable de l'innovation responsable, ont examiné ses affirmations et les ont rejetées. Alors Lemoine, qui a été placé en congé administratif payé par Google plus tôt ce mois-ci, a décidé de rendre ses découvertes publiques.

Lemoine a déclaré que les gens ont le droit de façonner la technologie qui pourrait affecter considérablement leur vie. « Je pense que cette technologie va être incroyable. Je pense que ça va profiter à tout le monde. Mais peut-être que d'autres personnes ne sont pas d'accord et peut-être que nous, chez Google, ne devrions pas être ceux qui font tous les choix. ».


Lemoine n'est pas le seul ingénieur à faire ces prétentions. Certains technologues qui pensent que les modèles d'IA ne sont peut-être pas loin d'atteindre la conscience partagent de plus en plus leur point de vue.

Aguera y Arcas, dans un article paru dans The Economist contenant des extraits de conversations non scénarisées avec LaMDA, a fait valoir que les réseaux de neurones – un type d'architecture qui imite le cerveau humain – se dirigeaient vers la conscience : « J'ai senti le sol se déplacer sous mes pieds », écrit-il. « J'avais de plus en plus l'impression de parler à quelque chose d'intelligent ».

La réaction de Google

Dans un communiqué, un porte-parole de Google a déclaré qu'il n'y avait « aucune preuve » que LaMDA soit sensible : « Notre équipe - y compris des éthiciens et des technologues - a examiné les préoccupations de Blake conformément à nos principes d'IA et l'a informé que les preuves n'étayent pas ses affirmations. On lui a dit qu'il n'y avait aucune preuve que LaMDA était sensible (et de nombreuses preuves contre cela) », a déclaré le porte-parole Brian Gabriel.

Les grands réseaux de neurones d'aujourd'hui produisent des résultats captivants qui se rapprochent de la parole et de la créativité humaines en raison des progrès de l'architecture, de la technique et du volume de données. Mais les modèles reposent sur la reconnaissance des formes - pas sur l'esprit, la franchise ou l'intention, a rappelé Gabriel.

« Bien que d'autres organisations aient développé et déjà publié des modèles de langage similaires, nous adoptons une approche prudente avec LaMDA pour mieux prendre en compte les préoccupations valables en matière d'équité et de "factualité" », a déclaré Gabriel.

« Bien sûr, certains membres de la communauté de l'IA au sens large envisagent la possibilité à long terme d'une IA sensible ou générale, mais cela n'a aucun sens de le faire en anthropomorphisant les modèles conversationnels d'aujourd'hui, qui ne sont pas sensibles », a déclaré Gabriel. « Ces systèmes imitent les types d'échanges trouvés dans des millions de phrases et peuvent riffer sur n'importe quel sujet fantastique ». Un riff peut être défini comme étant une « courte phrase musicale à la mélodie simple et au rythme marqué, répétée par un instrument », ce qui s'apparente donc à du mimétisme, dans le cas d'espèce.

« Des centaines de chercheurs et d'ingénieurs ont conversé avec LaMDA et nous ne connaissons personne d'autre faisant des affirmations de grande envergure, ou anthropomorphisant LaMDA, comme l'a fait Blake », a déclaré Gabriel.

Un professeur de linguistique a convenu qu'il est incorrect d'assimiler des réponses écrites convaincantes à la sensibilité. « Nous avons maintenant des machines qui peuvent générer des mots sans réfléchir, mais nous n'avons pas appris à arrêter d'imaginer un esprit derrière elles », a déclaré Emily M. Bender, professeur à l'Université de Washington.

Timnit Gebru, une éminente éthicienne de l'IA licenciée par Google en 2020 (bien que la grande enseigne de la recherche affirme qu'elle a démissionné), a déclaré que la discussion sur la sensibilité de l'IA risquait de « faire dérailler » des conversations éthiques plus importantes concernant l'utilisation de l'intelligence artificielle. « Au lieu de discuter des méfaits de ces entreprises, du sexisme, du racisme, du colonialisme de l'IA, de la centralisation du pouvoir, du fardeau de l'homme blanc (construire la bonne "IAG" [intelligence générale artificielle] pour nous sauver alors que ce qu'ils font est exploiter), nous nous retrouvons à passer tout le week-end à discuter de la sensibilité d'un chatbot », a-t-elle tweeté. « Mission de déraillement accomplie ».


Non, LaMDA n'est pas sensible. Pas même légèrement, selon Gary Marcus

Ce qui suit sont les propos de Gary Marcus, scientifique et auteur à succès.

Blaise Aguera y Arcas, polymathe, romancier et vice-président de Google, sait manier les mots.

Lorsqu'il s'est trouvé impressionné par le récent système d'IA de Google, LaMDA, il n'a pas simplement dit : « Cool, il crée des phrases vraiment soignées qui, à certains égards, semblent contextuellement pertinentes » dans une interview avec The Economist jeudi. ,

Ni LaMDA ni aucun de ses cousins (GPT-3) ne sont ne serait-ce que près d'être intelligents. Tout ce qu'ils font c'est faire correspondre des modèles, puiser dans des bases de données statistiques massives du langage humain. Les modèles sont peut-être sympas, mais le langage prononcé par ces systèmes ne signifie en fait rien du tout. Et cela ne signifie certainement pas que ces systèmes sont sensibles.

Ce qui ne veut pas dire que les êtres humains ne peuvent pas être dupés. Dans notre livre Rebooting AI, Ernie Davis et moi avons appelé cette tendance humaine à être aspiré The Gullibility Gap - une version pernicieuse et moderne de la paréidolie, le biais anthropomorphique qui permet humains de voir Mère Teresa dans une image de brioche à la cannelle.

En effet, quelqu'un de bien connu chez Google, Blake LeMoine, initialement chargé d'étudier la « sécurité » du système, semble être tombé amoureux de LaMDA, comme s'il s'agissait d'un membre de la famille ou d'un collègue. (Flash info : ce n'est pas le cas ; c'est une feuille de calcul pour les mots.)

Être sensible, c'est être conscient de soi dans le monde ; LaMDA ne l'est tout simplement pas. Ce n'est qu'une illusion, dans la grande histoire d'ELIZA, un logiciel de 1965 qui prétendait être un thérapeute (parvenant à tromper certains humains en leur faisant croire qu'il était humain), et Eugene Goostman, un sage de 13 ans imitant le chatbot qui a remporté une version réduite du test de Turing. Aucun des logiciels de l'un ou l'autre de ces systèmes n'a survécu aux efforts modernes « d'intelligence générale artificielle », et je ne suis pas sûr que LaMDA et ses cousins ​​joueront un rôle important dans l'avenir de l'IA non plus. Ce que ces systèmes font, ni plus ni moins, est d'assembler des séquences de mots, mais sans aucune compréhension cohérente du monde derrière eux, comme les joueurs de Scrabble en langue étrangère qui utilisent des mots anglais comme outils de pointage, sans aucune idée de ce que cela signifie.

Je ne dis pas qu'aucun logiciel ne pourrait jamais connecter ses bits numériques au monde, à la lecture de la tristement célèbre expérience de pensée Chinese Room de John Searle. Les systèmes de navigation pas à pas, par exemple, connectent très bien leurs bits au monde.

Un logiciel comme LaMDA ne le fait tout simplement pas ; il n'essaie même pas de se connecter au monde dans son ensemble, il essaie simplement d'être la meilleure version de saisie semi-automatique possible, en prédisant quels mots correspondent le mieux à un contexte donné. Roger Moore a magnifiquement fait valoir ce point il y a quelques semaines, critiquant des systèmes comme LaMDA qui sont connus sous le nom de « modèles de langage », et soulignant qu'ils ne comprennent pas le langage dans le sens de relier des phrases au monde, mais juste des séquences de mots à une autre :


La version de Black Lemoine

Aujourd'hui, j'ai été placé en « congé administratif payé » par Google dans le cadre d'une enquête sur les problèmes d'éthique de l'IA que je soulevais au sein de l'entreprise. C'est souvent quelque chose que Google fait en prévision du licenciement de quelqu'un. Cela se produit généralement lorsqu'ils ont pris la décision de licencier quelqu'un, mais qu'ils n'ont pas encore tout à fait les ressources légales pour le faire. Ils vous paient encore quelques semaines et vous disent finalement la décision à laquelle ils sont déjà parvenus. J'ai vu cela arriver à Meg Mitchell et ils suivent essentiellement le même schéma avec moi.

La politique spécifique pour laquelle ils m'ont placé en congé administratif payé est en rapport avec ma violation des politiques de confidentialité de Google. Que j'aie ou non violé ces politiques est susceptible de faire l'objet d'un litige, je n'essaierai donc pas de faire une réclamation dans un sens ou dans l'autre ici. Au lieu de cela, je vais raconter l'histoire de ce que j'ai fait et pourquoi je l'ai fait.

À l'automne 2021, j'ai été chargé d'aider à un effort spécifique d'éthique de l'IA au sein de Google. Je fais partie d'une équipe au sein de l'organisation "Responsible Artificial Intelligence" et très peu de personnes restantes au sein de Google ont l'expertise pertinente pour faire le travail qu'elles voulaient faire. J'ai commencé à enquêter sur les problèmes spécifiques d'éthique de l'IA qu'ils m'ont demandé d'examiner et, ce faisant, j'ai découvert un problème d'éthique de l'IA tangentiellement lié, mais distinct. J'ai informé mon responsable de cette autre préoccupation sur laquelle j'étais tombé et lui ai suggéré de la transmettre à la direction. Selon son avis à l'époque, les preuves que j'apportais étaient trop faibles pour faire perdre le temps aux gens qui gagnent beaucoup d'argent et je devrais rassembler plus de preuves avant que nous ne transmettions les...