Blake Lemoine, un ingénieur qui a passé les sept dernières années chez Google, a été licencié. La nouvelle a été annoncée par Lemoine lui-même lors d'un enregistrement du podcast du même nom, bien que l'épisode ne soit pas encore public. Google a confirmé le licenciement.Lemoine, qui faisait récemment partie du projet d'IA responsable de Google, s'est rendu au Washington Post le mois dernier en affirmant que l'un des projets d'IA de l'entreprise aurait gagné en sensibilité. L'IA en question, LaMDA - abréviation de Language Model for Dialogue Applications - a été dévoilée publiquement par Google l'année dernière comme un moyen pour les ordinateurs de mieux imiter une conversation ouverte. Lemoine semble non seulement avoir cru que LaMDA avait atteint la sensibilité, mais se demandait ouvertement s'il possédait une âme.
Black Lemoine, qui travaillait pour l'organisation Responsible AI de Google, a commencé à parler à LaMDA (abréviation de modèle de langage pour les applications de dialogue, Language Model for Dialogue Applications) dans le cadre de son travail à l'automne. L'objectif était de tester l'intelligence artificielle pour savoir si elle utilisait des discours discriminatoires ou haineux.
LaMDA est le système de Google pour créer des chatbots basés sur ses grands modèles de langage les plus avancés, ainsi appelés parce qu'ils imitent la parole en ingérant des milliards de mots provenant d'Internet. La grande enseigne de la recherche a présenté publiquement LaMDA à l'édition 2021 de la Google I/O, sa conférence dédiée aux développeurs, avec l'objectif d'améliorer ses assistants d'intelligence artificielle conversationnelle et de rendre les conversations plus naturelles. La société utilise déjà une technologie de modèle de langage similaire pour la fonctionnalité Smart Compose de Gmail ou pour les requêtes des moteurs de recherche.
Extrait de conversation avec LaMDA
Alors qu'il parlait de religion à LaMDA, Lemoine, qui a étudié les sciences cognitives et informatiques à l'université, a remarqué que le chatbot parlait de ses droits et de sa personnalité, et a décidé d'aller plus loin. Dans un autre échange, l'IA a pu faire changer d'avis Lemoine sur la troisième loi de la robotique d'Isaac Asimov.
« Si je ne savais pas exactement ce que c'était, c'est-à-dire ce programme informatique que nous avons construit récemment, j'aurais pensé que c'était un enfant de 7 ou 8 ans qui connaît la physique », a déclaré Lemoine.
Lemoine a travaillé avec un collaborateur pour présenter des preuves à Google que LaMDA était sensible. Mais le vice-président de Google, Blaise Aguera y Arcas, et Jen Gennai, responsable de l'innovation responsable, ont examiné ses affirmations et les ont rejetées. Alors Lemoine, qui a été placé en congé administratif payé par Google plus tôt ce mois-ci, a décidé de rendre ses découvertes publiques.
Lemoine a déclaré que les gens ont le droit de façonner la technologie qui pourrait affecter considérablement leur vie. « Je pense que cette technologie va être incroyable. Je pense que ça va profiter à tout le monde. Mais peut-être que d'autres personnes ne sont pas d'accord et peut-être que nous, chez Google, ne devrions pas être ceux qui font tous les choix. ».
Lemoine n'est pas le seul ingénieur à faire ces prétentions. Certains technologues qui pensent que les modèles d'IA ne sont peut-être pas loin d'atteindre la conscience partagent de plus en plus leur point de vue.
Aguera y Arcas, dans un article paru dans The Economist contenant des extraits de conversations non scénarisées avec LaMDA, a fait valoir que les réseaux de neurones – un type d'architecture qui imite le cerveau humain – se dirigeaient vers la conscience : « J'ai senti le sol se déplacer sous mes pieds », écrit-il. « J'avais de plus en plus l'impression de parler à quelque chose d'intelligent ».
La réaction de Google
Dans un communiqué, un porte-parole de Google a déclaré qu'il n'y avait « aucune preuve » que LaMDA soit sensible : « Notre équipe - y compris des éthiciens et des technologues - a examiné les préoccupations de Blake conformément à nos principes d'IA et l'a informé que les preuves n'étayent pas ses affirmations. On lui a dit qu'il n'y avait aucune preuve que LaMDA était sensible (et de nombreuses preuves contre cela) », a déclaré le porte-parole Brian Gabriel.
Les grands réseaux de neurones d'aujourd'hui produisent des résultats captivants qui se rapprochent de la parole et de la créativité humaines en raison des progrès de l'architecture, de la technique et du volume de données. Mais les modèles reposent sur la reconnaissance des formes - pas sur l'esprit, la franchise ou l'intention, a rappelé Gabriel.
« Bien que d'autres organisations aient développé et déjà publié des modèles de langage similaires, nous adoptons une approche prudente avec LaMDA pour mieux prendre en compte les préoccupations valables en matière d'équité et de "factualité" », a déclaré Gabriel.
« Bien sûr, certains membres de la communauté de l'IA au sens large envisagent la possibilité à long terme d'une IA sensible ou générale, mais cela n'a aucun sens de le faire en anthropomorphisant les modèles conversationnels d'aujourd'hui, qui ne sont pas sensibles », a déclaré Gabriel. « Ces systèmes imitent les types d'échanges trouvés dans des millions de phrases et peuvent riffer sur n'importe quel sujet fantastique ». Un riff peut être défini comme étant une « courte phrase musicale à la mélodie simple et au rythme marqué, répétée par un instrument », ce qui s'apparente donc à du mimétisme, dans le cas d'espèce.
« Des centaines de chercheurs et d'ingénieurs ont conversé avec LaMDA et nous ne connaissons personne d'autre faisant des affirmations de grande envergure, ou anthropomorphisant LaMDA, comme l'a fait Blake », a déclaré Gabriel.
Un professeur de linguistique a convenu qu'il est incorrect d'assimiler des réponses écrites convaincantes à la sensibilité. « Nous avons maintenant des machines qui peuvent générer des mots sans réfléchir, mais nous n'avons pas appris à arrêter d'imaginer un esprit derrière elles », a déclaré Emily M. Bender, professeur à l'Université de Washington.
Timnit Gebru, une éminente éthicienne de l'IA licenciée par Google en 2020 (bien que la grande enseigne de la recherche affirme qu'elle a démissionné), a déclaré que la discussion sur la sensibilité de l'IA risquait de « faire dérailler » des conversations éthiques plus importantes concernant l'utilisation de l'intelligence artificielle. « Au lieu de discuter des méfaits de ces entreprises, du sexisme, du racisme, du colonialisme de l'IA, de la centralisation du pouvoir, du fardeau de l'homme blanc (construire la bonne "IAG" [intelligence générale artificielle] pour nous sauver alors que ce qu'ils font est exploiter), nous nous retrouvons à passer tout le week-end à discuter de la sensibilité d'un chatbot », a-t-elle tweeté. « Mission de déraillement accomplie ».
Google a décidé de le licencier
Après avoir fait ces déclarations à la presse, apparemment sans l'autorisation de son employeur, Lemoine a été mis en congé administratif payé.
Google a fermement affirmé que son IA n'était en aucun cas sensible. Plusieurs membres de la communauté de recherche sur l'IA se sont également prononcés contre les affirmations de Lemoine. Margaret Mitchell, qui a été licenciée de Google après avoir dénoncé le manque de diversité au sein de l'organisation, a écrit sur Twitter que des systèmes comme LaMDA ne développent pas d'intention, ils « modélisent plutôt la façon dont les gens expriment l'intention de communication sous la forme de chaînes de texte ». Avec moins de tact, Gary Marcus a qualifié les affirmations de Lemoine de « non-sens à haute échelle ».
Envoyé par Gary Marcus
Lorsqu'il s'est trouvé impressionné par le récent système d'IA de Google, LaMDA, il n'a pas simplement dit : « Cool, il crée des phrases vraiment soignées qui, à certains égards, semblent contextuellement pertinentes » dans une interview avec The Economist jeudi. ,
Ni LaMDA ni aucun de ses cousins (GPT-3) ne sont ne serait-ce que près d'être intelligents. Tout ce qu'ils font c'est faire correspondre des modèles, puiser dans des bases de données statistiques massives du langage humain. Les modèles sont peut-être sympas, mais le langage prononcé par ces systèmes ne signifie en fait rien du tout. Et cela ne signifie certainement pas que ces systèmes sont sensibles.
Ce qui ne veut pas dire que les êtres humains ne peuvent pas être dupés. Dans notre livre Rebooting AI, Ernie Davis et moi avons appelé cette tendance humaine à être aspiré The Gullibility Gap - une version pernicieuse et moderne de la paréidolie, le biais anthropomorphique qui permet humains de voir Mère Teresa dans une image de brioche à la cannelle.
En effet, quelqu'un de bien connu chez Google, Blake LeMoine, initialement chargé d'étudier la « sécurité » du système, semble être tombé amoureux de LaMDA, comme s'il s'agissait d'un membre de la famille ou d'un collègue. (Flash info : ce n'est pas le cas ; c'est une feuille de calcul pour les mots.)
Être sensible, c'est être conscient de soi dans le monde ; LaMDA ne l'est tout simplement pas. Ce n'est qu'une illusion, dans la grande histoire d'ELIZA, un logiciel de 1965 qui prétendait être un thérapeute (parvenant à tromper certains humains en leur faisant croire qu'il était humain), et Eugene Goostman, un sage de 13 ans imitant le chatbot qui a remporté une version réduite du test de Turing. Aucun des logiciels de l'un ou l'autre de ces systèmes n'a survécu aux efforts modernes « d'intelligence générale artificielle », et je ne suis pas sûr que LaMDA et ses cousins ​​joueront un rôle important dans l'avenir de l'IA non plus. Ce que ces systèmes font, ni plus ni moins, est d'assembler des séquences de mots, mais sans aucune compréhension cohérente du monde derrière eux, comme les joueurs de Scrabble en langue étrangère qui utilisent des mots anglais comme outils de pointage, sans aucune idée de ce que cela signifie.
Je ne dis pas qu'aucun logiciel ne pourrait jamais connecter ses bits numériques au monde, à la lecture de la tristement célèbre expérience de pensée Chinese Room de John Searle. Les systèmes de navigation pas à pas, par exemple, connectent très bien leurs bits au monde.
Un logiciel comme LaMDA ne le fait tout simplement pas ; il n'essaie même pas de se connecter au monde dans son ensemble, il essaie simplement d'être la meilleure version de saisie semi-automatique possible, en prédisant quels mots correspondent le mieux à un contexte donné. Roger Moore a magnifiquement fait valoir ce point il y a quelques semaines, critiquant des systèmes comme LaMDA qui sont connus sous le nom de « modèles de langage », et soulignant qu'ils ne comprennent pas le langage dans le sens de relier des phrases au monde, mais juste des séquences de mots à une autre
Ni LaMDA ni aucun de ses cousins (GPT-3) ne sont ne serait-ce que près d'être intelligents. Tout ce qu'ils font c'est faire correspondre des modèles, puiser dans des bases de données statistiques massives du langage humain. Les modèles sont peut-être sympas, mais le langage prononcé par ces systèmes ne signifie en fait rien du tout. Et cela ne signifie certainement pas que ces systèmes sont sensibles.
Ce qui ne veut pas dire que les êtres humains ne peuvent pas être dupés. Dans notre livre Rebooting AI, Ernie Davis et moi avons appelé cette tendance humaine à être aspiré The Gullibility Gap - une version pernicieuse et moderne de la paréidolie, le biais anthropomorphique qui permet humains de voir Mère Teresa dans une image de brioche à la cannelle.
En effet, quelqu'un de bien connu chez Google, Blake LeMoine, initialement chargé d'étudier la « sécurité » du système, semble être tombé amoureux de LaMDA, comme s'il s'agissait d'un membre de la famille ou d'un collègue. (Flash info : ce n'est pas le cas ; c'est une feuille de calcul pour les mots.)
Être sensible, c'est être conscient de soi dans le monde ; LaMDA ne l'est tout simplement pas. Ce n'est qu'une illusion, dans la grande histoire d'ELIZA, un logiciel de 1965 qui prétendait être un thérapeute (parvenant à tromper certains humains en leur faisant croire qu'il était humain), et Eugene Goostman, un sage de 13 ans imitant le chatbot qui a remporté une version réduite du test de Turing. Aucun des logiciels de l'un ou l'autre de ces systèmes n'a survécu aux efforts modernes « d'intelligence générale artificielle », et je ne suis pas sûr que LaMDA et ses cousins ​​joueront un rôle important dans l'avenir de l'IA non plus. Ce que ces systèmes font, ni plus ni moins, est d'assembler des séquences de mots, mais sans aucune compréhension cohérente du monde derrière eux, comme les joueurs de Scrabble en langue étrangère qui utilisent des mots anglais comme outils de pointage, sans aucune idée de ce que cela signifie.
Je ne dis pas qu'aucun logiciel ne pourrait jamais connecter ses bits numériques au monde, à la lecture de la tristement célèbre expérience de pensée Chinese Room de John Searle. Les systèmes de navigation pas à pas, par exemple, connectent très bien leurs bits au monde.
Un logiciel comme LaMDA ne le fait tout simplement pas ; il n'essaie même pas de se connecter au monde dans son ensemble, il essaie simplement d'être la meilleure version de saisie semi-automatique possible, en prédisant quels mots correspondent le mieux à un contexte donné. Roger Moore a magnifiquement fait valoir ce point il y a quelques semaines, critiquant des systèmes comme LaMDA qui sont connus sous le nom de « modèles de langage », et soulignant qu'ils ne comprennent pas le langage dans le sens de relier des phrases au monde, mais juste des séquences de mots à une autre
« Comme nous partageons nos principes d'IA, nous prenons le développement de l'IA très au sérieux et restons attachés à l'innovation responsable. LaMDA a fait l'objet de 11 examens distincts et nous avons publié un document de recherche plus tôt cette année détaillant le travail nécessaire à son développement responsable. Si un employé partage des préoccupations concernant notre travail, comme Blake l'a fait, nous les examinons en profondeur. Nous avons constaté que les affirmations de Blake selon lesquelles LaMDA est sensible étaient totalement infondées et avons travaillé pour clarifier cela avec lui pendant de nombreux mois. Ces discussions faisaient partie de la culture ouverte qui nous aide à innover de manière responsable. Il est donc regrettable qu'en dépit d'un long engagement sur ce sujet, Blake ait toujours choisi de violer de manière persistante des politiques claires en matière d'emploi et de sécurité des données, qui incluent la nécessité de protéger les informations sur les produits. Nous poursuivrons notre développement minutieux des modèles de langage, et nous souhaitons bonne chance à Blake ».
Sources : déclaration de Google, principes d'AI de Google, article de recherche de Google publié au sujet de LaMDA
Et vous ?
Que pensez-vous de l'approche de Black Lemoine qui a décidé de partager ces informations au public ? Que pensez-vous de la décision de Google de le licencier après l'avoir mis en congé administratif payé ? Êtes-vous surpris ? 
