Il y a des années, Daniel De Freitas et Noam Shazeer, ingénieurs chez Google, avaient développé un chatbot conversationnel de type ChatGPT qui pouvait parler de philosophie et d'émissions de télévision et faire des blagues. Cependant, les dirigeants de l'entreprise l'ont empêché d'être testé en dehors de l'entreprise ou d'être publié en tant que démo publique, invoquant des inquiétudes quant au non-respect des normes de l'entreprise, a rapporté le Wall Street Journal (WSJ). Le duo a depuis quitté l'entreprise.Le PDG Sundar Pichai lui-même est intervenu dans l'affaire et a demandé au duo de continuer à travailler dessus. Cependant, sans aucune assurance de rendre le chatbot public, les ingénieurs ont quitté Google en 2021 et ont créé leur propre entreprise qui fournit des chatbots interactifs qui peuvent jouer le rôle de Socrates ou d'Elon Musk.
Les chatbots conversationnels sont la nouveauté brillante dans l'industrie technologique, les entreprises cherchant à les intégrer à leurs produits. Microsoft a pris une longueur d'avance en cherchant à faire avancer de manière agressive les avantages découlant de son partenariat avec OpenAI. Google, d'autre part, a été dans les cordes après que son chatbot Bard ait non seulement fait une entrée très retardée, mais s'est également trompé dans l'une de ses réponses lors d'une démonstration.
De nombreux employés ont qualifié les tentatives de Google de publier Bard de « bâclées » et de « précipitées ». Cependant, comme il ressort du rapport du WSJ, Google semble avoir réagi trop lentement à ce que ses ingénieurs ont construit.
En 2012, le fondateur de Google, Larry Page, a fait appel à Ray Kurzweil, un pionnier des modèles de traitement du langage, qui a commencé à travailler sur plusieurs chatbots qui n'ont jamais été publiés. Face aux réactions négatives des employés concernant l'utilisation de l'IA à des fins militaires et de surveillance, Google a annoncé un cadre de sept principes d'IA pour guider son travail, qui comprenait des tests de sécurité.
C'est dans ce contexte que De Frietas, qui travaillait sur YouTube de Google, a lancé le chatbot IA qui pourrait imiter les conversations humaines en tant que projet parallèle. Le projet s'appelait à l'origine Meena, qui a été présenté dans un document de recherche en 2020.
À l'époque, Meena était formée sur 40 milliards de mots issus de conversations sur les réseaux sociaux, tandis que le GPT-2 d'OpenAI, un prédécesseur du GPT-3 qui alimente le chatbot AI, avait été formé sur huit millions de pages Web. OpenAI a publié une version pour que les chercheurs la testent, ce pour quoi Meena n'a pas obtenu l'approbation.
Envoyé par article sur Meena
La capacité de converser librement en langage naturel est l'une des caractéristiques de l'intelligence humaine et est probablement une exigence pour une véritable intelligence artificielle. Afin d'explorer cet aspect de l'intelligence, de nombreux chercheurs travaillent sur des chatbots à domaine ouvert. Contrairement aux chatbots de domaine fermé, qui répondent aux mots-clés ou aux intentions d'accomplir des tâches spécifiques, les chatbots à domaine ouvert peuvent engager une conversation sur n'importe quel sujet.
Certains chatbots à domaine ouvert tels que MILABOT (Serban et al., 2017), XiaoIce (Zhou et al., 2018), Gunrock (Chen et al., 2018), Mitsuku (Worswick, 2018) et Cleverbot (par Rollo Carpenter) affichent des attributs de type humain, mais s'appuient sur des cadres complexes, tels que des gestionnaires de dialogue avec des systèmes basés sur la connaissance, la récupération ou les règles. Les approches de réseau de neurones de bout en bout (Shang et al., 2015*; Vinyals et Le, 2015*; Sordoni et al., 2015*; Serban et al., 2016*; Zhang et al., 2019), d'autre part, offrent la simplicité d'un seul modèle appris. Malgré de nombreuses recherches, les chatbots de domaine ouvert ont encore des faiblesses qui les empêchent d'être généralement utiles*: ils répondent souvent aux entrées ouvertes d'une manière qui n'a pas de sens, ou avec des réponses vagues et génériques.
Nous présentons ici Meena, un modèle de chatbot génératif qui a été formé de bout en bout sur 40 milliards de mots extraits et filtrés à partir de conversations sur les réseaux sociaux du domaine public. Avec Meena, nous repoussons les limites de l'approche de bout en bout et montrons qu'un modèle à grande échelle et à faible perplexité peut être un bon interlocuteur.
Certains chatbots à domaine ouvert tels que MILABOT (Serban et al., 2017), XiaoIce (Zhou et al., 2018), Gunrock (Chen et al., 2018), Mitsuku (Worswick, 2018) et Cleverbot (par Rollo Carpenter) affichent des attributs de type humain, mais s'appuient sur des cadres complexes, tels que des gestionnaires de dialogue avec des systèmes basés sur la connaissance, la récupération ou les règles. Les approches de réseau de neurones de bout en bout (Shang et al., 2015*; Vinyals et Le, 2015*; Sordoni et al., 2015*; Serban et al., 2016*; Zhang et al., 2019), d'autre part, offrent la simplicité d'un seul modèle appris. Malgré de nombreuses recherches, les chatbots de domaine ouvert ont encore des faiblesses qui les empêchent d'être généralement utiles*: ils répondent souvent aux entrées ouvertes d'une manière qui n'a pas de sens, ou avec des réponses vagues et génériques.
Nous présentons ici Meena, un modèle de chatbot génératif qui a été formé de bout en bout sur 40 milliards de mots extraits et filtrés à partir de conversations sur les réseaux sociaux du domaine public. Avec Meena, nous repoussons les limites de l'approche de bout en bout et montrons qu'un modèle à grande échelle et à faible perplexité peut être un bon interlocuteur.
De Meena à LaMDA
Il y a donc quelques années, deux anciens ingénieurs de Google ont poussé leur ancien employeur à rendre public un chatbot similaire... et ils ont rencontré de la résistance, selon le rapport du Wall Street Journal.
Vers 2018, Daniel De Freitas, qui était ingénieur de recherche chez Google, a commencé à travailler sur un projet parallèle d'IA dans le but de créer un chatbot conversationnel qui imitait la façon dont les humains parlent, ont déclaré d'anciens collègues au Journal. Noam Shazeer, ingénieur logiciel pour l'unité de recherche sur l'IA de Google, a ensuite rejoint le projet.
Selon le Journal, De Freitas et Shazeer ont pu créer un chatbot, qu'ils ont appelé Meena, qui pouvait discuter de philosophie, parler avec désinvolture d'émissions de télévision et générer des jeux de mots sur les chevaux et les vaches. Ils pensaient que Meena pourrait radicalement changer la façon dont les gens effectuent les recherches en ligne, ont déclaré leurs anciens collègues au Journal.
Mais leurs efforts pour lancer le bot (qu'ils ont renommé LaMDA, qui deviendrait le modèle de langage derrière Bard) ont atteint une impasse après que les dirigeants de Google ont déclaré que le chatbot ne respectait pas ses normes de sécurité et d'équité en matière d'IA, selon le journal. Les dirigeants ont contrecarré les multiples tentatives faites par les ingénieurs pour envoyer le bot à des chercheurs externes, ajouter la fonctionnalité de chat à Google Assistant et lancer une démo au public, a rapporté le Journal.
Même si Google a présenté LaMDA au public, le chatbot ne l'était pas. Il a fait la une des journaux lorsque l'ingénieur Blake Lemione l'a qualifié de sensible, mais a été licencié pour divulgation publique.
La grande enseigne de la recherche a présenté publiquement LaMDA à l'édition 2021 de la Google I/O, sa conférence dédiée aux développeurs, avec l'objectif d'améliorer ses assistants d'intelligence artificielle conversationnelle et de rendre les conversations plus naturelles. La société utilise déjà une technologie de modèle de langage similaire pour la fonctionnalité Smart Compose de Gmail ou pour les requêtes des moteurs de recherche.
Alors qu'il parlait de religion à LaMDA, Lemoine, qui a étudié les sciences cognitives et informatiques à l'université, a remarqué que le chatbot parlait de ses droits et de sa personnalité, et a décidé d'aller plus loin. Dans un autre échange, l'IA a pu faire changer d'avis Lemoine sur la troisième loi de la robotique d'Isaac Asimov.
« Si je ne savais pas exactement ce que c'était, c'est-à-dire ce programme informatique que nous avons construit récemment, j'aurais pensé que c'était un enfant de 7 ou 8 ans qui connaît la physique », a déclaré Lemoine.
Lemoine a travaillé avec un collaborateur pour présenter des preuves à Google que LaMDA était sensible. Mais le vice-président de Google, Blaise Aguera y Arcas, et Jen Gennai, responsable de l'innovation responsable, ont examiné ses affirmations et les ont rejetées. Alors Lemoine, qui a été placé en congé administratif payé par Google plus tôt ce mois-ci, a décidé de rendre ses découvertes publiques.
Frustrés, les deux collègues quittent l'entreprise
De Freitas et Shazeer ont continué à travailler sur le chatbot et, en 2020, ont réussi à l'intégrer à Google Assistant. Comme les tests ont été effectués en interne, les dirigeants de Google n'ont pas autorisé une démonstration publique de la technologie, ce qui a frustré les deux ingénieurs.
Aussi, les deux collègues ont quitté Google vers la fin de 2021 pour créer leur propre entreprise – bien que le PDG Sundar Pichai leur ait personnellement demandé de rester et de continuer à travailler sur le chatbot, selon le journal. Leur société, qui s'appelle désormais Character.Ai, a depuis publié un chatbot qui peut incarner des personnages comme Elon Musk ou Mario de Nintendo.
« Cela a fait un peu de bruit au sein de Google », a déclaré Shazeer dans une interview avec les investisseurs Aarthi Ramamurthy et Sriram Krishnan le mois dernier. « Mais finalement, nous avons décidé que nous aurions probablement plus de chance de lancer des trucs en tant que startup ».
Google contrecarre ses propres efforts d'IA depuis 2012
L'hésitation de Google à publier ses outils d'IA n'est pas nouvelle.
En 2012, Google a embauché Ray Kurzweil pour travailler sur ses modèles de traitement du langage. Environ un an plus tard, Google a acheté la société britannique d'intelligence artificielle DeepMind qui visait à créer une intelligence artificielle générale.
Cependant, les universitaires et les experts en technologie ont repoussé l'utilisation de la technologie en raison de préoccupations éthiques concernant la surveillance de masse, a rapporté le Journal, et Google s'est engagé à limiter la façon dont il utiliserait l'IA. En 2018, Google a mis fin à son projet d'utilisation de sa technologie d'intelligence artificielle dans des armes militaires en réponse aux manifestations des employés.
Malgré ses différentes hésitations, les projets d'IA de Google pourraient enfin voir le jour, alors même que les discussions sur la possibilité de lancer son chatbot de manière responsable se poursuivent.
Après que le chatbot Bard de Google ait généré une erreur factuelle lors de sa première démonstration publique le mois dernier, les employés de Google n'ont pas tardé à qualifier l'annonce de « précipitée » et de « bâclée ». Le président d'Alphabet, John Hennessy, a convenu que le chatbot de Google n'était pas encore « vraiment prêt à être un produit ».
Pichai a demandé à tous les employés de Google de consacrer deux à quatre heures de leur temps à tester le produit afin qu'il soit prêt pour le lancement. « Je sais que ce moment est inconfortablement excitant, et il fallait s'y attendre*: la technologie sous-jacente évolue rapidement avec un tel potentiel », a écrit Pichai aux employés de Google dans une note de février. « La chose la plus importante que nous puissions faire en ce moment est de nous concentrer sur la création d'un excellent produit et de le développer de manière responsable », a-t-il poursuivi.
Sources : WSJ, article sur Meena
Et vous ?
Qu'en pensez-vous ? Êtes-vous surpris d'apprendre que les ingénieurs de Google disposaient d'une telle carte dans leurs tiroirs ? Google a-t-il eu tort ou raison de mettre un frein aux ambitions de ses deux ingénieurs concernant les tests externes sur le chatbot ? Pourquoi ? Est-il ironique que ces mêmes travaux sous-tendent désormais Bard ? Comprenez-vous la raison qui les a poussés à quitter l'entreprise ? Étant donné que Google a présenté Bard, estimez-vous qu'ils ont eu raison ou tort de le faire ? Dans quelle mesure ? 
