Il y a des années, Daniel De Freitas et Noam Shazeer, ingénieurs chez Google, avaient développé un chatbot conversationnel de type ChatGPT qui pouvait parler de philosophie et d'émissions de télévision et faire des blagues. Cependant, les dirigeants de l'entreprise l'ont empêché d'être testé en dehors de l'entreprise ou d'être publié en tant que démo publique, invoquant des inquiétudes quant au non-respect des normes de l'entreprise, a rapporté le Wall Street Journal (WSJ). Le duo a depuis quitté l'entreprise.Le PDG Sundar Pichai lui-même est intervenu dans l'affaire et a demandé au duo de continuer à travailler dessus. Cependant, sans aucune assurance de rendre le chatbot public, les ingénieurs ont quitté Google en 2021 et ont créé leur propre entreprise qui fournit des chatbots interactifs qui peuvent jouer le rôle de Socrates ou d'Elon Musk.
Les chatbots conversationnels sont la nouveauté brillante dans l'industrie technologique, les entreprises cherchant à les intégrer à leurs produits. Microsoft a pris une longueur d'avance en cherchant à faire avancer de manière agressive les avantages découlant de son partenariat avec OpenAI. Google, d'autre part, a été dans les cordes après que son chatbot Bard ait non seulement fait une entrée très retardée, mais s'est également trompé dans l'une de ses réponses lors d'une démonstration.
De nombreux employés ont qualifié les tentatives de Google de publier Bard de « bâclées » et de « précipitées ». Cependant, comme il ressort du rapport du WSJ, Google semble avoir réagi trop lentement à ce que ses ingénieurs ont construit.
En 2012, le fondateur de Google, Larry Page, a fait appel à Ray Kurzweil, un pionnier des modèles de traitement du langage, qui a commencé à travailler sur plusieurs chatbots qui n'ont jamais été publiés. Face aux réactions négatives des employés concernant l'utilisation de l'IA à des fins militaires et de surveillance, Google a annoncé un cadre de sept principes d'IA pour guider son travail, qui comprenait des tests de sécurité.
C'est dans ce contexte que De Frietas, qui travaillait sur YouTube de Google, a lancé le chatbot IA qui pourrait imiter les conversations humaines en tant que projet parallèle. Le projet s'appelait à l'origine Meena, qui a été présenté dans un document de recherche en 2020.
À l'époque, Meena était formée sur 40 milliards de mots issus de conversations sur les réseaux sociaux, tandis que le GPT-2 d'OpenAI, un prédécesseur du GPT-3 qui alimente le chatbot AI, avait été formé sur huit millions de pages Web. OpenAI a publié une version pour que les chercheurs la testent, ce pour quoi Meena n'a pas obtenu l'approbation.
Envoyé par article sur Meena
La capacité de converser librement en langage naturel est l'une des caractéristiques de l'intelligence humaine et est probablement une exigence pour une véritable intelligence artificielle. Afin d'explorer cet aspect de l'intelligence, de nombreux chercheurs travaillent sur des chatbots à domaine ouvert. Contrairement aux chatbots de domaine fermé, qui répondent aux mots-clés ou aux intentions d'accomplir des tâches spécifiques, les chatbots à domaine ouvert peuvent engager une conversation sur n'importe quel sujet.
Certains chatbots à domaine ouvert tels que MILABOT (Serban et al., 2017), XiaoIce (Zhou et al., 2018), Gunrock (Chen et al., 2018), Mitsuku (Worswick, 2018) et Cleverbot (par Rollo Carpenter) affichent des attributs de type humain, mais s'appuient sur des cadres complexes, tels que des gestionnaires de dialogue avec des systèmes basés sur la connaissance, la récupération ou les règles. Les approches de réseau de neurones de bout en bout (Shang et al., 2015*; Vinyals et Le, 2015*; Sordoni et al., 2015*; Serban et al., 2016*; Zhang et al., 2019), d'autre part, offrent la simplicité d'un seul modèle appris. Malgré de nombreuses recherches, les chatbots de domaine ouvert ont encore des faiblesses qui les empêchent d'être généralement utiles*: ils répondent souvent aux entrées ouvertes d'une manière qui n'a pas de sens, ou avec des réponses vagues et génériques.
Nous présentons ici Meena, un modèle de chatbot génératif qui a été formé de bout en bout sur 40 milliards de mots extraits et filtrés à partir de conversations sur les réseaux sociaux du domaine public. Avec Meena, nous repoussons les limites de l'approche de bout en bout et montrons qu'un modèle à grande échelle et à faible perplexité peut être un bon interlocuteur.
Certains chatbots à domaine ouvert tels que MILABOT (Serban et al., 2017), XiaoIce (Zhou et al., 2018), Gunrock (Chen et al., 2018), Mitsuku (Worswick, 2018) et Cleverbot (par Rollo Carpenter) affichent des attributs de type humain, mais s'appuient sur des cadres complexes, tels que des gestionnaires de dialogue avec des systèmes basés sur la connaissance, la récupération ou les règles. Les approches de réseau de neurones de bout en bout (Shang et al., 2015*; Vinyals et Le, 2015*; Sordoni et al., 2015*; Serban et al., 2016*; Zhang et al., 2019), d'autre part, offrent la simplicité d'un seul modèle appris. Malgré de nombreuses recherches, les chatbots de domaine ouvert ont encore des faiblesses qui les empêchent d'être généralement utiles*: ils répondent souvent aux entrées ouvertes d'une manière qui n'a pas de sens, ou avec des réponses vagues et génériques.
Nous présentons ici Meena, un modèle de chatbot génératif qui a été formé de bout en bout sur 40 milliards de mots extraits et filtrés à partir de conversations sur les réseaux sociaux du domaine public. Avec Meena, nous repoussons les limites de l'approche de bout en bout et montrons qu'un modèle à grande échelle et à faible perplexité peut être un bon interlocuteur.
De Meena à LaMDA
Il y a donc quelques années, deux anciens ingénieurs de Google ont...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
