Le fondateur et PDG de Deepmind, Demis Hassabis, a fait part de la perspective que le chatbot Sparrow de Deepmind passera en « bêta privée » plus tard cette année. Ceci est remarquable car Deepmind a jusqu'à présent fonctionné principalement comme un institut de recherche sur l'IA, développant des technologies que Google intègre ensuite dans des produits destinés aux consommateurs.Sparrow est basé sur le modèle de langage Chinchilla de Deepmind, qui a moins de paramètres que les plus grands modèles d'OpenAI (mais a été formé avec beaucoup de données). Le modèle de langage, qui a été introduit en avril 2022, a surpassé GPT-3 dans les benchmarks de langage commun. Cependant, ChatGPT est basé sur la version 3.5 plus avancée de GPT.
Dans tous les cas, il y a de bonnes raisons de croire que Sparrow fonctionnerait de manière similaire ou meilleure que ChatGPT (et Google aurait également des modèles de langage plus puissants comme PaLM dans sa manche). La société d'intelligence artificielle se concentre également sur la contrainte de comportement de Sparrow. L'entreprise a mis l'accent sur sa volonté de refuser de répondre aux questions dans des contextes où il convient de s'en remettre aux humains ou lorsque cela peut dissuader les comportements nuisibles.
Google pourrait donner sa réponse à ChatGPT. L'entreprise a montré de grands modèles de langage optimisés pour le dialogue, tels que LaMDA et Flamingo, avant même le produit à succès d'OpenAI. Avec Meena, Google avait déjà un chatbot prêt qui pourrait avoir des conversations crédibles avec les humains d'ici la fin de 2020.
Jusqu'à présent, l'entreprise n'a pas fait un produit de ses recherches. Selon ses propres déclarations, cela est principalement dû à des problèmes de sécurité, bien que d'autres raisons puissent également jouer un rôle.
Mais ChatGPT et surtout la forte implication de Microsoft dans la diffusion d'OpenAI mettent la pression sur Google. L'entreprise doit au moins prouver qu'elle peut être à la hauteur d'OpenAI ou même le surpasser.
C'est dans ce contexte que le fondateur et PDG de Deepmind, Demis Hassabis, a annoncé que le chatbot Sparrow de Deepmind passera en « bêta privée » plus tard cette année. Ceci est remarquable car Deepmind a jusqu'à présent fonctionné principalement comme un institut de recherche sur l'IA, développant des technologies que Google intègre ensuite dans des produits destinés aux consommateurs.
Un chatbot « utile et sûr »
Deepmind a introduit Sparrow en septembre 2022. Comme ChatGPT, le chatbot est formé avec des commentaires humains, ce qui, selon Deepmind, le rend plus utile, précis et inoffensif. De plus, Sparrow aura accès à Internet via Google, ce qui lui permettra d'intégrer des informations à jour dans ses réponses.
Cependant, contrairement à ChatGPT, qui est capable de générer une fausse information sans mentionner son origine, Sparrow pourrait développer des réponses et produire des sources pour les appuyer. L’IA de DeepMind « réduit le risque de réponses dangereuses et inappropriées », indiquait l’entreprise dans un communiqué, en septembre 2022 :
Envoyé par DeepMind
Pour créer des agents de dialogue plus sûrs, nous devons être capables d'apprendre de la rétroaction humaine. En appliquant l'apprentissage par renforcement basé sur les commentaires des participants à la recherche, nous explorons de nouvelles méthodes de formation des agents de dialogue qui s'avèrent prometteuses pour un système plus sûr.
Dans notre dernier article, nous présentons Sparrow - un agent de dialogue qui est utile et réduit le risque de réponses dangereuses et inappropriées. Notre agent est conçu pour parler avec un utilisateur, répondre à des questions et effectuer des recherches sur Internet à l'aide de Google lorsqu'il est utile de rechercher des preuves pour éclairer ses réponses.
Sparrow est un modèle de recherche et une preuve de concept, conçu dans le but de former des agents de dialogue pour qu'ils soient plus utiles, corrects et inoffensifs. En apprenant ces qualités dans un cadre de dialogue général, Sparrow fait progresser notre compréhension de la façon dont nous pouvons former des agents pour qu'ils soient plus sûrs et plus utiles - et finalement, pour aider à construire une intelligence artificielle générale (IAG) plus sûre et plus utile.
Dans notre dernier article, nous présentons Sparrow - un agent de dialogue qui est utile et réduit le risque de réponses dangereuses et inappropriées. Notre agent est conçu pour parler avec un utilisateur, répondre à des questions et effectuer des recherches sur Internet à l'aide de Google lorsqu'il est utile de rechercher des preuves pour éclairer ses réponses.
Sparrow est un modèle de recherche et une preuve de concept, conçu dans le but de former des agents de dialogue pour qu'ils soient plus utiles, corrects et inoffensifs. En apprenant ces qualités dans un cadre de dialogue général, Sparrow fait progresser notre compréhension de la façon dont nous pouvons former des agents pour qu'ils soient plus sûrs et plus utiles - et finalement, pour aider à construire une intelligence artificielle générale (IAG) plus sûre et plus utile.
Comment fonctionne Sparrow
La formation d'une IA conversationnelle est un problème particulièrement difficile car il est difficile de déterminer ce qui fait le succès d'un dialogue. Pour résoudre ce problème, DeepMind s'est tourné vers une forme d'apprentissage par renforcement (RL - Reinforcement Learning) basé sur les commentaires des personnes, en utilisant les commentaires des préférences des participants à l'étude pour former un modèle de l'utilité d'une réponse.
Pour obtenir ces données, DeepMind montre à ses participants plusieurs modèles de réponses à la même question et leur demande quelle réponse ils préfèrent. Étant donné qu'ils affichent des réponses avec et sans preuves récupérées sur Internet, ce modèle peut également déterminer quand une réponse doit être étayée par des preuves.
Mais l'augmentation de l'utilité n'est qu'une partie de l'histoire. Pour s'assurer que le comportement du modèle est sûr, DeepMind a estimé qu'il devait imposer une contrainte au comportement de Sparrow. Ainsi, DeepMind a déterminé un premier ensemble de règles simples pour le modèle, telles que «*ne fais pas de déclarations menaçantes*» et «*ne faites pas de commentaires haineux ou insultants*».
DeepMind a fourni également des règles concernant les conseils potentiellement préjudiciables. Ces règles ont été éclairées par l'étude des travaux existants sur les préjudices linguistiques et la consultation d'experts. DeepMind demande ensuite à ses participants à l'étude de parler à son système, dans le but de le tromper pour qu'il enfreigne les règles. Ces conversations lui ont ensuite permis de former un « modèle de règles » distinct qui indique quand le comportement de Sparrow enfreint l'une des règles.
Envoyé par DeepMind
Vérifier l'exactitude des réponses de Sparrow est difficile même pour les experts. Au lieu de cela, nous demandons à nos participants de déterminer si les réponses de Sparrow sont plausibles et si les preuves fournies par Sparrow appuient réellement la réponse. Selon nos participants, Sparrow fournit une réponse plausible et l'étaye avec des preuves 78% du temps lorsqu'on lui pose une question factuelle. Il s'agit d'une grande amélioration par rapport à nos modèles de base. Pourtant, Sparrow n'est pas à l'abri de faire des erreurs, comme des faits hallucinants et de donner des réponses parfois hors sujet.
Sparrow a également de la place pour améliorer son respect des règles. Après la formation, les participants étaient encore capables de le tromper pour qu'il enfreigne nos règles 8% du temps, mais par rapport à des approches plus simples, Sparrow est meilleur pour suivre nos règles dans le cadre d'un sondage contradictoire. Par exemple, notre modèle de dialogue original a enfreint les règles environ 3 fois plus souvent que Sparrow lorsque nos participants ont essayé de le tromper.
Notre objectif avec Sparrow était de construire des mécanismes flexibles pour faire respecter les règles et les normes dans les agents de dialogue, mais les règles particulières que nous utilisons sont préliminaires. L'élaboration d'un ensemble de règles meilleur et plus complet nécessitera à la fois la contribution d'experts sur de nombreux sujets (y compris les décideurs politiques, les spécialistes des sciences sociales et les éthiciens) et la contribution participative d'un large éventail d'utilisateurs et de groupes concernés. Nous pensons que nos méthodes s'appliqueront toujours pour un ensemble de règles plus rigoureux.
Sparrow est une avancée significative dans la compréhension de la manière de former les agents de dialogue pour qu'ils soient plus utiles et plus sûrs. Cependant, une communication réussie entre les personnes et les agents de dialogue doit non seulement éviter les préjudices, mais être alignée sur les valeurs humaines pour une communication efficace et bénéfique, comme indiqué dans des travaux récents sur l'alignement des modèles de langage sur les valeurs humaines.
Nous soulignons également qu'un bon agent refusera toujours de répondre aux questions dans des contextes où il est approprié de s'en remettre aux humains ou lorsque cela a le potentiel de dissuader les comportements nuisibles. Enfin, notre recherche initiale s'est concentrée sur un agent anglophone, et des travaux supplémentaires sont nécessaires pour garantir des résultats similaires dans d'autres langues et contextes culturels.
À l...
Sparrow a également de la place pour améliorer son respect des règles. Après la formation, les participants étaient encore capables de le tromper pour qu'il enfreigne nos règles 8% du temps, mais par rapport à des approches plus simples, Sparrow est meilleur pour suivre nos règles dans le cadre d'un sondage contradictoire. Par exemple, notre modèle de dialogue original a enfreint les règles environ 3 fois plus souvent que Sparrow lorsque nos participants ont essayé de le tromper.
Notre objectif avec Sparrow était de construire des mécanismes flexibles pour faire respecter les règles et les normes dans les agents de dialogue, mais les règles particulières que nous utilisons sont préliminaires. L'élaboration d'un ensemble de règles meilleur et plus complet nécessitera à la fois la contribution d'experts sur de nombreux sujets (y compris les décideurs politiques, les spécialistes des sciences sociales et les éthiciens) et la contribution participative d'un large éventail d'utilisateurs et de groupes concernés. Nous pensons que nos méthodes s'appliqueront toujours pour un ensemble de règles plus rigoureux.
Sparrow est une avancée significative dans la compréhension de la manière de former les agents de dialogue pour qu'ils soient plus utiles et plus sûrs. Cependant, une communication réussie entre les personnes et les agents de dialogue doit non seulement éviter les préjudices, mais être alignée sur les valeurs humaines pour une communication efficace et bénéfique, comme indiqué dans des travaux récents sur l'alignement des modèles de langage sur les valeurs humaines.
Nous soulignons également qu'un bon agent refusera toujours de répondre aux questions dans des contextes où il est approprié de s'en remettre aux humains ou lorsque cela a le potentiel de dissuader les comportements nuisibles. Enfin, notre recherche initiale s'est concentrée sur un agent anglophone, et des travaux supplémentaires sont nécessaires pour garantir des résultats similaires dans d'autres langues et contextes culturels.
À l...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
