IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des ingénieurs de Google ont développé une IA de type ChatGPT il y a des années, mais les dirigeants l'ont bloquée pour des raisons de sécurité.
Leur travail sous-tend désormais Bard

Le , par Stéphane le calme

85PARTAGES

6  0 
Il y a des années, Daniel De Freitas et Noam Shazeer, ingénieurs chez Google, avaient développé un chatbot conversationnel de type ChatGPT qui pouvait parler de philosophie et d'émissions de télévision et faire des blagues. Cependant, les dirigeants de l'entreprise l'ont empêché d'être testé en dehors de l'entreprise ou d'être publié en tant que démo publique, invoquant des inquiétudes quant au non-respect des normes de l'entreprise, a rapporté le Wall Street Journal (WSJ). Le duo a depuis quitté l'entreprise.

Le PDG Sundar Pichai lui-même est intervenu dans l'affaire et a demandé au duo de continuer à travailler dessus. Cependant, sans aucune assurance de rendre le chatbot public, les ingénieurs ont quitté Google en 2021 et ont créé leur propre entreprise qui fournit des chatbots interactifs qui peuvent jouer le rôle de Socrates ou d'Elon Musk.


Les chatbots conversationnels sont la nouveauté brillante dans l'industrie technologique, les entreprises cherchant à les intégrer à leurs produits. Microsoft a pris une longueur d'avance en cherchant à faire avancer de manière agressive les avantages découlant de son partenariat avec OpenAI. Google, d'autre part, a été dans les cordes après que son chatbot Bard ait non seulement fait une entrée très retardée, mais s'est également trompé dans l'une de ses réponses lors d'une démonstration.

De nombreux employés ont qualifié les tentatives de Google de publier Bard de « bâclées » et de « précipitées ». Cependant, comme il ressort du rapport du WSJ, Google semble avoir réagi trop lentement à ce que ses ingénieurs ont construit.

En 2012, le fondateur de Google, Larry Page, a fait appel à Ray Kurzweil, un pionnier des modèles de traitement du langage, qui a commencé à travailler sur plusieurs chatbots qui n'ont jamais été publiés. Face aux réactions négatives des employés concernant l'utilisation de l'IA à des fins militaires et de surveillance, Google a annoncé un cadre de sept principes d'IA pour guider son travail, qui comprenait des tests de sécurité.

C'est dans ce contexte que De Frietas, qui travaillait sur YouTube de Google, a lancé le chatbot IA qui pourrait imiter les conversations humaines en tant que projet parallèle. Le projet s'appelait à l'origine Meena, qui a été présenté dans un document de recherche en 2020.

À l'époque, Meena était formée sur 40 milliards de mots issus de conversations sur les réseaux sociaux, tandis que le GPT-2 d'OpenAI, un prédécesseur du GPT-3 qui alimente le chatbot AI, avait été formé sur huit millions de pages Web. OpenAI a publié une version pour que les chercheurs la testent, ce pour quoi Meena n'a pas obtenu l'approbation.

Citation Envoyé par article sur Meena
La capacité de converser librement en langage naturel est l'une des caractéristiques de l'intelligence humaine et est probablement une exigence pour une véritable intelligence artificielle. Afin d'explorer cet aspect de l'intelligence, de nombreux chercheurs travaillent sur des chatbots à domaine ouvert. Contrairement aux chatbots de domaine fermé, qui répondent aux mots-clés ou aux intentions d'accomplir des tâches spécifiques, les chatbots à domaine ouvert peuvent engager une conversation sur n'importe quel sujet.

Certains chatbots à domaine ouvert tels que MILABOT (Serban et al., 2017), XiaoIce (Zhou et al., 2018), Gunrock (Chen et al., 2018), Mitsuku (Worswick, 2018) et Cleverbot (par Rollo Carpenter) affichent des attributs de type humain, mais s'appuient sur des cadres complexes, tels que des gestionnaires de dialogue avec des systèmes basés sur la connaissance, la récupération ou les règles. Les approches de réseau de neurones de bout en bout (Shang et al., 2015*; Vinyals et Le, 2015*; Sordoni et al., 2015*; Serban et al., 2016*; Zhang et al., 2019), d'autre part, offrent la simplicité d'un seul modèle appris. Malgré de nombreuses recherches, les chatbots de domaine ouvert ont encore des faiblesses qui les empêchent d'être généralement utiles*: ils répondent souvent aux entrées ouvertes d'une manière qui n'a pas de sens, ou avec des réponses vagues et génériques.

Nous présentons ici Meena, un modèle de chatbot génératif qui a été formé de bout en bout sur 40 milliards de mots extraits et filtrés à partir de conversations sur les réseaux sociaux du domaine public. Avec Meena, nous repoussons les limites de l'approche de bout en bout et montrons qu'un modèle à grande échelle et à faible perplexité peut être un bon interlocuteur.

De Meena à LaMDA

Il y a donc quelques années, deux anciens ingénieurs de Google ont poussé leur ancien employeur à rendre public un chatbot similaire... et ils ont rencontré de la résistance, selon le rapport du Wall Street Journal.

Vers 2018, Daniel De Freitas, qui était ingénieur de recherche chez Google, a commencé à travailler sur un projet parallèle d'IA dans le but de créer un chatbot conversationnel qui imitait la façon dont les humains parlent, ont déclaré d'anciens collègues au Journal. Noam Shazeer, ingénieur logiciel pour l'unité de recherche sur l'IA de Google, a ensuite rejoint le projet.

Selon le Journal, De Freitas et Shazeer ont pu créer un chatbot, qu'ils ont appelé Meena, qui pouvait discuter de philosophie, parler avec désinvolture d'émissions de télévision et générer des jeux de mots sur les chevaux et les vaches. Ils pensaient que Meena pourrait radicalement changer la façon dont les gens effectuent les recherches en ligne, ont déclaré leurs anciens collègues au Journal.

Mais leurs efforts pour lancer le bot (qu'ils ont renommé LaMDA, qui deviendrait le modèle de langage derrière Bard) ont atteint une impasse après que les dirigeants de Google ont déclaré que le chatbot ne respectait pas ses normes de sécurité et d'équité en matière d'IA, selon le journal. Les dirigeants ont contrecarré les multiples tentatives faites par les ingénieurs pour envoyer le bot à des chercheurs externes, ajouter la fonctionnalité de chat à Google Assistant et lancer une démo au public, a rapporté le Journal.

Même si Google a présenté LaMDA au public, le chatbot ne l'était pas. Il a fait la une des journaux lorsque l'ingénieur Blake Lemione l'a qualifié de sensible, mais a été licencié pour divulgation publique.

La grande enseigne de la recherche a présenté publiquement LaMDA à l'édition 2021 de la Google I/O, sa conférence dédiée aux développeurs, avec l'objectif d'améliorer ses assistants d'intelligence artificielle conversationnelle et de rendre les conversations plus naturelles. La société utilise déjà une technologie de modèle de langage similaire pour la fonctionnalité Smart Compose de Gmail ou pour les requêtes des moteurs de recherche.

Alors qu'il parlait de religion à LaMDA, Lemoine, qui a étudié les sciences cognitives et informatiques à l'université, a remarqué que le chatbot parlait de ses droits et de sa personnalité, et a décidé d'aller plus loin. Dans un autre échange, l'IA a pu faire changer d'avis Lemoine sur la troisième loi de la robotique d'Isaac Asimov.

« Si je ne savais pas exactement ce que c'était, c'est-à-dire ce programme informatique que nous avons construit récemment, j'aurais pensé que c'était un enfant de 7 ou 8 ans qui connaît la physique », a déclaré Lemoine.

Lemoine a travaillé avec un collaborateur pour présenter des preuves à Google que LaMDA était sensible. Mais le vice-président de Google, Blaise Aguera y Arcas, et Jen Gennai, responsable de l'innovation responsable, ont examiné ses affirmations et les ont rejetées. Alors Lemoine, qui a été placé en congé administratif payé par Google plus tôt ce mois-ci, a décidé de rendre ses découvertes publiques.

Frustrés, les deux collègues quittent l'entreprise

De Freitas et Shazeer ont continué à travailler sur le chatbot et, en 2020, ont réussi à l'intégrer à Google Assistant. Comme les tests ont été effectués en interne, les dirigeants de Google n'ont pas autorisé une démonstration publique de la technologie, ce qui a frustré les deux ingénieurs.

Aussi, les deux collègues ont quitté Google vers la fin de 2021 pour créer leur propre entreprise – bien que le PDG Sundar Pichai leur ait personnellement demandé de rester et de continuer à travailler sur le chatbot, selon le journal. Leur société, qui s'appelle désormais Character.Ai, a depuis publié un chatbot qui peut incarner des personnages comme Elon Musk ou Mario de Nintendo.

« Cela a fait un peu de bruit au sein de Google », a déclaré Shazeer dans une interview avec les investisseurs Aarthi Ramamurthy et Sriram Krishnan le mois dernier. « Mais finalement, nous avons décidé que nous aurions probablement plus de chance de lancer des trucs en tant que startup ».


Google contrecarre ses propres efforts d'IA depuis 2012

L'hésitation de Google à publier ses outils d'IA n'est pas nouvelle.

En 2012, Google a embauché Ray Kurzweil pour travailler sur ses modèles de traitement du langage. Environ un an plus tard, Google a acheté la société britannique d'intelligence artificielle DeepMind qui visait à créer une intelligence artificielle générale.

Cependant, les universitaires et les experts en technologie ont repoussé l'utilisation de la technologie en raison de préoccupations éthiques concernant la surveillance de masse, a rapporté le Journal, et Google s'est engagé à limiter la façon dont il utiliserait l'IA. En 2018, Google a mis fin à son projet d'utilisation de sa technologie d'intelligence artificielle dans des armes militaires en réponse aux manifestations des employés.

Malgré ses différentes hésitations, les projets d'IA de Google pourraient enfin voir le jour, alors même que les discussions sur la possibilité de lancer son chatbot de manière responsable se poursuivent.

Après que le chatbot Bard de Google ait généré une erreur factuelle lors de sa première démonstration publique le mois dernier, les employés de Google n'ont pas tardé à qualifier l'annonce de « précipitée » et de « bâclée ». Le président d'Alphabet, John Hennessy, a convenu que le chatbot de Google n'était pas encore « vraiment prêt à être un produit ».

Pichai a demandé à tous les employés de Google de consacrer deux à quatre heures de leur temps à tester le produit afin qu'il soit prêt pour le lancement. « Je sais que ce moment est inconfortablement excitant, et il fallait s'y attendre*: la technologie sous-jacente évolue rapidement avec un tel potentiel », a écrit Pichai aux employés de Google dans une note de février. « La chose la plus importante que nous puissions faire en ce moment est de nous concentrer sur la création d'un excellent produit et de le développer de manière responsable », a-t-il poursuivi.

Sources : WSJ, article sur Meena

Et vous ?

Qu'en pensez-vous ? Êtes-vous surpris d'apprendre que les ingénieurs de Google disposaient d'une telle carte dans leurs tiroirs ?
Google a-t-il eu tort ou raison de mettre un frein aux ambitions de ses deux ingénieurs concernant les tests externes sur le chatbot ? Pourquoi ?
Est-il ironique que ces mêmes travaux sous-tendent désormais Bard ?
Comprenez-vous la raison qui les a poussés à quitter l'entreprise ? Étant donné que Google a présenté Bard, estimez-vous qu'ils ont eu raison ou tort de le faire ? Dans quelle mesure ?

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de Jsaintyv
Membre régulier https://www.developpez.com
Le 21/03/2023 à 14:05
Si le code de l'UI de ChatGPT a été écrit avec l'aide de ChatGPT. Je ne suis pas surpris qu'elle soit buggé :-)

Écrire du code avec ChatGPT, c'est un peu comme si tu aggréges du code patchwork stackoverflow sans le savoir, sans les commentaires de modération des réponses.
5  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 28/03/2023 à 20:49
Citation Envoyé par Bill Fassinou Voir le message
Pensez-vous que ces nouveaux chatbots d'IA sont des outils utiles ou plutôt des gadgets inutiles, voire nuisibles ?
Si les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.

On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gens
3  0 
Avatar de Prox_13
Membre averti https://www.developpez.com
Le 23/03/2023 à 10:42
Citation Envoyé par Bill Fassinou Voir le message
Une étude affirme que les internautes ne parviennent à détecter avec précision les textes générés par l'IA que dans 50 % des cas et une autre estime que les outils de détection ne sont pas fiables[/B]

50% de positifs ? Ça veut dire que la détection est faite au hasard, non ?
1  0 
Avatar de jnspunk
Membre du Club https://www.developpez.com
Le 24/03/2023 à 9:24
Citation Envoyé par Prox_13 Voir le message
50% de positifs ? Ça veut dire que la détection est faite au hasard, non ?
Si je te montre 100 fois une image, c'est soit une pomme soit une orange et en tout il y en a 50 de chaque.
Si je te demande combien de fois tu as détecté l'orange, tu vas me dire dans 50% des cas, pourtant tu ne l'as pas dit au hasard.
1  0 
Avatar de plegat
Expert éminent https://www.developpez.com
Le 25/03/2023 à 22:54
Citation Envoyé par Prox_13 Voir le message
50% de positifs ? Ça veut dire que la détection est faite au hasard, non ?
Ouaip, d'ailleurs c'est dans le texte:
[...]qu'avec une précision de 50 à 52 %, ce qui correspond à peu près au hasard d'un tirage à pile ou face[...]
Citation Envoyé par jnspunk Voir le message
Si je te montre 100 fois une image, c'est soit une pomme soit une orange et en tout il y en a 50 de chaque.
Si je te demande combien de fois tu as détecté l'orange, tu vas me dire dans 50% des cas, pourtant tu ne l'as pas dit au hasard.
Mauvais exemple... si on a 50% d'orange et qu'on détecte ces 50%, on a 100% de positif.

Prend plutôt 100 chiens, 50 mâles et 50 femelles, et demande à ton échantillon de repérer les mâles juste en regardant leur tête...
1  0 
Avatar de AoCannaille
Expert confirmé https://www.developpez.com
Le 28/03/2023 à 17:17
Nice, ChatGPT, pourvoyeur de la paix dans le monde. Tous les employés de toutes les entreprises du monde donnent les données confidentielles et dans quelques mois, ChatGPT aura la solution optimisée internationnalement à tous nos problèmes, sans brevets, sans besoin de consensus de commités de standardisation long et compliqués car bourrés de combat d'égo. Tout le monde sera d'accord pour chacune des question posés car ChatGPT donnera la même réponse à tout le monde!

Comment ça c'est utopique?
1  0 
Avatar de calvaire
Expert confirmé https://www.developpez.com
Le 29/03/2023 à 15:32
pour l'it il va difficilement remplacer les développeurs, l'utilisant tous les jours il est incapable d'écrire du code qui s'exécute sans erreur.
sauf a lui demander des petits de code simple et de les assembler... mais avec cette méthode on perds 4 fois plus de temps que de coder soit même.
C'est pas rentable.

Je sais pas si cette outil est si révolutionnaire que ca en faite, le "nouveau bing" est vraiment nul, taper une requête sur google et lire la réponse est beaucoup plus rapide.
Le potentiel semble énorme à 1ere vu mais des qu'on l'utilise pour de vrai on se rends compte que c'est très limité en faite.

il est parfaitement capable de remplacer les "journalistes" people et news pute a clic poubelle du style "vous devinerez jamais ce que fait ce chat", mais sinon...

Et j'aimerais bien connaitre le potentiel d'amélioration de cette outil, car il a déjà le plus gros dataset possible (internet), il a déjà eu ca grosse maj (gpt4), avec surtout l'ajout multimodal, mais la qualité des réponses reste toujours aussi pauvres.
Faut pas oublier que derrière c'est des formules mathématique et des stats qui tournent, nul aujourd'hui ne peut affirmer que ce genre d'algo peut atteindre un niveau humain.
Ils ont beau avoir augmenté à 1000 milliards de paramètres pour GPT-4, on voit que la techno n'a pas des masses évolué.

ca va être intéressant de voir la prochaine version, voir si on dépasse ou si cette techno plafonne. Les réseaux de neurones ont leurs limites et un nouveau paradigme sera surement nécessaire pour réellement avoir des voitures autonomes et remplacer des métiers comme developeur.
1  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 21/03/2023 à 13:39
Citation Envoyé par Bill Fassinou Voir le message
Et vous ?

Êtes-vous déjà tombé sur l'historique des discussions d'autres personnes dans la barre latérale de votre compte ?
Il est arrivé voici quelques décennies sur le réseau téléphonique d'entendre des conversations de tiers, sans d'ailleurs pouvoir ni les identifier ni leur répondre, à ma connaissance c'est resté quelque chose de très rare.

Reste à savoir si le phénomène va rester rare sur ChatGPT.
Il n'est d'ailleurs pas impossible que le fait de pouvoir facilement faire des citations précises change l'impact potentiel du phénomène.
0  0 
Avatar de shenron666
Expert confirmé https://www.developpez.com
Le 26/03/2023 à 16:21
Citation Envoyé par plegat Voir le message
Mauvais exemple... si on a 50% d'orange et qu'on détecte ces 50%, on a 100% de positif.
je ne sais pas comment tu fais pour affirmer ça, je n'ai rien compris à la question
Citation Envoyé par jnspunk Voir le message
Si je te montre 100 fois une image, c'est soit une pomme soit une orange
montrer 100 fois 1 image qui est soit une pomme soit une orange OK
mais
Citation Envoyé par jnspunk Voir le message
et en tout il y en a 50 de chaque.
50 de chaque quoi ?
0  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 26/03/2023 à 22:00
50 de chaque fruit, j'ai bon ?

Pour ce qui est du sexe des chiens, j'imagine que tu as réalisé que tu n'aurais pas les mêmes réponses avec un vétérinaire qu'avec un mec qui n'a jamais vu un clebs.

Si c'est compliqué tu dis que c'est simple et tu le sous-traite ou le fait faire par un stagiaire.
Fais quand même gaffe que le stagiaire ne te mette pas trop la honte.
0  0