IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les grands modèles de langage confabulent, ils n'hallucinent pas,
D'après Beren Millidge, responsable de la recherche IA chez Conjecture

Le , par Bruno

9PARTAGES

3  0 
Le billet de blog de Beren Millidge, responsable de la recherche IA chez Conjecture, explique pourquoi le terme de confabulation est plus approprié que celui d’hallucination pour décrire le comportement des LLM (modèles de langage à grande échelle) lorsqu’ils inventent des informations fausses mais plausibles. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.

Un grand modèle de langage (LLM) est un algorithme d'apprentissage profond qui peut effectuer une variété de tâches de traitement du langage naturel (NLP). Les grands modèles de langage utilisent des modèles de transformation et sont formés à l'aide d'ensembles de données massifs - d'où le terme « grand ». Cela leur permet de reconnaître, traduire, prédire ou générer du texte ou d'autres contenus.


Les grands modèles linguistiques sont également appelés réseaux neuronaux (RN), qui sont des systèmes informatiques inspirés du cerveau humain. Ces réseaux neuronaux fonctionnent à l'aide d'un réseau de nœuds en couches, à l'instar des neurones.

Outre l'apprentissage des langues humaines pour les applications d'intelligence artificielle (IA), les grands modèles de langage peuvent également être entraînés à effectuer diverses tâches telles que la compréhension des structures protéiques, l'écriture de codes logiciels, etc. À l'instar du cerveau humain, les grands modèles de langage doivent être pré-entraînés puis affinés afin de pouvoir résoudre des problèmes de classification de textes, de réponse à des questions, de résumé de documents et de génération de textes.

Leurs capacités de résolution de problèmes peuvent être appliquées à des domaines tels que la santé, la finance et le divertissement, où les grands modèles de langage servent une variété d'applications NLP, telles que la traduction, les chatbots, les assistants d'IA. Les grands modèles de langage ont aussi un grand nombre de paramètres, qui sont comme des mémoires que le modèle recueille au fur et à mesure qu'il apprend lors de la formation. Ces paramètres constituent la banque de connaissances du modèle.

Citation Envoyé par Beren Millidge
Les gens décrivent souvent le LLM comme "hallucinant", lorsqu'il invente des informations qui semblent correspondre à une requête donnée, même si elles sont trivialement fausses. Bien qu'évocatrice, cette terminologie n'est pas correcte. En psychologie, nous disposons déjà d'un terme parfait pour désigner ce phénomène précis : la confabulation.

La confabulation est généralement utilisée dans un contexte psychiatrique lorsque des personnes souffrent de lésions cérébrales, notamment de la mémoire, qui les empêchent d'expliquer ou de répondre correctement à des questions. Par exemple, si l'on pose à un patient amnésique des questions sur un événement auquel il a assisté, au lieu d'admettre qu'il ne sait pas, il inventera une histoire plausible.

De même, chez les patients à cerveau divisé, où le corps calleux est sectionné de sorte que chaque moitié du cerveau ne peut pas se parler, les patients peuvent inventer des explications élaborées pour expliquer pourquoi l'autre moitié de leur corps fait telle ou telle chose, même si l'expérimentateur sait que ce n'est pas le cas parce qu'il l'a incité à faire quelque chose de différent.

En général, les personnes confabulatrices inventent des justifications qui semblent plausibles mais qui ne sont pas fondées. Elles ne le font généralement pas dans l'intention de tromper, mais semblent au contraire croire fermement à l'histoire qu'elles viennent de raconter. Ce comportement est identique à celui des LLM. Lorsqu'ils sont contraints de donner une réponse en utilisant un fait qu'ils ne connaissent pas, ils ne peuvent pas dire qu'ils ne savent pas, puisque dans la formation, de tels exemples seraient suivis du fait réel. Au lieu de cela, ils inventent quelque chose de plausible. Ils confabulent.
Si nous reconnaissons que ce que les LLM font réellement est de la confabulation, nous pouvons essayer de comparer et de contraster leur comportement avec celui des humains. « Les humains confabulent dans une grande variété de circonstances et en particulier dans le cas de certaines pathologies neuronales telles que les troubles de la mémoire et les patients au cerveau divisé. Il est amusant de constater que ces situations sont similaires à celles d'un LLM », écrit Beren Millidge.

L’article de Beren Millidge est intéressant et provocateur. Il soulève une question pertinente sur la terminologie appropriée pour décrire le comportement des LLM lorsqu’ils inventent des informations fausses mais plausibles. Il propose d’utiliser le terme de confabulation, qui est emprunté à la psychologie, pour rendre compte de ce phénomène. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.


Si on peut être en partie d’accord avec son argumentation, il convient de reconnaitre qu’il y a aussi des limites et des nuances à prendre en compte. D’une part, le terme d’hallucination n’est pas très précis ni très informatif pour caractériser le comportement des LLM. Comme il le dit, l’hallucination implique une perception sensorielle sans stimulus externe, ce qui n’est pas le cas des LLM qui génèrent du texte à partir d’un prompt. Le terme de confabulation semble plus adapté pour décrire la production d’informations plausibles mais potentiellement inexactes ou fabriquées, ce qui est une caractéristique commune des modèles de langage lorsqu’ils produisent des réponses basées sur une connaissance limitée ou incomplète.

D’autre part, il y aurait aussi des différences importantes entre la confabulation humaine et la confabulation des LLM. La confabulation humaine est généralement associée à un trouble cognitif ou à une pathologie neuronale, qui affecte la mémoire, le raisonnement ou la conscience de soi. La confabulation humaine peut avoir des conséquences négatives sur la vie quotidienne, les relations sociales ou le bien-être psychologique. La confabulation humaine peut aussi être influencée par des facteurs émotionnels, motivationnels ou contextuels.

La confabulation des LLM, en revanche, n’est pas liée à un dysfonctionnement ou à une souffrance, mais à une limitation technique ou algorithmique. La confabulation des LLM n’a pas d’impact direct sur leur fonctionnement interne ou leur état affectif. La confabulation des LLM est plutôt déterminée par les données d’entraînement, les paramètres du modèle ou les contraintes du prompt.

Sources : Blog post by Beren Millidge, Head of AI Research at Conjecture

Et vous ?

Partagez-vous le point de vue de Millidge selon lequel le terme de confabulation est plus approprié que celui d’hallucination pour décrire le phénomène de fausses informations, mais plausibles par les LLM ?

Est-il justifié de comparer la confabulation humaine et la confabulation des LLM sans prendre en compte les distinctions entre ces deux phénomènes en termes de caractéristiques, d’origines et d’effets ?

Êtes-vous d’avis avec Beren Millidge que les LLM sont des humains atteints d'amnésie extrême et dépourvus de cohérence centrale ?

Voir aussi :

Les chatbots alimentés par des grands modèles de langage (LLM) entraîneront un pic de violations de données d'initiés, 82 % des entreprises ne disposant pas de stratégie de gestion des risques

Les micro-applications génératives peuvent renforcer la main-d'œuvre humaine et réduire l'exposition des entreprises aux principaux risques des LLM, selon Nadir Henein, VP Analyste chez Gartner

Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites, la mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de
https://www.developpez.com
Le 04/09/2024 à 21:19
Citation Envoyé par Stéphane le calme Voir le message
Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
Aucun, pourquoi un générateur de médiocrité (nivelage de tout le contenu) pourrait voler le travail des producteurs de valeur pour que OpenAI puisse "gagner de l'argent" en empêchant le dit producteur de valeur d'en gagner ? La réponse à votre question est dans la question en fait, il suffit de remplacer "innovation" par ce qu'est réellement un tel moteur conversationnel qui répond tout et n'importe quoi et de se rappeler le sens de "droit" et de "auteur"

Citation Envoyé par Stéphane le calme Voir le message
Pensez-vous que les entreprises technologiques devraient payer une redevance pour utiliser des contenus protégés par le droit d’auteur ? Si oui, comment cette redevance devrait-elle être calculée ?
Sur la base d'une négociation avec chaque auteur. s'ils ont besoin des ces données il doivent la respecter et donc respecter ceux qui la produise.

Citation Envoyé par Stéphane le calme Voir le message
Comment les créateurs de contenu peuvent-ils collaborer avec les entreprises d’IA pour garantir une utilisation éthique de leurs œuvres ?
C'est leur droit, c'est aux entreprises d'IA de faire les efforts nécessaires.

Citation Envoyé par Stéphane le calme Voir le message
L’utilisation de matériaux protégés par le droit d’auteur sans autorisation pourrait-elle nuire à la diversité et à la qualité des contenus disponibles en ligne ?
C'est déjà le cas, il suffit d'interroger ChatGPT ou Mistral ou autre sur n'importe quel sujet que l'on connait bien pour constater le massacre qui est fait de l'information, vaguement reformulées, avec très souvent des hallucinations ubuesques. En enseignement c'est terrible aujourd'hui, on doit passer 4h sur un sujet qui en prenait 1 avant pour faire désapprendre aux étudiants des trucs faux qui les empêchent de comprendre la notion.

Citation Envoyé par Stéphane le calme Voir le message
Quelles mesures législatives pourraient être mises en place pour équilibrer les besoins des développeurs d’IA et les droits des créateurs ?
Mais pourquoi équilibrer ? les entreprises d'IA n'ont rien à imposer. Si tel était le cas ce serait la fin de tout. Les auteurs n'auraient plus de revenus donc ne produiraient plus et il ne resterait que la soupe mal interprétées par ces "IA" sur la base de l'existant, grande victoire pour les entreprises d'IA qui deviendraient riche pendant un certain temps, une catastrophe pour l'humanité qui deviendrait comme les gros bonhommes dans Wall-e.

Citation Envoyé par Stéphane le calme Voir le message
Pensez-vous que l’accès libre aux informations et aux œuvres culturelles est essentiel pour le progrès technologique, ou cela devrait-il être strictement réglementé ?
si le progrés technologique n'apporte qu'une baisse de qualité et une perte de travail dans une société où on est de plus en plus nombreux il est évident que la réglementation doit empêcher la désignation de "progrés" ce qui n'est qu'un simple moteur conversationnel qui répond coute que coute même quand il ne sait pas. La Justice doit par ailleurs vivement condamner les atteintes au droit d'auteur, sinon ça veut dire que les grosses boites sont plus fortes que l’état de droit...gros soucis.

Citation Envoyé par Stéphane le calme Voir le message
Comment les utilisateurs finaux des technologies d’IA peuvent-ils influencer les pratiques des entreprises en matière de respect des droits d’auteur ?
Quand ils se rendront compte que ça ne leur apporte rien à part le "plaisir" de participer au truc fun du moment, quand ils se lasseront des images toutes identiques, quand ils se lasseront des contenus plats au goût de réchauffé, ils se mordront les doigts et se retourneront vers les gens qui produisent du contenu qui les élève ou les fait rêver.
14  1 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 05/09/2024 à 9:55
Citation Envoyé par Stéphane le calme Voir le message
Controverse autour du droit d'auteur : OpenAI assure ne pas pouvoir gagner de l'argent sans utiliser gratuitement du matériel protégé
Que se passe-t-il quand un entreprise a un business model qui n'est pas viable?
Elle vire son CEO
Elle met la clé sous la porte
Elle est rachetée
Elle peut aussi sortir de la loi mais à ses risques et péril
etc

C'est quand même incroyable que des entreprises hégémoniques se permettent ce genre de discours et qu'en plus elles fasse du quasi-esclavage en parallèle de ça.
Vous êtes dans la une bulle financière, technique et technologique incroyable et vous ne pouvez pas respecter la loi? Il y a une chose qui cloche dans votre gestion!
10  0 
Avatar de petitours
Membre chevronné https://www.developpez.com
Le 31/01/2024 à 8:42
Une fois que l'on a compris que ChatGPT n'est qu'un agent conversationnel on peut le trouver super.
Dans le détail ça ne vaut pas plus qu'une discussion de lundi matin à la machine à café basée sur le fait qu'il faut absolument dire un truc et où le plus bavard, ici chatGPT, va absolument avoir un anecdote et répondre un truc quel que soit le sujet.
J'ai testé, longuement, et reçu des réponses régulièrement débiles.
Aujourd'hui je ne l'utilise que sur des sujets que je connais très bien pour voir ce qu'il me répond, notamment dans le cadre d'enseignements que je donne pour voir ce que mes étudiants vont avoir comme informations en passant par lui. Ce qu'il raconte est au mieux très vague, au pire profondément faux, souvent parce que révélant des mauvaises pratiques.
Cette médiocrité de l'information est à mon sens le plus négatif, sans doute basée sur le volume de données qu'il va chercher copieusement "enrichies" par des forums, blogs ou autres écrits par des non spécialistes.
Le fait qu'il fouine partout et utilise des données personnelles ou viole les droits des auteurs est un autre problème majeur mais personnellement je le le mettrait en 2, après celui de donner des informations fausses ou médiocres qui tirent vers le bas celui qui pose la question.
8  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 05/09/2024 à 9:15
"Mais Monsieur comment voulez que je vende des voitures si je les voles pas au préalable !"
7  0 
Avatar de L33tige
Membre expérimenté https://www.developpez.com
Le 13/02/2024 à 13:01
Citation Envoyé par Ryu2000 Voir le message
Ça ne sert à rien que trop d'étudiants apprennent à se servir de l'IA, puisqu'avec l'IA il faudra moins d'humains pour réaliser autant de travail.
Au bout d'un moment ceux qui bossent dans l'IA ne trouveront plus de boulot.

Si ça se trouve le bon plan c'est de partir totalement à l'opposé.
L'avenir c'est peut-être l'artisanat sans machine, entièrement fait à la main.
On ne sait pas, il y aura peut-être des riches près à mettre beaucoup d'argent dans des produits humains.

C'est clair que beaucoup de gens vont perdre leur boulot à cause de l'IA.
Et ils vont galérer à se reconvertir.

Ce n'est pas dans la conception des IA ou dans la maintenance des robots qu'il y aura beaucoup de boulot.
Parce qu'il y a besoin de peu d'humains pour faire beaucoup.
Je me pose quand même la question, toute cette augmentation de productivité, qui va pouvoir en acheter les fruits, si on se retrouve avec des gens sans travail, qui va acheter ce que produit l'IA ?
6  0 
Avatar de smobydick
Membre averti https://www.developpez.com
Le 16/02/2024 à 7:57
Il y a tellement d'experts qui disent tout et son contraire qu'il y en aura bien un qui finira par avoir raison.
6  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 21/02/2024 à 17:43
Une explication la plus probable, c'est que un modèle ca coute de la tune a faire tourner, open ai a surement crée un modèle dégradé mais qui consomme beaucoup moins pour arriver à tenir financièrement.

si demain google search utilisait un système comme openai, google serait surement en faillite, les couts sont multiplié par 10 je crois par rapport au algos de recherche classique au dernnier articles que j'avais lu (ca date de plus d'1ans cela dit, les couts ont surrement baissé)
mais même un facteur x2 c'est trop cher, ca signifierais que google devrait mettre 2 fois plus de pub ou augmenter le prix du référencement par 2.
6  0 
Avatar de Seb33300
Membre émérite https://www.developpez.com
Le 10/06/2024 à 11:35
L’erreur de ChatGPT qui a coûté 10 000 dollars
ChatGPT c'est un outils, le responsable ça reste le développeur...

Sinon, la prochaine fois que je déploie un bug je dirais que c'est la faute de mon clavier...
6  0 
Avatar de OuftiBoy
Membre éclairé https://www.developpez.com
Le 05/09/2024 à 15:52
Moi si je dis, il faut bien que cambriole 25 maisons par ans, sinon je ne sais pas partir en vacances, je suis certains que ça finira mal pour moi. Mais lui, le Altman, la nouvelle coqueluche du moment, il peut se permettre de dire qu'il ne peut gagner des millions qu'en volant le travail des autres, et ça passe crème.
6  0 
Avatar de seedbarrett
Membre éclairé https://www.developpez.com
Le 08/04/2024 à 17:27
Citation Envoyé par Stéphane le calme Voir le message

« L'IA pourrait remplacer toutes les formes de travail », selon Larry Summers, membre du conseil d'administration d'OpenAI
Et dire qu'il y a des gens qui vont le croire... Pour rappel, on nous avait vendu des voitures volantes et des robots pour faire les corvées à la maison pour l'an 2000, on a eu le 11 septembre. Vivement la fin de cette bulle ridicule et un retour des GPU accessible, parce qu'on sait tous qu'on va devoir travailler encore plus, pour un salaire toujours plus bas. Sauf ceux qui sont biens nés, eux ils vont apprécier
5  0