Le billet de blog de Beren Millidge, responsable de la recherche IA chez Conjecture, explique pourquoi le terme de confabulation est plus approprié que celui d’hallucination pour décrire le comportement des LLM (modèles de langage à grande échelle) lorsqu’ils inventent des informations fausses mais plausibles. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.Un grand modèle de langage (LLM) est un algorithme d'apprentissage profond qui peut effectuer une variété de tâches de traitement du langage naturel (NLP). Les grands modèles de langage utilisent des modèles de transformation et sont formés à l'aide d'ensembles de données massifs - d'où le terme « grand ». Cela leur permet de reconnaître, traduire, prédire ou générer du texte ou d'autres contenus.
Les grands modèles linguistiques sont également appelés réseaux neuronaux (RN), qui sont des systèmes informatiques inspirés du cerveau humain. Ces réseaux neuronaux fonctionnent à l'aide d'un réseau de nœuds en couches, à l'instar des neurones.
Outre l'apprentissage des langues humaines pour les applications d'intelligence artificielle (IA), les grands modèles de langage peuvent également être entraînés à effectuer diverses tâches telles que la compréhension des structures protéiques, l'écriture de codes logiciels, etc. À l'instar du cerveau humain, les grands modèles de langage doivent être pré-entraînés puis affinés afin de pouvoir résoudre des problèmes de classification de textes, de réponse à des questions, de résumé de documents et de génération de textes.
Leurs capacités de résolution de problèmes peuvent être appliquées à des domaines tels que la santé, la finance et le divertissement, où les grands modèles de langage servent une variété d'applications NLP, telles que la traduction, les chatbots, les assistants d'IA. Les grands modèles de langage ont aussi un grand nombre de paramètres, qui sont comme des mémoires que le modèle recueille au fur et à mesure qu'il apprend lors de la formation. Ces paramètres constituent la banque de connaissances du modèle.
Envoyé par Beren Millidge
Les gens décrivent souvent le LLM comme "hallucinant", lorsqu'il invente des informations qui semblent correspondre à une requête donnée, même si elles sont trivialement fausses. Bien qu'évocatrice, cette terminologie n'est pas correcte. En psychologie, nous disposons déjà d'un terme parfait pour désigner ce phénomène précis : la confabulation.
La confabulation est généralement utilisée dans un contexte psychiatrique lorsque des personnes souffrent de lésions cérébrales, notamment de la mémoire, qui les empêchent d'expliquer ou de répondre correctement à des questions. Par exemple, si l'on pose à un patient amnésique des questions sur un événement auquel il a assisté, au lieu d'admettre qu'il ne sait pas, il inventera une histoire plausible.
De même, chez les patients à cerveau divisé, où le corps calleux est sectionné de sorte que chaque moitié du cerveau ne peut pas se parler, les patients peuvent inventer des explications élaborées pour expliquer pourquoi l'autre moitié de leur corps fait telle ou telle chose, même si l'expérimentateur sait que ce n'est pas le cas parce qu'il l'a incité à faire quelque chose de différent.
En général, les personnes confabulatrices inventent des justifications qui semblent plausibles mais qui ne sont pas fondées. Elles ne le font généralement pas dans l'intention de tromper, mais semblent au contraire croire fermement à l'histoire qu'elles viennent de raconter. Ce comportement est identique à celui des LLM. Lorsqu'ils sont contraints de donner une réponse en utilisant un fait qu'ils ne connaissent pas, ils ne peuvent pas dire qu'ils ne savent pas, puisque dans la formation, de tels exemples seraient suivis du fait réel. Au lieu de cela, ils inventent quelque chose de plausible. Ils confabulent.
La confabulation est généralement utilisée dans un contexte psychiatrique lorsque des personnes souffrent de lésions cérébrales, notamment de la mémoire, qui les empêchent d'expliquer ou de répondre correctement à des questions. Par exemple, si l'on pose à un patient amnésique des questions sur un événement auquel il a assisté, au lieu d'admettre qu'il ne sait pas, il inventera une histoire plausible.
De même, chez les patients à cerveau divisé, où le corps calleux est sectionné de sorte que chaque moitié du cerveau ne peut pas se parler, les patients peuvent inventer des explications élaborées pour expliquer pourquoi l'autre moitié de leur corps fait telle ou telle chose, même si l'expérimentateur sait que ce n'est pas le cas parce qu'il l'a incité à faire quelque chose de différent.
En général, les personnes confabulatrices inventent des justifications qui semblent plausibles mais qui ne sont pas fondées. Elles ne le font généralement pas dans l'intention de tromper, mais semblent au contraire croire fermement à l'histoire qu'elles viennent de raconter. Ce comportement est identique à celui des LLM. Lorsqu'ils sont contraints de donner une réponse en utilisant un fait qu'ils ne connaissent pas, ils ne peuvent pas dire qu'ils ne savent pas, puisque dans la formation, de tels exemples seraient suivis du fait réel. Au lieu de cela, ils inventent quelque chose de plausible. Ils confabulent.
L’article de Beren Millidge est intéressant et provocateur. Il soulève une question pertinente sur la terminologie appropriée pour décrire le comportement des LLM lorsqu’ils inventent des informations fausses mais plausibles. Il propose d’utiliser le terme de confabulation, qui est emprunté à la psychologie, pour rendre compte de ce phénomène. Il compare la confabulation des LLM à celle des humains souffrant de certaines lésions cérébrales qui les amènent à fabriquer des histoires pour répondre à des questions qu’ils ne peuvent pas traiter. Il suggère que les LLM sont comme des humains amnésiques et sans cohérence centrale.
Si on peut être en partie d’accord avec son argumentation, il convient de reconnaitre qu’il y a aussi des limites et des nuances à prendre en compte. D’une part, le terme d’hallucination n’est pas très précis ni très informatif pour caractériser le comportement des LLM. Comme il le dit, l’hallucination implique une perception sensorielle sans stimulus externe, ce qui n’est pas le cas des LLM qui génèrent du texte à partir d’un prompt. Le terme de confabulation semble plus adapté pour décrire la production d’informations plausibles mais potentiellement inexactes ou fabriquées, ce qui est une caractéristique commune des modèles de langage lorsqu’ils produisent des réponses basées sur une connaissance limitée ou incomplète.
D’autre part, il y aurait aussi des différences importantes entre la confabulation humaine et la confabulation des LLM. La confabulation humaine est généralement associée à un trouble cognitif ou à une pathologie neuronale, qui affecte la mémoire, le raisonnement ou la conscience de soi. La confabulation humaine peut avoir des conséquences négatives sur la vie quotidienne, les relations sociales ou le bien-être psychologique. La confabulation humaine peut aussi être influencée par des facteurs émotionnels, motivationnels ou contextuels.
La confabulation des LLM, en revanche, n’est pas liée à un dysfonctionnement ou à une souffrance, mais à une limitation technique ou algorithmique. La confabulation des LLM n’a pas d’impact direct sur leur fonctionnement interne ou leur état affectif. La confabulation des LLM est plutôt déterminée par les données d’entraînement, les paramètres du modèle ou les contraintes du prompt.
Sources : Blog post by Beren Millidge, Head of AI Research at Conjecture
Et vous ?
Partagez-vous le point de vue de Millidge selon lequel le terme de confabulation est plus approprié que celui d’hallucination pour décrire le phénomène de fausses informations, mais plausibles par les LLM ? Est-il justifié de comparer la confabulation humaine et la confabulation des LLM sans prendre en compte les distinctions entre ces deux phénomènes en termes de caractéristiques, d’origines et d’effets ? Êtes-vous d’avis avec Beren Millidge que les LLM sont des humains atteints d'amnésie extrême et dépourvus de cohérence centrale ?Voir aussi :
Les chatbots alimentés par des grands modèles de langage (LLM) entraîneront un pic de violations de données d'initiés, 82 % des entreprises ne disposant pas de stratégie de gestion des risques Les micro-applications génératives peuvent renforcer la main-d'œuvre humaine et réduire l'exposition des entreprises aux principaux risques des LLM, selon Nadir Henein, VP Analyste chez Gartner Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites, la mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui 
.