IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder
Car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

Le , par Jade Emy

10PARTAGES

12  0 
Une nouvelle étude révèle que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais il serait impossible de les éliminer complètement.

Alors que les grands modèles de langage (LLM) deviennent de plus en plus omniprésents dans plusieurs domaines, il devient important d'examiner leurs limites inhérentes de manière critique. Des LLM, tels que ChatGPT ou Gemini, peuvent présenter des capacités impressionnantes de raisonnement et de réponse aux questions, mais ils "hallucinent" souvent des résultats erronés et des réponses non fondées.

Pour détecter les hallucinations dans les LLM, des chercheurs de l'Université d'Oxford avaient mis au point une nouvelle méthode. En utilisant des estimateurs d'incertitude basés sur l'entropie, leur approche identifie les résultats arbitraires et incorrects, ou "confabulations", sans nécessiter de données préalables spécifiques à la tâche. Cette méthode améliorerait la fiabilité des LLM dans diverses applications, garantissant ainsi des interactions plus sûres et plus précises basées sur l'IA.

Mais une nouvelle étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.


Étapes de la génération de LLM et stratégies pour atténuer l'hallucination dans chacune d'entre elles

Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).

En examinant le processus de génération de sortie des LLM, quelle que soit la sophistication des modèles ou l'étendue des données d'apprentissage, chaque étape comporte une probabilité non nulle d'hallucination structurelle. Voici les causes de l'hallucination à chaque étape critique :

  • Les données d'entraînement ne peuvent jamais être complètes. Il est impossible de fournir une connaissance a priori à 100 %. L'immensité et la nature changeante des connaissances humaines font que les données d'entraînement seront toujours, dans une certaine mesure, incomplètes ou dépassées.
  • Même si les données étaient complètes, les LLM sont incapables de retrouver de manière déterministe les informations correctes avec une précision de 100 %. La nature même de ces modèles garantit qu'il y aura toujours une certaine chance, aussi faible soit-elle, de retrouver des informations incorrectes ou non pertinentes.
  • Un LLM sera incapable de classifier avec précision avec une probabilité de 1. Il y aura toujours une certaine ambiguïté, un certain potentiel d'interprétation erronée.
  • Aucune formation a priori ne peut empêcher de manière déterministe et décisive un modèle de langage de produire des déclarations hallucinantes qui sont factuellement incorrectes.
  • On pourrait essayer de vérifier les faits, étant donné une base de données complète. Cependant, même si on essaye de le faire, aucune vérification des faits ne peut supprimer l'hallucination avec une précision de 100 %.


Pourquoi la formation ne peut-elle pas effacer les hallucinations des LLM ? Selon les chercheurs, la raison est que les LLM ne peuvent pas savoir exactement où ils arrêteront de générer, c'est-à-dire que le LLM ne connaît pas la durée de sa génération. Par conséquent, ils ont la possibilité de générer n'importe quelle séquence de jetons. Cette imprévisibilité signifie qu'ils ne peuvent pas savoir a priori ce qu'ils vont générer. En conséquence, les LLM peuvent produire des énoncés incohérents ou contradictoires, ainsi que des énoncés autoréférentiels.


Chaque étape du processus de génération de LLM comporte des limites

Les modèles de langage ont le potentiel de générer non seulement des informations incorrectes, mais aussi des déclarations auto-contradictoires ou paradoxales. Ils peuvent, en effet, halluciner des structures logiques qui n'ont aucun fondement dans la réalité ou même dans leurs propres données d'entraînement. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais les chercheurs sont convaincus qu'on ne pourra jamais les éliminer complètement.

En établissant la certitude mathématique des hallucinations, cette étude remet en question l'idée dominante selon laquelle elles peuvent être totalement atténuées. Toutefois, si les utilisateurs restent conscients des risques et font appel à leur bon sens et à leur connaissance du domaine pour éviter de croire à des contenus hallucinants, les LLM peuvent apporter d'excellentes applications dans différents domaines.

Les chercheurs concluent l'étude en déclarant :

Comme les technologies révolutionnaires avant elles, et inévitablement après elles, les modèles d'IA ont le potentiel de contribuer grandement au progrès et au développement de l'humanité, à condition qu'ils soient utilisés de manière responsable. Tout ce que nous avons à faire, c'est de les reconnaître comme des extensions, et non des remplacements, de la pensée et de la cognition humaines.
Source : "LLMs Will Always Hallucinate, and We Need to Live With This"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle, selon une étude sur la possibilité d'éliminer les hallucinations des LLM

Les grands modèles de langage confabulent, ils n'hallucinent pas, d'après Beren Millidge, responsable de la recherche IA chez Conjecture

Comment la créativité a quitté les chats IA : le prix de la réduction des biais dans les LLM. Si la censure est efficace pour réduire les biais et la toxicité, elle conduit à une réduction du potentiel créatif

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 16/09/2024 à 16:30


Citation Envoyé par Jade Emy Voir le message
Les LLM de l'IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude.

Une nouvelle étude révèle que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais il serait impossible de les éliminer complètement.

Mais une nouvelle étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.

Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).
C'est quand même incroyable. On nous présente un outils, tout en nous disant qu'il "Hallucine" (un mot doux pour ne pas dire qu'il se plante. On appel cela un Bug quand c'est un humain qui fait une erreur de ce type), mais qu'il faut faire avec ?

Remplaçons "IA" par voiture, "Hallucination" par ne freine pas bien assez souvent, "mais qu'il faut continuer à utiliser cette voiture". On aurait quelque chose comme ceci:

Notre nouvelle voiture, nettement meilleur que la précédente, mais présentant le même défaut de ne pas bien freiner à certains moment sans savoir pourquoi, reste la meilleur voiture jamais mise sur le marché, et vous pouvez l'utiliser en toute confiance.


Je pense que les réactions seraient très différentes, et qu'on ne certifierait pas cette voiture, et serait interdite d'être mise sur le marché.

L'IA a sa place dans certains secteurs, mais n'est certainement pas prête a être utulisée dans tous les secteurs. Il faut donc bien identifier ces secteurs, et éviter de jouer à l'apprenti sorcier dans d'autres secteurs.
3  0 
Avatar de PomFritz
Membre confirmé https://www.developpez.com
Le 16/09/2024 à 19:27
Bref, les mecs ont juste démontré la loi du "Shit in, shit out", pas sûr qu'on ait eu besoin d'attendre les LLM pour ça
1  0 
Avatar de TotoParis
Membre expérimenté https://www.developpez.com
Le 19/09/2024 à 20:13
Citation Envoyé par Eye_Py_Ros Voir le message
Comment dit-on déjà ?
Après tout, l'erreur est humaine...
Intrinsèquement les humains sont sujets à la même chose.
Prenons le sujet du "témoin visuel" ou tout autre biais physiologique.
les llm sont une imitation à pas chère de la structure biologique neuronale, On pourrait plus avancer dans la psychologie humaine que dans la quête de l'iag avec ce genre de sujet.
Non, là on parle de logiciels, ils ne sont pas censés se tromper. Sinon le logiciel de calcul de ta paie ne doit pas être corrigé quand il commet une erreur VOUS concernant. Logique ?

Quant à Dreamforce : la nouvelle stratégie de Salesforce en matière d'IA reconnaît que l'IA va supprimer des emplois, l'entreprise propose des « agents » IA capables de gérer des tâches sans supervision humaine
Là franchement, on va aboutir à quel chaos avec ces conneries d'IA ?
0  0 
Avatar de Eye_Py_Ros
Membre du Club https://www.developpez.com
Le 16/09/2024 à 16:20
Comment dit-on déjà ?

Après tout, l'erreur est humaine...

Intrinsèquement les humains sont sujets à la même chose.
Prenons le sujet du "témoin visuel" ou tout autre biais physiologique.

les llm sont une imitation à pas chère de la structure biologique neuronale, On pourrait plus avancer dans la psychologie humaine que dans la quête de l'iag avec ce genre de sujet.
0  1