Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder

Car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

Une nouvelle étude révèle que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais il serait impossible de les éliminer complètement.

Alors que les grands modèles de langage (LLM) deviennent de plus en plus omniprésents dans plusieurs domaines, il devient important d'examiner leurs limites inhérentes de manière critique. Des LLM, tels que ChatGPT ou Gemini, peuvent présenter des capacités impressionnantes de raisonnement et de réponse aux questions, mais ils "hallucinent" souvent des résultats erronés et des réponses non fondées.

Pour détecter les hallucinations dans les LLM, des chercheurs de l'Université d'Oxford avaient mis au point une nouvelle méthode. En utilisant des estimateurs d'incertitude basés sur l'entropie, leur approche identifie les résultats arbitraires et incorrects, ou "confabulations", sans nécessiter de données préalables spécifiques à la tâche. Cette méthode améliorerait la fiabilité des LLM dans diverses applications, garantissant ainsi des interactions plus sûres et plus précises basées sur l'IA.

Mais une nouvelle étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.


Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).

En examinant le processus de génération de sortie des LLM, quelle que soit la sophistication des modèles ou l'étendue des données d'apprentissage, chaque étape comporte une probabilité non nulle d'hallucination structurelle. Voici les causes de l'hallucination à chaque étape critique :

• Les données d'entraînement ne peuvent jamais être complètes. Il est impossible de fournir une connaissance a priori à 100 %. L'immensité et la nature changeante des connaissances humaines font que les données d'entraînement seront toujours, dans une certaine mesure, incomplètes ou dépassées.
  
  
• Même si les données étaient complètes, les LLM sont incapables de retrouver de manière déterministe les informations correctes avec une précision de 100 %. La nature même de ces modèles garantit qu'il y aura toujours une certaine chance, aussi faible soit-elle, de retrouver des informations incorrectes ou non pertinentes.
  
  
• Un LLM sera incapable de classifier avec précision avec une probabilité de 1. Il y aura toujours une certaine ambiguïté, un certain potentiel d'interprétation erronée.
  
  
• Aucune formation a priori ne peut empêcher de manière déterministe et décisive un modèle de langage de produire des déclarations hallucinantes qui sont factuellement incorrectes.
  
  
• On pourrait essayer de vérifier les faits, étant donné une base de données complète. Cependant, même si on essaye de le faire, aucune vérification des faits ne peut supprimer l'hallucination avec une précision de 100 %.

Pourquoi la formation ne peut-elle pas effacer les hallucinations des LLM ? Selon les chercheurs, la raison est que les LLM ne peuvent pas savoir exactement où ils arrêteront de générer, c'est-à-dire que le LLM ne connaît pas la durée de sa génération. Par conséquent, ils ont la possibilité de générer n'importe quelle séquence de jetons. Cette imprévisibilité signifie qu'ils ne peuvent pas savoir a priori ce qu'ils vont générer. En conséquence, les LLM peuvent produire des énoncés incohérents ou contradictoires, ainsi que des énoncés autoréférentiels.


Les modèles de langage ont le potentiel de générer non seulement des informations incorrectes, mais aussi des déclarations auto-contradictoires ou paradoxales. Ils peuvent, en effet, halluciner des structures logiques qui n'ont aucun fondement dans la réalité ou même dans leurs propres données d'entraînement. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais les chercheurs sont convaincus qu'on ne pourra jamais les éliminer complètement.

En établissant la certitude mathématique des hallucinations, cette étude remet en question l'idée dominante selon laquelle elles peuvent être totalement atténuées. Toutefois, si les utilisateurs restent conscients des risques et font appel à leur bon sens et à leur connaissance du domaine pour éviter de croire à des contenus hallucinants, les LLM peuvent apporter d'excellentes applications dans différents domaines.

Les chercheurs concluent l'étude en déclarant :

Source : "LLMs Will Always Hallucinate, and We Need to Live With This"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle, selon une étude sur la possibilité d'éliminer les hallucinations des LLM

Les grands modèles de langage confabulent, ils n'hallucinent pas, d'après Beren Millidge, responsable de la recherche IA chez Conjecture

Comment la créativité a quitté les chats IA : le prix de la réduction des biais dans les LLM. Si la censure est efficace pour réduire les biais et la toxicité, elle conduit à une réduction du potentiel créatif