L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle

Selon une étude sur la possibilité d'éliminer les hallucinations des LLM

L'hallucination est largement reconnue comme un inconvénient important pour les grands modèles de langage (LLM). De nombreux travaux ont tenté de réduire l'ampleur de l'hallucination. Jusqu'à présent, ces efforts ont surtout été empiriques, ce qui ne permet pas de répondre à la question fondamentale de savoir s'il est possible d'éliminer complètement l'hallucination. Selon l'étude suivante, l'hallucination est inévitable. Ce serait une limitation innée des grands modèles de langage (LLM) en intelligence artificielle (IA).

Dans leur étude, trois chercheurs de l'École d'informatique, Université nationale de Singapour, ont formalisé le problème et montré qu'il est impossible d'éliminer l'hallucination dans les LLM. Plus précisément, ils ont défini un monde formel dans lequel l'hallucination est définie comme des incohérences entre un LLM calculable et une fonction de vérité de base calculable. En utilisant des résultats de la théorie de l'apprentissage, ils montrent que les LLM ne peuvent pas apprendre toutes les fonctions calculables et qu'ils auront donc toujours des hallucinations.

Comme le monde formel est une partie du monde réel qui est beaucoup plus compliqué, les hallucinations sont également inévitables pour les LLM du monde réel. En outre, pour les LLM du monde réel contraints par une complexité temporelle prouvable, ils décrivent les tâches sujettes aux hallucinations et valident empiriquement ses affirmations. Enfin, en utilisant le cadre du monde formel, ils discutent des mécanismes possibles et de l'efficacité des atténuateurs d'hallucinations existants ainsi que des implications pratiques sur le déploiement sûr des LLM.


L'hallucination : limitation innée des grands modèles de langage

L'émergence des grands modèles de langage (LLM) a marqué une étape importante dans le domaine de l'intelligence artificielle, en particulier dans le traitement du langage naturel. Ces modèles, avec leurs vastes bases de connaissances et leur capacité à générer des textes cohérents et pertinents sur le plan contextuel, ont eu un impact considérable sur la recherche, l'industrie et la société.

Cependant, l'un des défis majeurs auxquels ils sont confrontés est le problème de l'"hallucination", où les modèles génèrent des informations plausibles mais factuellement incorrectes ou absurdes. Ce problème a suscité des préoccupations croissantes en matière de sécurité et d'éthique dans la mesure où les LLM sont largement appliqués, ce qui a donné lieu à une littérature de plus en plus abondante pour tenter de le classer, de le comprendre et de l'atténuer.

Des travaux antérieurs ont identifié de multiples sources possibles d'hallucination dans les LLM, de la collecte des données aux aspects de formation et d'inférence. Par exemple, dans l'étude "Survey of Hallucination in Natural Language Generation", les auteurs attribuent l'hallucination dans la génération de langage naturel à la collecte heuristique de données, à la divergence innée, à l'apprentissage imparfait de la représentation, au décodage erroné, au biais d'exposition et au biais de connaissance paramétrique.

Une pléthore de méthodes a été proposée pour atténuer l'hallucination. Par exemple, des mesures centrées sur les faits et des repères ont été proposés pour mesurer et réduire l'hallucination sur des ensembles de données spécifiques. Les méthodes basées sur la recherche renforcent le LLM par des graphes de connaissances ou des bases de données pour aider à corriger les erreurs factuelles dans les résultats des modèles. L'incitation des modèles à raisonner et à vérifier leurs réponses a également été démontrée pour réduire l'hallucination.

Jusqu'à présent, la recherche sur l'hallucination LLM reste largement empirique. Aussi utiles soient-elles, les études empiriques ne peuvent pas répondre à la question fondamentale : peut-on éliminer complètement l'hallucination ? La réponse à cette question est fondamentale car elle indique une limite supérieure possible des capacités des LLM. Cependant, comme il est impossible d'énumérer et de tester empiriquement toutes les données possibles, il est impossible de discuter formellement de cette question sans une définition claire et une analyse formelle de l'hallucination.


Dans le monde réel, la définition formelle de l'hallucination, une erreur factuelle ou logique du LLM, s'avère extrêmement difficile. Ceci est dû au fait qu'une définition formelle de la sémantique dans le monde réel est encore un problème ouvert. C'est pourquoi, l'étude définit un monde formel de fonctions calculables, dans lequel des discussions précises sur l'hallucination sont possibles.

Dans ce monde, l'hallucination se produit chaque fois qu'un LLM ne parvient pas à reproduire exactement la sortie d'une fonction calculable. Dans le cadre de cette définition, l'étude présente un résultat fondamental selon lequel l'hallucination est inévitable pour tout LLM calculable, indépendamment de l'architecture du modèle, des algorithmes d'apprentissage, des techniques d'incitation ou des données d'entraînement.

Puisque ce monde formel fait partie du monde réel, le résultat s'applique également aux LLM dans le monde réel. Sur la base des résultats théoriques, L'étude identifie certains problèmes formels dans lesquels les LLM du monde réel sont susceptibles d'halluciner et elle vérifie empiriquement cette identification. Les résultats théoriques et empiriques ont amené les chercheurs à discuter de leurs implications pratiques sur l'utilisation correcte des LLM.

La contribution de cette étude est résumée comme suit :

• Elle définit formellement et discute de l'hallucination pour les LLM et, en utilisant les résultats de la théorie de l'apprentissage, elle montre que l'hallucination est inévitable pour les LLM.
• L'étude empirique montre également que les LLMs de pointe sont sujets à l'hallucination dans certains problèmes du monde réel, ce qui valide les résultats théoriques.
• Elle discute des implications pratiques des résultats théoriques sur la conception d'atténuateurs d'hallucinations et le déploiement de LLM dans le monde réel.

Conclusion

Source : "Hallucination is Inevitable: An Innate Limitation of Large Language Models"

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour : « Ce n'est pas réparable ». Pour eux, les LLM vont continuer d'inventer des faits

LLM par taux d'hallucinations : GPT-4 est le modèle de langage IA qui hallucine le moins, d'après une évaluation de Vectara qui suggère que les LLM de Google sont les moins fiables

Les grands modèles de langage confabulent, ils n'hallucinent pas, d'après Beren Millidge, responsable de la recherche IA chez Conjecture