Le dernier papier scientifique d’OpenAI, Why Language Models Hallucinate, acte une vérité dérangeante : les « hallucinations » des modèles de langage ne sont pas une anomalie, mais une conséquence incontournable de leur conception. Faut-il alors revoir nos attentes vis-à-vis de ChatGPT et de l’IA générative en général ? Et surtout, peut-on bâtir des usages critiques sur une technologie structurellement vouée à produire des erreurs ?Depuis 2022, le terme « hallucination » est devenu le mot-clé qui résume les limites de l’IA générative. Derrière ce vocabulaire presque rassurant, se cache une réalité beaucoup plus problématique : les modèles de langage inventent des faits, produisent de fausses citations, ou bâtissent des raisonnements qui semblent logiques mais qui s’effondrent à la moindre vérification.
OpenAI admet aujourd’hui que ce n’est pas un bogue. C’est un effet direct de la manière dont ces systèmes sont entraînés : prédire la suite la plus probable d’un texte en fonction des milliards d’exemples ingérés. L’objectif n’est pas d’atteindre la vérité factuelle, mais de maximiser la vraisemblance statistique. Autrement dit, la fluidité du discours est un produit d’optimisation, pas la véracité.
Quand l’IA invente… et que c’est normal
Depuis leur lancement, les modèles de langage comme ChatGPT fascinent par leur capacité à produire des textes fluides, riches et convaincants. Mais cette aisance verbale a un revers : il arrive régulièrement qu’ils génèrent des contre-vérités, des citations fictives ou des faits inexacts. OpenAI parle alors « d'hallucinations », un terme qui masque à peine une réalité plus gênante : ces erreurs ne sont pas de simples bogues, mais une conséquence directe de l’architecture statistique de ces systèmes.
Le nouveau papier scientifique d’OpenAI, Why Language Models Hallucinate, affirme que ces faux énoncés sont mathématiquement inévitables. Les modèles de langage, entraînés à prédire la suite la plus probable d’un texte, sont condamnés à produire des sorties fausses dès lors qu’ils s’aventurent dans des zones de savoir mal couvertes ou trop ambiguës.
Envoyé par OpenAI
Tout comme les étudiants confrontés à des questions d'examen difficiles, les grands modèles linguistiques font parfois des suppositions lorsqu'ils sont incertains, produisant des déclarations plausibles mais incorrectes au lieu d'admettre leur incertitude. Ces « hallucinations » persistent même dans les systèmes de pointe et sapent la confiance.
Nous soutenons que les modèles linguistiques hallucinent parce que les procédures d'entraînement et d'évaluation récompensent les suppositions plutôt que la reconnaissance de l'incertitude, et nous analysons les causes statistiques des hallucinations dans le pipeline d'entraînement moderne. Les hallucinations n'ont rien de mystérieux : elles trouvent simplement leur origine dans des erreurs de classification binaire.
Si les affirmations incorrectes ne peuvent être distinguées des faits, alors les hallucinations dans les modèles linguistiques pré-entraînés apparaîtront sous l'effet de pressions statistiques naturelles. Nous soutenons ensuite que les hallucinations persistent en raison de la manière dont la plupart des évaluations sont notées : les modèles linguistiques sont optimisés pour être de bons candidats aux tests, et deviner en cas d'incertitude améliore les performances aux tests.
Cette « épidémie » de pénalisation des réponses incertaines ne peut être traitée que par une atténuation socio-technique : modifier la notation des benchmarks existants qui sont mal alignés mais dominent les classements, plutôt que d'introduire des évaluations supplémentaires des hallucinations. Ce changement pourrait orienter le domaine vers des systèmes d'IA plus fiables.
Nous soutenons que les modèles linguistiques hallucinent parce que les procédures d'entraînement et d'évaluation récompensent les suppositions plutôt que la reconnaissance de l'incertitude, et nous analysons les causes statistiques des hallucinations dans le pipeline d'entraînement moderne. Les hallucinations n'ont rien de mystérieux : elles trouvent simplement leur origine dans des erreurs de classification binaire.
Si les affirmations incorrectes ne peuvent être distinguées des faits, alors les hallucinations dans les modèles linguistiques pré-entraînés apparaîtront sous l'effet de pressions statistiques naturelles. Nous soutenons ensuite que les hallucinations persistent en raison de la manière dont la plupart des évaluations sont notées : les modèles linguistiques sont optimisés pour être de bons candidats aux tests, et deviner en cas d'incertitude améliore les performances aux tests.
Cette « épidémie » de pénalisation des réponses incertaines ne peut être traitée que par une atténuation socio-technique : modifier la notation des benchmarks existants qui sont mal alignés mais dominent les classements, plutôt que d'introduire des évaluations supplémentaires des hallucinations. Ce changement pourrait orienter le domaine vers des systèmes d'IA plus fiables.
Pourquoi la prédiction du mot suivant génère des hallucinations
Cet article fournit l'explication mathématique la plus rigoureuse à ce jour pour expliquer pourquoi ces modèles affirment avec certitude des informations erronées. Il démontre que ces erreurs ne sont pas seulement un effet secondaire malheureux de la manière dont les IA sont actuellement entraînées, mais qu'elles sont mathématiquement inévitables.
Ce problème peut s'expliquer en partie par des erreurs dans les données sous-jacentes utilisées pour entraîner les IA. Mais en utilisant une analyse mathématique de la manière dont les systèmes d'IA apprennent, les chercheurs prouvent que même avec des données d'entraînement parfaites, le problème persiste.
La manière dont les modèles linguistiques répondent aux requêtes, en prédisant un mot à la fois dans une phrase, sur la base de probabilités, produit naturellement des erreurs. Les chercheurs montrent en effet que le taux d'erreur total pour la génération de phrases est au moins deux fois plus élevé que le taux d'erreur que la même IA aurait sur une simple question oui/non, car les erreurs peuvent s'accumuler sur plusieurs prédictions.
En d'autres termes, les taux d'hallucination sont fondamentalement limités par la capacité des systèmes d'IA à distinguer les réponses valides des réponses invalides. Comme ce problème de classification est intrinsèquement difficile dans de nombreux domaines de connaissance, les hallucinations deviennent inévitables.
Le papier de recherche insiste sur un point fondamental : même avec davantage de données, même avec un entraînement plus sophistiqué, la probabilité d’erreurs ne tombe jamais à zéro.
Envoyé par OpenAI
Nous avons vu pourquoi les hallucinations sont si difficiles à éliminer, mais pas d’où proviennent ces erreurs factuelles si spécifiques. Quand on y pense, les grands modèles pré-entraînés commettent rarement d’autres types d’erreur, comme des fautes d’orthographes ou des incohérences au niveau des parenthèses. La différence réside dans les logiques qui se cachent dans les données.
Les modèles de langage apprennent tout d’abord via une phase de pré-entraînement, un processus qui consiste à prédire le mot suivant au sein d’une énorme quantité de texte. Dans cette phase, à la différence de ce qui se passe dans les problèmes de machine learning classiques, il n’y a pas d’étiquette « vrai/faux » associée à chaque affirmation. Le modèle ne voit que des exemples positifs de formulations naturelles et doit donc estimer la distribution globale du langage.
Il est deux fois plus difficile de faire la distinction entre les affirmations valides et non valides sans exemples étiquetés d’affirmations non valides. Mais même avec les étiquettes, certaines erreurs restent inévitables. Pour bien en comprendre les raisons, basons nous sur une nouvelle analogie. Dans le domaine de la reconnaissance d’images, l’étiquetage de millions de photos de chats et de chiens permet aux algorithmes de les classer de manière fiable. Imaginons qu’au lieu d’étiqueter chaque photo en fonction de son sujet (chien ou chat), nous indiquions la date d’anniversaire de l’animal. Ces dates étant aléatoires, cette tâche générerait toujours des erreurs, quel que soit le degré de sophistication de l’algorithme.
Il en va de même pour le pré-entraînement....
Les modèles de langage apprennent tout d’abord via une phase de pré-entraînement, un processus qui consiste à prédire le mot suivant au sein d’une énorme quantité de texte. Dans cette phase, à la différence de ce qui se passe dans les problèmes de machine learning classiques, il n’y a pas d’étiquette « vrai/faux » associée à chaque affirmation. Le modèle ne voit que des exemples positifs de formulations naturelles et doit donc estimer la distribution globale du langage.
Il est deux fois plus difficile de faire la distinction entre les affirmations valides et non valides sans exemples étiquetés d’affirmations non valides. Mais même avec les étiquettes, certaines erreurs restent inévitables. Pour bien en comprendre les raisons, basons nous sur une nouvelle analogie. Dans le domaine de la reconnaissance d’images, l’étiquetage de millions de photos de chats et de chiens permet aux algorithmes de les classer de manière fiable. Imaginons qu’au lieu d’étiqueter chaque photo en fonction de son sujet (chien ou chat), nous indiquions la date d’anniversaire de l’animal. Ces dates étant aléatoires, cette tâche générerait toujours des erreurs, quel que soit le degré de sophistication de l’algorithme.
Il en va de même pour le pré-entraînement....
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
