L'industrie de l'IA a un énorme problème : plus l'IA devient « intelligente », plus elle hallucine,

Ce phénomène réduit considérablement la valeur de la technologie de l'IA générative

Les modèles d'IA hallucinent de plus en plus malgré l'amélioration de la technologie sous-jacente. Il s'agit là d'une vérité gênante, alors que les utilisateurs continuent d'affluer vers les chatbots d'IA comme ChatGPT, qu'ils utilisent pour un éventail croissant de tâches. En laissant les chatbots débiter des affirmations erronées, toutes ces personnes risquent d'être induites en erreur, ce qui les expose à des dangers. De plus, les fabricants de modèles d'IA ne comprennent pas pleinement les raisons pour lesquelles le taux d'hallucination augmente. Selon une étude publiée l'année dernière, les modèles d'IA vont toujours halluciner et il va falloir s'en accommoder.

L'hallucination est un terme élégant et pratique que l'industrie utilise pour désigner les « informations » que les grands modèles de langage (LLM) inventent de toute pièce et présentent souvent comme des faits. À en juger par la trajectoire des tout derniers modèles axés sur le raisonnement, conçus pour « réfléchir » à un problème avant d'y répondre, le problème s'aggrave, au lieu de s'améliorer. Les modèles de dernière génération hallucinent beaucoup plus.

Cette tendance inquiétante remet en cause l'hypothèse générale du secteur selon laquelle « les modèles d'IA deviendront plus puissants et plus fiables au fur et à mesure de leur puissance augmente ». Ce phénomène pourrait avoir des conséquences dangereuses pour les utilisateurs individuels et les entreprises.

Le mois dernier, un robot d'IA qui assure l'assistance technique pour Cursor, un outil en plein essor destiné aux programmeurs informatiques, a alerté plusieurs clients d'un changement dans la politique de l'entreprise. Il leur a indiqué qu'ils n'étaient plus autorisés à utiliser Cursor sur plus d'un ordinateur. Les clients se sont plaints en envoyant des messages de colère sur des forums de discussion sur Internet. Certains ont annulé leur abonnement à Cursor.

Ils sont devenus encore plus furieux lorsqu'ils ont compris ce qui s'était passé : le robot d'IA avait annoncé un changement de politique qui n'existait pas. « Nous n'avons pas de politique en la matière. Vous êtes bien sûr libre d'utiliser Cursor sur plusieurs machines. Malheureusement, il s'agit d'une réponse erronée de la part d'un bot d'assistance en IA de première ligne », a expliqué Michael Truell, PDG et cofondateur de l'entreprise, dans un billet sur Reddit.

Le taux d'hallucination des nouveaux systèmes en forte augmentation

Les modèles d'IA récents sont basés sur des systèmes mathématiques complexes qui acquièrent leurs compétences en analysant d'énormes quantités de données numériques. Ils ne décident pas (et ne peuvent pas décider) de ce qui est vrai et de ce qui est faux. Parfois, les modèles inventent tout simplement des choses. Lors d'un test, le taux d'hallucination des nouveaux systèmes d'IA a atteint 79 %. OpenAI est notamment profondément perplexe à ce sujet.


Un document technique publié par OpenAI révèle que ses modèles o3 et o4-mini hallucinent plus souvent que les précédents modèles axés sur le raisonnement (o1, o1-mini et o3-mini) et plus que ses modèles traditionnels qui ne sont pas dotés de la capacité de raisonnement, tels que GPT-4 et GPT-4o.

Plus inquiétant encore, OpenAI ne sait pas pourquoi cela se produit. Ce phénomène est inhabituel, car, jusqu'à présent, les nouveaux modèles ont tendance à moins halluciner à mesure que la technologie d'IA sous-jacente s'améliore. OpenAI indique que « des recherches supplémentaires sont nécessaires » pour comprendre pourquoi les hallucinations s'aggravent au fur et à mesure que les modèles de raisonnement évoluent. Voici les résultats des tests :

• o3 hallucine dans 33 % des cas sur le benchmark interne d'OpenAI appelé PersonQA ;
• o4-mini atteint un taux de 48 %, soit près d'une réponse sur deux incorrecte ;
• en comparaison, les modèles précédents comme o1 et o3-mini affichaient des taux respectifs de 16 % et 14,8 %.

L'enjeu est d'autant plus important que les entreprises continuent de consacrer des dizaines de milliards de dollars à la mise en place d'infrastructures sophistiquées pour des modèles d'IA axés sur le raisonnement de plus en plus puissants. Le problème est si répandu qu'il existe des entreprises qui se consacrent à aider les entreprises à surmonter les hallucinations. Les hallucinations réduisent considérablement la valeur de la technologie de l'IA générative.

« Ne pas traiter ces erreurs correctement élimine fondamentalement la valeur des systèmes d'IA », a déclaré Pratik Verma, cofondateur d'Okahu, une société de conseil qui aide les entreprises à mieux utiliser l'IA. Il est également important de souligner que les derniers modèles d'IA de Google et ceux de la startup chinois DeepSeek subissent le même sort que les derniers systèmes d'OpenAI, ce qui indique qu'il s'agit d'un problème à l'échelle de l'industrie.

Impacts potentiels de ce problème sur les utilisateurs et les entreprises

Depuis l'avènement de l'IA générative, avec la publication du chatbot d'IA ChatGPT d'OpenAI en novembre 2022, le problème de l'hallucination suscite des inquiétudes quant à la fiabilité de ces systèmes. Bien qu'ils soient utiles dans certaines situations (comme la rédaction de travaux de fin d'études, la synthèse de documents bureautiques et la génération de code informatique), leurs erreurs peuvent causer des problèmes graves aux différents utilisateurs.


Les robots d'IA liés à des moteurs de recherche tels que Google et Bing génèrent parfois des résultats de recherche qui sont risiblement erronés. Si vous leur demandez un bon marathon sur la côte ouest, ils vous suggéreront peut-être une course à Philadelphie. S'ils vous indiquent le nombre de ménages dans l'Illinois, ils peuvent citer une source qui ne contient pas cette information. Bing a déjà réussi à estimer le nombre d'habitants sur la planète Mars.

Ces hallucinations ne sont peut-être pas un gros problème pour beaucoup de gens, mais c'est un problème sérieux pour tous ceux qui utilisent la technologie avec des documents judiciaires, des informations médicales ou des données commerciales sensibles. Des avocats ont déjà été induits en erreur par ChatGPT.

Par ailleurs, les développeurs qui s'appuient sur l'IA générer du code s'exposent à un nouveau type d'attaque de la chaîne d'approvisionnement. Un acteur de la menace demande à une IA de générer du code, le code généré par le modèle peut contenir des logiciels open source qui n'existent pas. Puis, l'acteur de la menace crée et publie des paquets malveillants sur des index tels que PyPI et npm en les nommant d'après les noms inventés par l'IA.

Il espère ensuite que quelqu'un, guidé par un modèle d'IA de codage, va copier-coller ce nom de paquet et tentera de l'installer sans se rendre compte qu'il s'agit d'un faux paquet. Seth Larson, développeur en résidence à la Python Software Foundation, a baptisé cette attaque « slopsquatting ».

Il s'agit d'une variante du typosquatting (typosquattage). La différence est que le typosquattage s'appuie sur les fautes d'orthographe des utilisateurs, tandis que le slopsquatting s'appuie sur les erreurs de l'IA. « Slop » est un terme péjoratif courant utilisé pour désigner les résultats d'un modèle d'IA. Les chercheurs alertent sur ce phénomène et affirment qu'il s'agit d'une nouvelle menace sérieuse pour les chaînes d'approvisionnement en logiciels.

Les grands modèles de langage seront toujours sujets à l'hallucination

Depuis fin 2023, Vectara suit la fréquence à laquelle les chatbots s'écartent de la vérité. L'entreprise demande à ces systèmes d'effectuer une tâche simple et facilement vérifiable : résumer des articles de presse spécifiques. Même dans ce cas, les chatbots inventent constamment des informations. En se basant sur ses observations, Vectara a estimé que dans cette situation, les chatbots inventent des informations au moins 3 % du temps et parfois jusqu'à 27 %.

Vectara est une startup qui crée des outils d'IA pour les entreprises. La startup a été fondée par Amr Awadallah, ancien cadre de Google. Au cours de l'année et demie qui s'est écoulée depuis, des entreprises telles qu'OpenAI et Google ont ramené ces chiffres à 1 ou 2 %. D'autres, comme la startup Anthropic de San Francisco, tournent autour de 4 %. Mais les taux d'hallucination sur ce test ont augmenté avec les systèmes axés sur le raisonnement.

Le modèle axé sur le raisonnement de DeepSeek, R1, a halluciné 14,3 % du temps. Le modèle o3 d'OpenAI a grimpé à 6,8 %. Un autre problème réside dans le fait que les modèles d'IA axés sur le raisonnement sont conçus pour...