« Les agents d'IA se trompent approximativement 70 % du temps », d'après une étude de l'université de Carnegie Mellon

Qui intervient pourtant dans un contexte de licenciements des humains au profit de l'IA

« Les agents d’IA se trompent approximativement 70 % du temps », d’après une étude de l’université de Carnegie Mellon
Qui intervient pourtant dans un contexte de licenciements des humains au profit de l’IA

Les agents d’intelligence artificielle se trompent approximativement 70 % du temps. C’est ce qui ressort d’une récente étude de l’université de Carnegie Mellon qui intervient pourtant dans un contexte de licenciements des humains au profit de l’intelligence artificielle. Un paradoxe quand on prend en compte que des intervenants de renom de la filière informatique considèrent que l’intelligence artificielle c’est 90 % de marketing et 10 % de réalité.



Ce pourcentage d’erreur est même susceptible d’être revu à la hausse avec l’évolution de l’intelligence artificielle


L’industrie de l’intelligence artificielle fait en effet face à un mur : plus l’IA devient intelligente, plus elle hallucine.

Un document technique publié par OpenAI révèle que ses modèles o3 et o4-mini hallucinent plus souvent que les précédents modèles axés sur le raisonnement (o1, o1-mini et o3-mini) et plus que ses modèles traditionnels qui ne sont pas dotés de la capacité de raisonnement, tels que GPT-4 et GPT-4o.

Plus inquiétant encore, OpenAI ne sait pas pourquoi cela se produit. Ce phénomène est inhabituel, car, jusqu'à présent, les nouveaux modèles ont tendance à moins halluciner à mesure que la technologie d'IA sous-jacente s'améliore. OpenAI indique que « des recherches supplémentaires sont nécessaires » pour comprendre pourquoi les hallucinations s'aggravent au fur et à mesure que les modèles de raisonnement évoluent. Voici les résultats des tests :

• o3 hallucine dans 33 % des cas sur le benchmark interne d'OpenAI appelé PersonQA ;
• o4-mini atteint un taux de 48 %, soit près d'une réponse sur deux incorrecte ;
• en comparaison, les modèles précédents comme o1 et o3-mini affichaient des taux respectifs de 16 % et 14,8 %.

L'enjeu est d'autant plus important que les entreprises continuent de consacrer des dizaines de milliards de dollars à la mise en place d'infrastructures sophistiquées pour des modèles d'IA axés sur le raisonnement de plus en plus puissants. Le problème est si répandu qu'il existe des entreprises qui se consacrent à aider les entreprises à surmonter les hallucinations. Les hallucinations réduisent considérablement la valeur de la technologie de l'IA générative.

« Ne pas traiter ces erreurs correctement élimine fondamentalement la valeur des systèmes d'IA », a déclaré Pratik Verma, cofondateur d'Okahu, une société de conseil qui aide les entreprises à mieux utiliser l'IA. Il est également important de souligner que les derniers modèles d'IA de Google et ceux de la startup chinois DeepSeek subissent le même sort que les derniers systèmes d'OpenAI, ce qui indique qu'il s'agit d'un problème à l'échelle de l'industrie.


Des entreprises comme Duolingo remplacent pourtant des travailleurs par l’intelligence artificielle

Luis von Ahn, cofondateur et PDG de Duolingo, a récemment partagé avec le personnel un courriel dans lequel il annonce la nouvelle orientation de la plateforme. Le courriel a été publié sur le compte LinkedIn de Duolingo et informe que la plateforme se dirige vers un avenir centré sur l'IA. Dans le courriel, Luis von Ahn explique la raison d'être du pivot de Duolingo vers l'IA et en cite les avantages, bien que son annonce a déclenché une vague de critiques.

« Duolingo va devenir AI-first », a-t-il écrit. Cela signifie que l'entreprise va adopter l'IA comme pilier central de son développement. L'IA ne sera plus simplement un outil parmi d'autres, mais le point de départ de la conception de ses produits, de son expérience utilisateur et de son fonctionnement global.

Dans le cadre de cette initiative, Duolingo va procéder à quelques changements pour intégrer l'IA à ses processus internes. Ce sera frontal, puisque de nombreux emplois et contractuels seront directement remplacés par l'IA qui, selon le PDG, est bien plus intuitive, économique, mais surtout pratique. « L'IA modifie déjà la façon dont le travail est effectué. Lorsqu'il y a un changement aussi important, la pire chose à faire est d'attendre », écrit Luis von Ahn.

Source : Etude 1, Etude 2

Et vous ?

Avez-vous déjà mis à contribution l’un des grands LLM disponibles pour vos projets de développement web ? Quels sont les avantages et les inconvénients ? Partagez vos anecdotes
Quelles évolutions du métier de développeur entrevoyez-vous au vu de l'adoption de l'intelligence artificielle dans la filière ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur