IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Détecter les hallucinations dans les grands modèles de langage à l'aide de l'entropie sémantique
Les LLM tels que ChatGPT peuvent raisonner et répondre aux questions, mais "hallucinent" souvent

Le , par Anthony

55PARTAGES

6  0 
Des chercheurs de l'Université d'Oxford ont mis au point une nouvelle méthode pour détecter les hallucinations dans les grands modèles de langage (LLM) tels que ChatGPT et Gemini. En utilisant des estimateurs d'incertitude basés sur l'entropie, leur approche identifie les résultats arbitraires et incorrects, ou "confabulations", sans nécessiter de données préalables spécifiques à la tâche. Cette méthode améliore la fiabilité des LLM dans diverses applications, garantissant ainsi des interactions plus sûres et plus précises basées sur l'IA.

Les grands systèmes de modèles de langage (LLM), tels que ChatGPT ou Gemini, peuvent présenter des capacités impressionnantes de raisonnement et de réponse aux questions, mais ils "hallucinent" souvent des résultats erronés et des réponses non fondées. Le fait de répondre de manière non fiable ou sans les informations nécessaires empêche l'adoption dans divers domaines, avec des problèmes tels que la fabrication de précédents juridiques ou de faits erronés dans des articles de presse, voire un risque pour la vie humaine dans des domaines médicaux tels que la radiologie.

L'encouragement à la véracité par la supervision ou le renforcement n'a connu qu'un succès partiel. Les chercheurs ont besoin d'une méthode générale pour détecter les hallucinations dans les LLM qui fonctionne même avec des questions nouvelles et inédites auxquelles les humains peuvent ne pas connaître la réponse.


Dans leur étude, les chercheurs du département d'Informatique de l'Université d'Oxford ont développé de nouvelles méthodes fondées sur les statistiques, proposant des estimateurs d'incertitude basés sur l'entropie pour les LLM afin de détecter un sous-ensemble d'hallucinations - les confabulations - qui sont des générations arbitraires et incorrectes. Leur méthode tient compte du fait qu'une idée peut être exprimée de plusieurs façons en calculant l'incertitude au niveau du sens plutôt qu'au niveau de séquences spécifiques de mots. Selon les auteurs, cette méthode fonctionne pour tous les ensembles de données et toutes les tâches sans connaissance a priori de la tâche, ne nécessite pas de données spécifiques à la tâche et se généralise de manière robuste à de nouvelles tâches qui n'ont pas été vues auparavant. En détectant quand une invite est susceptible de produire une confabulation, cette méthode aiderait les utilisateurs à comprendre quand ils doivent être plus prudents avec les LLM et ouvre de nouvelles possibilités d'utilisation des LLM qui sont autrement empêchées par leur manque de fiabilité.

Les auteurs expliquent :

Notre approche probabiliste, qui tient compte de l'équivalence sémantique, détecte une catégorie importante d'hallucinations : celles qui sont causées par un manque de connaissance du LLM. Ces hallucinations représentent une part importante des échecs actuels et continueront à se produire même si les capacités des modèles augmentent, car les situations et les cas que les humains ne peuvent pas superviser de manière fiable persisteront. Les confabulations sont un mode d'échec particulièrement remarquable pour la réponse aux questions, mais elles apparaissent également dans d'autres domaines. L'entropie sémantique ne nécessite aucune connaissance préalable du domaine et nous nous attendons à ce que les adaptations algorithmiques à d'autres problèmes permettent des avancées similaires, par exemple dans le domaine du résumé abstractif. En outre, des extensions à d'autres variantes d'entrée telles que la reformulation ou les scénarios contrefactuels permettraient à une méthode similaire d'agir comme une forme de contre-interrogatoire pour un contrôle évolutif par le biais d'un débat.

D'après les scientifiques de l'Université d'Oxford, le succès de l'entropie sémantique dans la détection des erreurs suggère que les LLM sont encore meilleurs pour "savoir ce qu'ils ne savent pas" - ils ne savent tout simplement pas qu'ils savent ce qu'ils ne savent pas. Leur méthode n'aborde pas directement les situations dans lesquelles les LLM se trompent en toute confiance parce qu'ils ont été formés avec des objectifs qui produisent systématiquement un comportement dangereux, provoquent des erreurs de raisonnement systématiques ou induisent systématiquement l'utilisateur en erreur. « Ces situations représentent des mécanismes sous-jacents différents - malgré des "symptômes" similaires - et elles doivent être traitées séparément », précisent les chercheurs.

Un aspect passionnant de leur approche est la façon dont elle utilise les méthodes classiques d'apprentissage automatique probabiliste et les adapte aux propriétés uniques des LLM modernes et de la génération de langage de forme libre. « Nous espérons inspirer un échange fructueux de méthodes bien étudiées et de nouveaux problèmes émergents en soulignant l'importance de la signification lors de l'examen des problèmes d'apprentissage automatique basés sur le langage. », soulignent les auteurs.

Source : "Detecting hallucinations in large language models using semantic entropy" (étude de l'Université d'Oxford)

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les résultats de cette étude menée par l'université d'Oxford crédibles ou pertinents ?

Voir aussi :

Les experts techniques commencent à douter que les « hallucinations » de ChatGPT disparaîtront un jour : « Ce n'est pas réparable ». Pour eux, les LLM vont continuer d'inventer des faits

LLM par taux d'hallucinations : GPT-4 est le modèle de langage IA qui hallucine le moins, d'après une évaluation de Vectara qui suggère que les LLM de Google sont les moins fiables

L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle, selon une étude sur la possibilité d'éliminer les hallucinations des LLM

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 16/09/2024 à 16:30


Citation Envoyé par Jade Emy Voir le message
Les LLM de l'IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude.

Une nouvelle étude révèle que les hallucinations de grands modèles de langage (LLM) découlent de leurs structures mathématiques et logiques fondamentales. En augmentant la complexité et la capacité des modèles, il est possible de réduire la fréquence de ces hallucinations, mais il serait impossible de les éliminer complètement.

Mais une nouvelle étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.

Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).
C'est quand même incroyable. On nous présente un outils, tout en nous disant qu'il "Hallucine" (un mot doux pour ne pas dire qu'il se plante. On appel cela un Bug quand c'est un humain qui fait une erreur de ce type), mais qu'il faut faire avec ?

Remplaçons "IA" par voiture, "Hallucination" par ne freine pas bien assez souvent, "mais qu'il faut continuer à utiliser cette voiture". On aurait quelque chose comme ceci:

Notre nouvelle voiture, nettement meilleur que la précédente, mais présentant le même défaut de ne pas bien freiner à certains moment sans savoir pourquoi, reste la meilleur voiture jamais mise sur le marché, et vous pouvez l'utiliser en toute confiance.


Je pense que les réactions seraient très différentes, et qu'on ne certifierait pas cette voiture, et serait interdite d'être mise sur le marché.

L'IA a sa place dans certains secteurs, mais n'est certainement pas prête a être utulisée dans tous les secteurs. Il faut donc bien identifier ces secteurs, et éviter de jouer à l'apprenti sorcier dans d'autres secteurs.
3  0 
Avatar de Fluxgraveon
Membre habitué https://www.developpez.com
Le 28/06/2024 à 14:50
Hmm, aujourd'hui j'ai rencontré des manques de fiabilité chez des techniciens humains : électriciens (lecture de plan), gendarmes (lacunes de connaissance du code de la route, défaut de mise à jour) parce que nous ne pouvons pas tout connaître (mémoire) et ils ne disposent pas d’IA ! Peut-être commencer par là serait bien ?

"Confabulation" est un mot intéressant : cela est décrit ici comme "un mode d'échec particulièrement remarquable".
Et s'il s'agissait plutôt d'un mode sans échec hérité d'une tendance humaine à défendre prioritairement un sentiment d'infaillibilité ?
Sans se regarder soi-même, à quoi sert un miroir conçu uniquement pour pérenniser la croyance en notre "supériorité" ? Quel est le sens d'une recherche conçue pour aboutir à un résultat connu d'avance ?

Au fait : « Miroir, gentil miroir, dis-moi, dans le royaume quelle est de toutes la plus belle ? »
1  0 
Avatar de PomFritz
Membre confirmé https://www.developpez.com
Le 16/09/2024 à 19:27
Bref, les mecs ont juste démontré la loi du "Shit in, shit out", pas sûr qu'on ait eu besoin d'attendre les LLM pour ça
1  0 
Avatar de TotoParis
Membre expérimenté https://www.developpez.com
Le 19/09/2024 à 20:13
Citation Envoyé par Eye_Py_Ros Voir le message
Comment dit-on déjà ?
Après tout, l'erreur est humaine...
Intrinsèquement les humains sont sujets à la même chose.
Prenons le sujet du "témoin visuel" ou tout autre biais physiologique.
les llm sont une imitation à pas chère de la structure biologique neuronale, On pourrait plus avancer dans la psychologie humaine que dans la quête de l'iag avec ce genre de sujet.
Non, là on parle de logiciels, ils ne sont pas censés se tromper. Sinon le logiciel de calcul de ta paie ne doit pas être corrigé quand il commet une erreur VOUS concernant. Logique ?

Quant à Dreamforce : la nouvelle stratégie de Salesforce en matière d'IA reconnaît que l'IA va supprimer des emplois, l'entreprise propose des « agents » IA capables de gérer des tâches sans supervision humaine
Là franchement, on va aboutir à quel chaos avec ces conneries d'IA ?
0  0 
Avatar de Eye_Py_Ros
Membre du Club https://www.developpez.com
Le 16/09/2024 à 16:20
Comment dit-on déjà ?

Après tout, l'erreur est humaine...

Intrinsèquement les humains sont sujets à la même chose.
Prenons le sujet du "témoin visuel" ou tout autre biais physiologique.

les llm sont une imitation à pas chère de la structure biologique neuronale, On pourrait plus avancer dans la psychologie humaine que dans la quête de l'iag avec ce genre de sujet.
0  1