Une étude récente de l'université de Californie à Los Angeles révèle que si les grands modèles de langage (LLM) disposent de fortes capacités de raisonnement inductif, leurs capacités de raisonnement déductif, en particulier dans les tâches impliquant un raisonnement "contrefactuel", sont nettement plus faibles. Les chercheurs ont introduit un framework baptisé SolverLearner pour isoler et évaluer le raisonnement inductif des LLM, montrant une performance presque parfaite. Toutefois, cette réussite contraste avec une performance relativement faible en matière de raisonnement déductif, soulevant des questions sur les problèmes de raisonnement fondamentaux auxquels sont confrontés les LLM.Un grand modèle de langage (LLM) est un modèle informatique capable de générer du langage ou d'effectuer d'autres tâches de traitement du langage naturel. En tant que modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage autosupervisé et semi-supervisé.
Les LLM les plus grands et les plus performants, à partir d'août 2024, sont des réseaux neuronaux artificiels construits avec une architecture basée sur un décodeur à transformateur uniquement, qui permet un traitement et une génération efficaces de données textuelles à grande échelle. Ces modèles acquièrent un pouvoir prédictif concernant la syntaxe, la sémantique et les ontologies inhérentes aux corpus de langage humain, mais ils héritent également des inexactitudes et des biais présents dans les données sur lesquelles ils sont formés.
Dans une récente étude, des chercheurs de l'université de Californie et d'Amazon ont exploré un aspect moins étudié des LLM en tentant d'apporter des éléments de réponse à la question suivante : dans le cadre du raisonnement LLM, quel est le plus grand défi - le raisonnement déductif ou le raisonnement inductif ?
Le raisonnement comprend en général deux catégories typiques : le raisonnement déductif et le raisonnement inductif. Malgré des recherches approfondies sur les capacités de raisonnement des grands modèles de langage (LLM), la plupart des études n'ont pas réussi à différencier rigoureusement le raisonnement inductif et le raisonnement déductif, ce qui a conduit à un mélange des deux.
Alors que les capacités de raisonnement déductif des LLM (c'est-à-dire leur capacité à suivre des instructions dans des tâches de raisonnement) ont fait l'objet d'une attention considérable, leurs capacités en matière de raisonnement inductif restent à ce jour largement inexplorées.
Pour étudier les capacités de raisonnement inductif des LLM, les auteurs de l'étude ont introduit un nouveau framework, SolverLearner. En se concentrant sur le raisonnement inductif tout en mettant de côté le raisonnement déductif basé sur les LLM, SolverLearner a permis d'examiner la forme pure du raisonnement inductif dans les LLM.
Concrètement, SolverLearner permet aux LLM d'apprendre la fonction sous-jacente (c'est-à-dire y=fw(x)), qui associe des points de données d'entrée (x) à leurs valeurs de sortie correspondantes (y), en utilisant uniquement des exemples en contexte. En se concentrant sur le raisonnement inductif et en le séparant du raisonnement déductif basé sur les LLM, les auteurs ont isolé et étudié le raisonnement inductif des LLM dans sa forme pure via SolverLearner.
Leurs observations révèlent que les LLMs démontrent des capacités remarquables de raisonnement inductif à travers SolverLearner, atteignant une performance presque parfaite avec un ACC de 1 dans la plupart des cas.
De manière surprenante, malgré leurs fortes capacités de raisonnement inductif, les auteurs ont découvert que les LLM présentent souvent des capacités déductives plus faibles et ont tendance à manquer relativement de capacités de raisonnement déductif, en particulier dans les tâches impliquant un raisonnement ou des scénarios « contrefactuels ».
Source : "Inductive or Deductive? Rethinking the Fundamental Reasoning Abilities of LLMs" (étude de l'université de Californie)
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les conclusions de cette étude de l'université de Californie crédibles ou pertinentes ?Voir aussi :
ChatGPT a un QI de 155 et une capacité de mémoire qui dépasse toute l'histoire, et en 2024 nous verrons des solutions d'IA pour le raisonnement profond et les mathématiques complexes, d'après Mo Gawdat Des chercheurs ont donné à l'IA un "monologue intérieur" qui a permis d'améliorer considérablement ses performances : Quiet-STaR, les modèles de langage peuvent apprendre à réfléchir avant de parler Une recherche sur les tâches simples montrant la décomposition du raisonnement IA dans les LLM de pointe donne OpenAI GPT-4o largement en tête, suivi d'Anthropic Claude 3 
