Une nouvelle recherche montre que même les grands modèles de langage les plus performants ne forment pas un véritable modèle du monde et de ses règles, et peuvent donc échouer de manière inattendue sur des tâches similaires. Cela pourrait avoir de sérieuses implications pour les modèles d'IA générative déployés dans le monde réel, car un modèle qui semble donner de bons résultats dans un contexte donné peut s'effondrer si la tâche ou l'environnement change légèrement.Un grand modèle de langage (LLM) est un type de modèle informatique conçu pour les tâches de traitement du langage naturel telles que la génération de langage. En tant que modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage autosupervisé et semi-supervisé.
Une étude récente révèle que les LLM utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032, ou un ou deux ans plus tôt si les modèles d'avant-garde sont surentraînés. L'étude suggère que la disponibilité des données textuelles humaines publiques peut devenir un facteur limitant pour la poursuite de la mise à l'échelle des modèles de langage.
Une nouvelle recherche affirme que malgré ses résultats impressionnants, l'IA générative n'a pas une compréhension cohérente du monde. Les chercheurs montrent que même les grands modèles de langage les plus performants ne forment pas un véritable modèle du monde et de ses règles, et peuvent donc échouer de manière inattendue sur des tâches similaires.
Évaluation du modèle du monde implicite dans un modèle génératif
Les LLM peuvent faire des choses impressionnantes, comme écrire de la poésie ou générer des programmes informatiques viables, même si ces modèles sont formés pour prédire les mots qui viennent ensuite dans un texte. Ces capacités surprenantes peuvent donner l'impression que les modèles apprennent implicitement des vérités générales sur le monde.
Mais ce n'est pas nécessairement le cas, selon une nouvelle étude. Les chercheurs ont découvert qu'un modèle d'IA générative très répandu peut fournir des indications routières à New York avec une précision quasi parfaite, sans avoir formé une carte interne précise de la ville. Malgré l'étonnante capacité du modèle à naviguer efficacement, lorsque les chercheurs ont fermé certaines rues et ajouté des détours, ses performances se sont effondrées.
En creusant davantage, les chercheurs ont découvert que les cartes de New York générées implicitement par le modèle comportaient de nombreuses rues inexistantes qui s'inséraient dans la grille et reliaient des intersections éloignées les unes des autres. Cela pourrait avoir de sérieuses implications pour les modèles d'IA générative déployés dans le monde réel, car un modèle qui semble donner de bons résultats dans un contexte donné peut s'effondrer si la tâche ou l'environnement change légèrement.
"L'un des espoirs est que, puisque les LLM peuvent accomplir toutes ces choses étonnantes dans le domaine du langage, nous pourrions peut-être utiliser ces mêmes outils dans d'autres domaines de la science. Mais la question de savoir si les LLM apprennent des modèles cohérents du monde est très importante si nous voulons utiliser ces techniques pour faire de nouvelles découvertes", explique l'auteur principal, Ashesh Rambachan, professeur adjoint d'économie et chercheur principal au Laboratoire des systèmes d'information et de décision (LIDS) du MIT.
Les chercheurs présentent l'étude :
Des travaux récents suggèrent que les grands modèles de langage peuvent apprendre implicitement des modèles du monde. Comment évaluer cette possibilité ? Nous formalisons cette question pour le cas où la réalité sous-jacente est régie par un automate fini déterministe. Cela inclut des problèmes aussi divers que le raisonnement logique simple, la navigation géographique, le jeu et la chimie. Nous proposons de nouvelles mesures d'évaluation pour la récupération des modèles du monde, inspirées du théorème classique de Myhill-Nerode de la théorie du langage. Nous illustrons leur utilité dans trois domaines : les jeux, les puzzles logiques et la navigation. Dans tous les domaines, les modèles génératifs que nous considérons obtiennent de bons résultats dans les diagnostics existants pour l'évaluation des modèles du monde, mais nos mesures d'évaluation révèlent que leurs modèles du monde sont beaucoup moins cohérents qu'ils ne le paraissent. Une telle incohérence est source de fragilité : l'utilisation d'un modèle génératif pour résoudre des tâches connexes mais subtilement différentes peut le conduire à un échec cuisant. Construire des modèles génératifs qui capturent de manière significative la logique sous-jacente des domaines qu'ils modélisent serait immensément précieux ; nos résultats suggèrent de nouvelles façons d'évaluer à quel point un modèle donné est proche de cet objectif.
Nouvelles mesures
Les chercheurs se sont concentrés sur un type de modèle d'IA génératif connu sous le nom de transformateur, qui constitue l'épine dorsale des LLM tels que le GPT-4. Les transformateurs sont formés sur une quantité massive de données linguistiques afin de prédire le prochain élément d'une séquence, par exemple le prochain mot d'une phrase.
Mais si les scientifiques veulent déterminer si un LLM a formé un modèle précis du monde, la mesure de la précision de ses prédictions ne va pas assez loin, affirment les chercheurs. Par exemple, ils ont constaté qu'un transformateur peut prédire des mouvements valables dans un jeu de Connect 4 presque à chaque fois sans comprendre aucune des règles.
L'équipe a donc mis au point deux nouvelles mesures permettant de tester le modèle mondial d'un transformateur. Les chercheurs ont concentré leurs évaluations sur une classe de problèmes appelés automates finis déterministes (AFD). Un DFA est un problème comportant une séquence d'états, comme des intersections à traverser pour atteindre une destination, et une manière concrète de décrire les règles à suivre en cours de route.
Ils ont choisi deux problèmes à formuler en tant que DFA : naviguer dans les rues de New York et jouer au jeu de société Othello. "Nous avions besoin de bancs d'essai où nous connaissions le modèle du monde. Désormais, nous pouvons réfléchir rigoureusement à ce que signifie la récupération de ce modèle", explique l'un des chercheurs.
La première mesure qu'ils ont développée, appelée distinction de séquences, indique qu'un modèle a formé un modèle du monde cohérent s'il voit deux états différents, comme deux planches d'Othello différentes, et s'il reconnaît en quoi ils sont différents. Les séquences, c'est-à-dire les listes ordonnées de points de données, sont ce que les transformateurs utilisent pour générer des sorties. La deuxième mesure, appelée compression de séquences, indique qu'un transformateur doté d'un modèle cohérent du monde devrait savoir que deux états identiques, comme deux planches d'Othello identiques, ont la même séquence d'étapes suivantes possibles.
Ils ont utilisé ces métriques pour tester deux classes communes de transformateurs, l'une entraînée sur des données générées à partir de séquences produites de manière aléatoire et l'autre sur des données générées par des stratégies de suivi.
Modèles du monde incohérents
De manière surprenante, les chercheurs ont constaté que les transformateurs qui faisaient des choix au hasard formaient des modèles du monde plus précis, peut-être parce qu'ils voyaient une plus grande variété d'étapes suivantes potentielles au cours de la formation. "Dans Othello, si vous voyez deux ordinateurs aléatoires jouer plutôt que des joueurs de championnat, vous verrez en théorie l'ensemble des mouvements possibles, même les mauvais mouvements que les joueurs de championnat ne feraient pas" ajoute les chercheurs.
Même si les transformateurs ont généré des directions précises et des mouvements d'Othello valables dans presque tous les cas, les deux mesures ont révélé qu'un seul d'entre eux a généré un modèle de monde cohérent pour les mouvements d'Othello, et qu'aucun n'a réussi à former des modèles de monde cohérents dans l'exemple de l'orientation.
Les chercheurs ont démontré les implications de ce phénomène en ajoutant des détours à la carte de la ville de New York, ce qui a entraîné l'échec de tous les modèles de navigation. "J'ai été surpris par la rapidité avec laquelle les performances se sont détériorées dès que nous avons ajouté une déviation. Si nous fermons seulement 1 % des rues possibles, la précision chute immédiatement de près de 100 % à 67 %", explique un chercheur.
Lorsqu'ils ont récupéré les plans de ville générés par les modèles, ils ressemblaient à une ville de New York imaginée, avec des centaines de rues se croisant et se superposant à la grille. Les cartes contenaient souvent des survols aléatoires au-dessus d'autres rues ou des rues multiples avec des orientations impossibles. Ces résultats montrent que les transformateurs peuvent être étonnamment performants dans certaines tâches sans en comprendre les règles. Si les scientifiques veulent construire des LLM capables de capturer des modèles précis du monde, ils doivent adopter une approche différente, affirment les chercheurs.
"Souvent, nous voyons ces modèles faire des choses impressionnantes et nous pensons qu'ils doivent avoir compris quelque chose du monde. J'espère que nous pourrons convaincre les gens qu'il s'agit d'une question à laquelle il faut réfléchir très attentivement, et que nous ne devons pas nous fier à nos propres intuitions pour y répondre", déclare Rambachan.
À l'avenir, les chercheurs souhaitent s'attaquer à un ensemble plus diversifié de problèmes, tels que ceux pour lesquels certaines règles ne sont que partiellement connues. Ils souhaitent également appliquer leurs mesures d'évaluation à des problèmes scientifiques réels.
Les chercheurs concluent :
Afin de construire des algorithmes de haute fidélité qui capturent de manière significative la logique des problèmes qu'ils modélisent, nous avons besoin de moyens pour mesurer à quel point nous sommes proches de cet objectif. Cet article propose des mesures théoriquement fondées pour évaluer les modèles du monde implicites dans les modèles génératifs. Les applications aux cartes, aux jeux et aux énigmes logiques suggèrent que ces mesures sont à la fois réalisables et pertinentes. Notre principale limite est l'accent mis sur les automates finis déterministes. Bien qu'il convienne à de nombreuses applications telles que les jeux, la logique et le suivi d'état, il serait très utile de l'étendre, par exemple aux situations où le modèle mondial sous-jacent est plus compliqué qu'un DFA ou est inconnu. Nous pensons que les idées fondamentales liées à la compression et à la distinction des séquences se généralisent à ces contextes plus riches, mais nous laissons cette question pour de futurs travaux.
Cette étude vient confirmer une autre étude qui affirmait que les modèles actuels ne mèneraient pas à l'intelligence artificielle générale (AGI). Les chercheurs de Meta pensent qu'une AGI ne sera pas possible tant que l'IA ne sera pas dotée d'un corps physique. Il s'agit de l'hypothèse de l'IA incarnée.
Selon cette approche, une IA de niveau humain ne peut émerger que si elle est capable de sentir et de naviguer dans un environnement physique, comme le font les bébés. À travers ce corps, l'IA peut interagir avec le monde physique et en tirer des enseignements. Cette hypothèse suscite de nombreuses discussions et pousse certains investisseurs à investir massivement dans les entreprises qui fabriquent des robots humanoïdes à usage général. Bien sûr, l'idée ne fait pas l'unanimité.
Source : "Evaluating the World Model Implicit in a Generative Model"
Et vous ?
Pensez-vous que cette étude est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
L'étude d'Apple prouve que les modèles d'IA basés sur le LLM sont défectueux car ils ne peuvent pas raisonner : "Nous n'avons trouvé aucune preuve de raisonnement formel dans les modèles de langage" Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude L'IA des LLMs développent leur propre compréhension de la réalité au fur et à mesure que leurs capacités linguistiques s'améliorent, selon une étude sur la représentation émergente dans les modèles de langage 
