Une étude suggère que les modèles génératifs peuvent surpasser les humains qui les ont formés. Il s'agit d'un phénomène que les auteurs de l'étude ont appelé "la transcendance". En utilisant un transformateur autorégressif formé sur des transcriptions de parties d'échecs, les chercheurs ont démontré qu'un modèle peut surpasser le classement maximal des joueurs dans l'ensemble de données grâce à un échantillonnage à basse température. Ce processus s'aligne sur la "sagesse de la foule", où la prise de décision collective de nombreux experts surpasse souvent les performances individuelles. L'étude fait toutefois l'objet de controverses.Les modèles génératifs sont formés dans le simple but d'imiter la distribution de probabilité conditionnelle induite par les données sur lesquelles ils sont formés. Par conséquent, lorsqu'ils sont entraînés sur des données générées par des humains, nous ne pouvons pas nous attendre à ce que le modèle artificiel soit plus performant que les humains par rapport à leurs objectifs initiaux. Toutefois, dans le cadre de l'étude, les chercheurs de l'université de Harvard, de l'université de Santa Barbara, d'Apple, de l'institut Kempner, de l'université de Princeton et de Google DeepMind ont étudié le phénomène de "transcendance" des modèles.
L'équipe définit la "transcendance" comme le moment où un modèle atteint des capacités qui surpassent celles des experts qui génèrent les données sur lesquelles il est formé. Elle a démontré la transcendance en entraînant un transformateur autorégressif à jouer aux échecs à partir de transcriptions de parties. L'étude a révélé que le modèle entraîné peut parfois parvenir à atteindre de meilleures performances que tous les joueurs de l'ensemble de données. Selon l'équipe de recherche, l'étude fournit "un cadre théorique et des preuves empiriques montrant que de tels modèles génératifs peuvent améliorer leurs performances".
Figure 1
« Nous prouvons théoriquement que la transcendance est rendue possible par l'échantillonnage à basse température, et nous l'évaluons rigoureusement de manière expérimentale. Enfin, nous discutons d'autres sources de transcendance, jetant ainsi les bases d'une étude future de ce phénomène dans un cadre plus large », a écrit l'équipe. Le rapport de l'étude, publié dans la revue scientifique arXiv, explique le processus de formation du transformateur autorégressif :
Envoyé par L'équipe de recherchePour étudier ce principe, nous nous tournons vers les échecs, un jeu contraignant et bien compris, dont l'objectif est bien défini et qui a fait l'objet de nombreuses études. Pour identifier la transcendance, nous choisissons une note maximale et nous entraînons un modèle sur les parties où tous les joueurs sont en dessous de ce seuil.
Nous entraînons plusieurs décodeurs transformateurs autorégressifs de 50 millions de paramètres, formés avec la prédiction du prochain jeton (le code d'entraînement original provient de Karvonen). Les parties d'échecs sont représentées sous forme de chaînes de caractères PGN (Portable Game Notation) (par exemple 1. e4 e5 2. Nf3 Nc6 ..... 1-0).
À aucun moment, le modèle n'a reçu d'informations concernant l'état de l'échiquier, les règles du jeu, les classements des joueurs ou toute autre information relative à la récompense pendant l'entraînement. Pourtant, comme vous pouvez le voir dans la figure 1, notre modèle est capable de récupérer des informations sémantiques importantes telles que la couleur du joueur et l'état du jeu.
Si la cote maximale observée pendant l'entraînement est faible, le modèle ne verra que des parties jouées par des joueurs faibles. Une fois le modèle entraîné, nous pouvons calculer avec précision sa cote aux échecs en le faisant jouer plusieurs centaines de parties contre Stockfish, un moteur d'échecs populaire.
Comme le montre la figure 2, Chessformer 1000 et Chessformer 1300, deux modèles d'échecs entraînés sur des données provenant de joueurs dont la note maximale est respectivement de 1000 et 1300, ont été capables de transcender leurs données d'entraînement, obtenant une note d'échecs nettement meilleure que celle de tous les joueurs de l'ensemble de données.
Mais Chessformer 1500, un modèle entraîné sur des joueurs dont le classement est inférieur à 1500, n'a pas réussi à transcender ses données au moment du test, atteignant un classement similaire à celui des joueurs de l'ensemble de données. Qu'est-ce qui a permis à Chessformer 1000 et 1300 de transcender, et qu'est-ce qui a empêché Chessformer 1500 de le faire ?
Figure 2
La température permet d'influencer cette probabilité (ou le caractère aléatoire de la sortie du modèle de langage). Une température élevée incite le modèle à sortir des sentiers battus, ce qui se traduit par des résultats plus diversifiés et plus créatifs. Mais cela s'accompagne d'un risque de cohérence réduite, car le modèle peut produire des phrases moins prévisibles et parfois absurdes. Une température basse rend l'IA plus conservatrice, s'en tenant à des résultats plus sûrs et plus probables, garantissant une plus grande cohérence, mais réduisant la richesse et la variété des réponses. Alors, quand la transcendance se produit-elle ?
L'équipe répond : « nous avons identifié plusieurs conditions nécessaires à la transcendance dans le cadre contraint des échecs. L'une de ces conditions cruciales consiste à choisir les coups les plus probables, ou échantillonnage à basse température. En prélevant des échantillons auprès de nombreux experts faibles, comme les joueurs classés à 1000, et en jouant le vote majoritaire sur chaque coup au moment du test, nous pouvons utiliser la "sagesse de la foule" pour éviter les erreurs, et ainsi jouer comme un joueur "propre" classé à 1500, en atténuant le bruit des erreurs éparses commises par les experts individuels ».
« Notre travail introduit et définit la transcendance, ainsi que certaines des conditions nécessaires pour qu'elle se produise dans le cadre contraint spécifique des échecs, à savoir la diversité des ensembles de données et l'échantillonnage à basse température », a-t-elle ajouté. Les principales conclusions sont les suivantes :
[LIST][*]transcendance des modèles d'échecs : les modèles entraînés sur des ensembles de données plafonnés à des cotes maximales de 1000 et 1300 montrent une transcendance dans...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
