Les modèles génératifs d'IA peuvent améliorer leurs performances et "transcender" les capacités des experts qui les ont formésselon une étude
Une étude suggère que les modèles génératifs peuvent surpasser les humains qui les ont formés. Il s'agit d'un phénomène que les auteurs de l'étude ont appelé "la transcendance". En utilisant un transformateur autorégressif formé sur des transcriptions de parties d'échecs, les chercheurs ont démontré qu'un modèle peut surpasser le classement maximal des joueurs dans l'ensemble de données grâce à un échantillonnage à basse température. Ce processus s'aligne sur la "sagesse de la foule", où la prise de décision collective de nombreux experts surpasse souvent les performances individuelles. L'étude fait toutefois l'objet de controverses.
Les modèles génératifs sont formés dans le simple but d'imiter la distribution de probabilité conditionnelle induite par les données sur lesquelles ils sont formés. Par conséquent, lorsqu'ils sont entraînés sur des données générées par des humains, nous ne pouvons pas nous attendre à ce que le modèle artificiel soit plus performant que les humains par rapport à leurs objectifs initiaux. Toutefois, dans le cadre de l'étude, les chercheurs de l'université de Harvard, de l'université de Santa Barbara, d'Apple, de l'institut Kempner, de l'université de Princeton et de Google DeepMind ont étudié le phénomène de "transcendance" des modèles.
L'équipe définit la "transcendance" comme le moment où un modèle atteint des capacités qui surpassent celles des experts qui génèrent les données sur lesquelles il est formé. Elle a démontré la transcendance en entraînant un transformateur autorégressif à jouer aux échecs à partir de transcriptions de parties. L'étude a révélé que le modèle entraîné peut parfois parvenir à atteindre de meilleures performances que tous les joueurs de l'ensemble de données. Selon l'équipe de recherche, l'étude fournit "un cadre théorique et des preuves empiriques montrant que de tels modèles génératifs peuvent améliorer leurs performances".
Figure 1
« Nous prouvons théoriquement que la transcendance est rendue possible par l'échantillonnage à basse température, et nous l'évaluons rigoureusement de manière expérimentale. Enfin, nous discutons d'autres sources de transcendance, jetant ainsi les bases d'une étude future de ce phénomène dans un cadre plus large », a écrit l'équipe. Le rapport de l'étude, publié dans la revue scientifique arXiv, explique le processus de formation du transformateur autorégressif :
Envoyé par L'équipe de recherche
Pour étudier ce principe, nous nous tournons vers les échecs, un jeu contraignant et bien compris, dont l'objectif est bien défini et qui a fait l'objet de nombreuses études. Pour identifier la transcendance, nous choisissons une note maximale et nous entraînons un modèle sur les parties où tous les joueurs sont en dessous de ce seuil.
Nous entraînons plusieurs décodeurs transformateurs autorégressifs de 50 millions de paramètres, formés avec la prédiction du prochain jeton (le code d'entraînement original provient de Karvonen). Les parties d'échecs sont représentées sous forme de chaînes de caractères PGN (Portable Game Notation) (par exemple 1. e4 e5 2. Nf3 Nc6 ..... 1-0).
À aucun moment, le modèle n'a reçu d'informations concernant l'état de l'échiquier, les règles du jeu, les classements des joueurs ou toute autre information relative à la récompense pendant l'entraînement. Pourtant, comme vous pouvez le voir dans la figure 1, notre modèle est capable de récupérer des informations sémantiques importantes telles que la couleur du joueur et l'état du jeu.
Si la cote maximale observée pendant l'entraînement est faible, le modèle ne verra que des parties jouées par des joueurs faibles. Une fois le modèle entraîné, nous pouvons calculer avec précision sa cote aux échecs en le faisant jouer plusieurs centaines de parties contre Stockfish, un moteur d'échecs populaire.
Comme le montre la figure 2, Chessformer 1000 et Chessformer 1300, deux modèles d'échecs entraînés sur des données provenant de joueurs dont la note maximale est respectivement de 1000 et 1300, ont été capables de transcender leurs données d'entraînement, obtenant une note d'échecs nettement meilleure que celle de tous les joueurs de l'ensemble de données.
Mais Chessformer 1500, un modèle entraîné sur des joueurs dont le classement est inférieur à 1500, n'a pas réussi à transcender ses données au moment du test, atteignant un classement similaire à celui des joueurs de l'ensemble de données. Qu'est-ce qui a permis à Chessformer 1000 et 1300 de transcender, et qu'est-ce qui a empêché Chessformer 1500 de le faire ?
Figure 2
La température permet d'influencer cette probabilité (ou le caractère aléatoire de la sortie du modèle de langage). Une température élevée incite le modèle à sortir des sentiers battus, ce qui se traduit par des résultats plus diversifiés et plus créatifs. Mais cela s'accompagne d'un risque de cohérence réduite, car le modèle peut produire des phrases moins prévisibles et parfois absurdes. Une température basse rend l'IA plus conservatrice, s'en tenant à des résultats plus sûrs et plus probables, garantissant une plus grande cohérence, mais réduisant la richesse et la variété des réponses. Alors, quand la transcendance se produit-elle ?
L'équipe répond : « nous avons identifié plusieurs conditions nécessaires à la transcendance dans le cadre contraint des échecs. L'une de ces conditions cruciales consiste à choisir les coups les plus probables, ou échantillonnage à basse température. En prélevant des échantillons auprès de nombreux experts faibles, comme les joueurs classés à 1000, et en jouant le vote majoritaire sur chaque coup au moment du test, nous pouvons utiliser la "sagesse de la foule" pour éviter les erreurs, et ainsi jouer comme un joueur "propre" classé à 1500, en atténuant le bruit des erreurs éparses commises par les experts individuels ».
« Notre travail introduit et définit la transcendance, ainsi que certaines des conditions nécessaires pour qu'elle se produise dans le cadre contraint spécifique des échecs, à savoir la diversité des ensembles de données et l'échantillonnage à basse température », a-t-elle ajouté. Les principales conclusions sont les suivantes :
- transcendance des modèles d'échecs : les modèles entraînés sur des ensembles de données plafonnés à des cotes maximales de 1000 et 1300 montrent une transcendance dans le cadre d'un échantillonnage à basse température, en obtenant des cotes plus élevées que la cote maximale dans les données d'entraînement ;
- effet de la température : les résultats empiriques confirment la prédiction théorique selon laquelle l'abaissement de la température d'échantillonnage améliore les performances parce qu'il concentre les probabilités sur les actions les plus rémunératrices, réalisant ainsi un vote majoritaire sur les prédictions du modèle ;
- importance de la diversité des ensembles de données : Les modèles formés sur des ensembles de données moins diversifiés (par exemple, plafonnés à des seuils d'évaluation plus élevés) démontrent une capacité réduite de transcendance, ce qui indique la nécessité de disposer de données de formation variées et riches pour permettre ce phénomène.
En conclusion, l'étude introduit le phénomène de transcendance, où les modèles finissent par surpasser les experts qui les ont formés. L'analyse théorique indique que l'échantillonnage à basse température permet d'atteindre la transcendance en dénaturant les préjugés des experts et en consolidant diverses connaissances, validées par la formation de modèles d'échecs. L'étude souligne l'importance de la diversité des ensembles de données pour la transcendance et suggère des recherches futures dans d'autres domaines tels que le traitement du langage naturel et la vision par ordinateur afin d'évaluer la généralisation.
Les considérations éthiques relatives au déploiement de modèles génératifs et à leur impact plus large sont également soulignées, en notant que l'étude n'implique pas que les modèles puissent créer des solutions nouvelles dépassant les capacités des experts humains.
Source : rapport de l'étude
Et vous ?
Que pensez-vous du phénomène de transcendance décrite ci-dessus ? L'IA peut-elle réellement surpasser les experts qui participent à sa formation ? Que pensez-vous de la méthodologie utilisée par les chercheurs pour obtenir ces résultats ? Cette étude apporte-t-elle des éléments nouveaux ou participe-t-elle juste au battage médiatique sur l'IA ?Voir aussi
L'IA a surpassé l'homme dans un certain nombre de tâches et la vitesse à laquelle l'homme est surpassé dans de nouvelles tâches augmente, un défi pour notre identité et notre avenir collectif ? GPT-4 surpasse les humains dans les tâches d'étiquetage de données et permet aux chercheurs d'économiser 500 000 dollars et 20 000 heures de travail, selon une étude L'IA surpasse les humains en matière de persuasion avec une réussite de 82 % en moyenne, selon une étude où les LLM ont surpassé les participants sur tous les sujets avec un haut niveau de persuasion
Vous avez lu gratuitement 2 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
