Mike Knoop et François Chollet annonce le Prix ARC, un concours doté d'une cagnotte de plus de 1 000 000 dollars visant à trouver une solution à l'évaluation ARC-AGI. L'optimisation de la mémoire des grands modèles de langage (LLM) actuels semble être un obstacle vers l'intelligence artificielle générale (AGI). De plus, une approche open-source représenterait une solution pour trouver de nouvelles pistes pour l'AGI.L'intelligence artificielle générale (AGI) est un type d'intelligence artificielle (IA) qui égale ou dépasse les capacités humaines dans un large éventail de tâches cognitives, contrairement à l'IA restreinte, conçue pour des tâches spécifiques. La création d'une AGI est l'un des principaux objectifs de la recherche en IA et d'entreprises telles que OpenAI, DeepMind et Anthropic. Une étude réalisée en 2020 a recensé 72 projets de R&D actifs dans le domaine de l'AGI, répartis dans 37 pays.
Le délai de réalisation de l'AGI fait l'objet d'un débat permanent entre les chercheurs et les experts. En 2023, certains affirment qu'elle sera possible dans quelques années ou décennies, d'autres maintiennent qu'il faudra un siècle ou plus, et une minorité pense qu'elle ne sera peut-être jamais atteinte[5]. Il y a un débat sur la définition exacte de l'AGI, et sur la question de savoir si les grands modèles de langage modernes (LLM) tels que GPT-4 sont des formes précoces et incomplètes de l'AGI[6]. L'AGI est un sujet courant dans la science-fiction et les études sur l'avenir.
Récemment, une annonce particulière a retenu l'attention dans le domaine de l'IA:
Bonjour à tous ! Ici Mike. François Chollet et moi lançons ARC Prize, une compétition publique pour battre et mettre en open-source la solution à l'évaluation ARC-AGI. ARC-AGI est (à notre connaissance) la seule évaluation qui mesure l'AGI : un système qui peut efficacement acquérir de nouvelles compétences et résoudre de nouveaux problèmes ouverts. La plupart des évaluations de l'IA mesurent les compétences directement par rapport à l'acquisition de nouvelles compétences.
François a créé l'évaluation en 2019, le SOTA était de 20% au début, le SOTA aujourd'hui n'est que de 34%. Les humains obtiennent un score de 85 à 100 %. 300 équipes ont tenté l'ARC-AGI l'année dernière et plusieurs grands laboratoires l'ont tenté. Alors que la plupart des autres évaluations basées sur les compétences ont rapidement atteint le niveau humain, ARC-AGI a été conçu pour résister aux techniques de "mémorisation" (par exemple, les LLM).
La résolution des tâches d'ARC-AGI est assez facile pour les humains (même les enfants) mais impossible pour les IA modernes. ARC-AGI se compose de 400 tâches d'entraînement publiques, de 400 tâches de test publiques et de 100 tâches de test secrètes. Chaque tâche est nouvelle. La SOTA est mesurée par rapport à l'ensemble de tests secrets, ce qui ajoute à la robustesse de l'évaluation.
La résolution des tâches ARC-AGI ne nécessite aucune connaissance du monde, aucune compréhension de la langue. Au lieu de cela, chaque énigme nécessite un petit ensemble de "connaissances de base" (orientation vers un but, objet, symétrie, rotation, etc.). Au minimum, une solution à ARC-AGI ouvre un paradigme de programmation complètement nouveau où les programmes peuvent parfaitement et de manière fiable généraliser à partir d'un ensemble arbitraire d'antécédents. Au maximum, elle débloque l'arbre technologique vers l'AGI.
L'objectif de ce concours est le suivant :
François a créé l'évaluation en 2019, le SOTA était de 20% au début, le SOTA aujourd'hui n'est que de 34%. Les humains obtiennent un score de 85 à 100 %. 300 équipes ont tenté l'ARC-AGI l'année dernière et plusieurs grands laboratoires l'ont tenté. Alors que la plupart des autres évaluations basées sur les compétences ont rapidement atteint le niveau humain, ARC-AGI a été conçu pour résister aux techniques de "mémorisation" (par exemple, les LLM).
La résolution des tâches d'ARC-AGI est assez facile pour les humains (même les enfants) mais impossible pour les IA modernes. ARC-AGI se compose de 400 tâches d'entraînement publiques, de 400 tâches de test publiques et de 100 tâches de test secrètes. Chaque tâche est nouvelle. La SOTA est mesurée par rapport à l'ensemble de tests secrets, ce qui ajoute à la robustesse de l'évaluation.
La résolution des tâches ARC-AGI ne nécessite aucune connaissance du monde, aucune compréhension de la langue. Au lieu de cela, chaque énigme nécessite un petit ensemble de "connaissances de base" (orientation vers un but, objet, symétrie, rotation, etc.). Au minimum, une solution à ARC-AGI ouvre un paradigme de programmation complètement nouveau où les programmes peuvent parfaitement et de manière fiable généraliser à partir d'un ensemble arbitraire d'antécédents. Au maximum, elle débloque l'arbre technologique vers l'AGI.
L'objectif de ce concours est le suivant :
- Augmenter le nombre de chercheurs travaillant sur la recherche de pointe de l'AGI (par opposition au bricolage des LLM). Nous avons besoin d'idées nouvelles et la solution viendra probablement d'un étranger !
- Établir une mesure populaire et objective des progrès de l'AGI que le public peut utiliser pour comprendre à quel point nous sommes proches de l'AGI (ou pas). Chaque nouveau score SOTA sera publié.
- Battre ARC-AGI et apprendre quelque chose de nouveau sur la nature de l'intelligence.
Intelligence générale et Mémorisation
Les IA modernes (LLM) se sont révélées être d'excellents moteurs de mémorisation. Elles sont capables de mémoriser des modèles de haute dimension dans leurs données d'apprentissage et d'appliquer ces modèles dans des contextes adjacents. C'est également ainsi que fonctionne leur apparente capacité de raisonnement. En réalité, les LLM ne raisonnent pas. Au lieu de cela, ils mémorisent des modèles de raisonnement et les appliquent dans des contextes adjacents. Mais ils ne peuvent pas générer de nouveaux raisonnements basés sur des situations inédites.
Plus de données d'entraînement permet d'acheter la performance sur des benchmarks basés sur la mémorisation (MMLU, GSM8K, ImageNet, GLUE, etc.) Mais la mémorisation seule n'est pas de l'intelligence générale. L'intelligence générale est la capacité d'acquérir efficacement de nouvelles compétences. Plus d'échelle ne permettra pas aux LLM d'apprendre de nouvelles compétences. On a besoin de nouvelles architectures ou de nouveaux algorithmes qui permettent aux systèmes d'IA d'apprendre au moment des tests. C'est ainsi que les humains sont capables de s'adapter à des situations nouvelles.
Au-delà des LLM, on dispose depuis de nombreuses années de systèmes d'IA capables de battre les humains au poker, aux échecs, au jeu de go et à d'autres jeux. Cependant, aucun système d'IA formé pour réussir à un jeu ne peut être simplement réappris à en jouer un autre. Au lieu de cela, les chercheurs ont dû réorganiser et reconstruire des systèmes entièrement nouveaux pour chaque jeu.
Il s'agit là d'une incapacité à généraliser. Sans cette capacité, l'IA sera toujours limitée par l'intelligence générale humaine dans la boucle. Ce que les chercheurs veulent, c'est une IA capable de découvrir et d'inventer aux côtés des humains pour faire avancer l'humanité.
Introduit par François Chollet dans son article "On the Measure of Intelligence", ARC-AGI est une évaluation de l'IA qui mesure l'intelligence générale : un système qui peut acquérir efficacement de nouvelles compétences et résoudre de nouveaux problèmes ouverts. ARC-AGI a été créé en 2019 et le score le plus élevé de l'état de l'art (SOTA) était de 20 %. Aujourd'hui, il n'est que de 34 %. Pourtant, les humains, même les enfants, obtiennent des scores de 85 % à 100 %.
ARC-AGI est facile pour les humains et impossible pour l'IA moderne. La plupart des critères d'évaluation de l'IA saturent rapidement au niveau des performances humaines parce qu'ils ne testent que la mémorisation, un domaine dans lequel l'IA est surhumaine. ARC-AGI ne sature pas, en fait le rythme actuel ralentit. Il a été conçu pour résister à la mémorisation et s'est avéré extrêmement difficile pour les plus grands modèles de transformateurs fondamentaux ainsi que pour les systèmes d'IA sur mesure conçus pour vaincre ARC-AGI.
Une solution à l'ARC-AGI, au minimum, ouvre un paradigme de programmation entièrement nouveau dans lequel les programmes peuvent parfaitement et de manière fiable généraliser à partir d'un ensemble arbitraire d'antécédents. Peut-être, une solution sur le chemin critique vers l'AGI.
Progrés vers l'AGI : Source fermée ou Open-source ?
À partir de la version GPT-4, les progrès de l'AGI d'avant-garde sont devenus des sources fermées. Le rapport technique de GPT-4 ne contient étonnamment aucun détail technique. OpenAI a déclaré que des raisons concurrentielles en étaient la première raison. Le rapport technique Gemini de Google ne contient pas non plus de détails techniques sur l'innovation de la fenêtre contextuelle longue.
Les LLM ont également détourné la majorité de l'attention de la recherche des nouvelles architectures et des nouveaux algorithmes. Plus de 20 milliards de dollars ont été déployés dans des entreprises d'IA non générale en 2023 et de nombreux chercheurs de DeepMind ont été réaffectés à Gemini, afin de concurrencer OpenAI. Les principaux laboratoires sont fortement incités à clamer haut et fort "l'échelle est tout ce dont vous avez besoin" et "n'essayez pas de nous concurrencer sur la recherche exploratoire", même s'ils sont tous convaincus que de nouvelles idées sont nécessaires pour atteindre l'AGI. Ils parient qu'ils peuvent découvrir toutes les nouvelles idées nécessaires au sein de leurs laboratoires.
Mais si on regarde l'histoire des LLM, et plus précisément, l'architecture des transformateurs, on peut avoir un premier indice de réponse. Les transformateurs sont apparus plusieurs années en aval de la recherche sur la traduction automatique (par exemple, de l'anglais vers l'espagnol).
- 2014 : Sutskever et. al. (Google) publient Seq2Seq Learning en utilisant RNNs and CNNs pour les différences d'entrées et de sorties (l'anglais et l'espagnol n'ont pas la même longueur de mots).
- 2016 : Bahdanau et. al. (Jacobs University) ont popularisé le concept d'"attention" afin qu'un système puisse prendre en compte différentes parties de l'entrée pour prédire la sortie (les adjectifs anglais viennent avant les noms, les mots espagnols après).
- 2017 : Vaswani et. al. (Google) réalisent que "l'attention est tout ce dont vous avez besoin", abandonnant les RNN et les CNN, optimisant l'architecture, permettant une nouvelle échelle.
- 2018 : Radford et. al. (OpenAI) ont créé GPT-2 en s'appuyant sur l'architecture du transformateur à l'échelle de la frontière, montrant des capacités émergentes.
L'histoire du transformateur est l'histoire de la science. Les chercheurs de différents laboratoires et équipes publient et construisent à partir des travaux des uns et des autres. S'il est possible qu'un laboratoire découvre seul l'AGI, c'est très improbable. Les chances globales de découverte de l'AGI ont diminué et continueront à diminuer dans ces conditions.
Mike Knoop partage son point de vue :
Au cours de l'année écoulée, j'ai discuté avec de nombreux jeunes étudiants et chercheurs en herbe. Beaucoup sont déprimés. Ils ont l'impression que tout a déjà été compris. Mais ce n'est pas vrai ! L'écosystème de l'IA dit intentionnellement une vérité partielle pour renforcer ses positions concurrentielles relatives au détriment des progrès réels vers l'AGI. Pire encore, la croyance inexacte selon laquelle "l'échelle est tout ce dont vous avez besoin" influence désormais l'environnement réglementaire de l'IA. Les régulateurs envisagent de mettre des bâtons dans les roues de la recherche exploratoire sur l'IA en partant du principe erroné que l'AGI est imminente. En réalité, personne ne sait comment construire l'AGI.
Nous devrions essayer d'encourager les nouvelles idées, et non de les ralentir. L'internet et les logiciels open-source sont les moteurs d'innovation les plus puissants que le monde ait jamais connus. En encourageant l'open-source, nous augmentons le taux de nouvelles idées, ce qui accroît les chances de découvrir l'AGI, et nous nous assurons que ces nouvelles idées sont largement distribuées afin d'établir un terrain de jeu plus équitable entre les petites et les grandes entreprises d'IA. Nous espérons que le prix ARC contribuera à contrebalancer ces tendances.
À propos du Prix ARC
Annonce du Prix ARC, un concours doté d'une cagnotte de plus de 1 000 000 $ visant à trouver une solution à l'évaluation ARC-AGI. Animé par Mike Knoop et François Chollet. Présenté par Infinite Monkey et Lab42.
Objectif :
- Augmenter le nombre de personnes travaillant sur des recherches de pointe dans le domaine de l'AGI.
- Populariser une mesure objective des progrès de l'AGI.
- Résoudre ARC-AGI et apprendre quelque chose de nouveau sur la nature de l'intelligence.
Pour commencer : Prêt à faire le premier pas significatif vers l'AGI depuis des années ? Peu importe qui vous êtes, d'où vous venez, ce que vous faites dans la vie, vous êtes les bienvenus dans cette compétition. Les nouvelles idées peuvent venir de n'importe où. Peut-être de vous ?
Source : Annonce du Prix ARC
Et vous ?
Pensez-vous que ce prix est crédible ou pertinent ? Quel est votre avis sur le sujet ?Voir aussi :
Quelle est la meilleure option pour les entreprises : des services d'IA libres ou commerciaux ? Défis et limites d'une approche open source de l'intelligence artificielle L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme Selon un groupe de chercheurs en IA, les LLM actuels ne mèneront pas à l'AGI, mais les robots dotés d'une IA qui se développent dans le monde 3D pourraient le faire