Projet Q* : les informations sur la mystérieuse percée en matière d'IA des chercheurs d'OpenAI ne seraient qu'un "déluge d'absurdités",

Selon des critiques tels que le pionnier de l'IA Yann LeCun

Le mystérieux projet Q* d'OpenAI a fait des vagues dans la communauté de l'IA au cours des derniers jours. Si OpenAI semble avoir confirmé l'existence du projet Q*, il n'existe pratiquement aucune information crédible sur ce nouveau modèle d'IA. La rumeur indique toutefois que ce mystérieux projet serait doté d'une logique proche de celle d'un être humain et serait capable de résoudre des problèmes mathématiques de base. Le modèle d'IA aurait suscité des inquiétudes au sein de la startup, ce qui a conduit au chaos observé dernièrement. Certains experts en IA estiment qu'il pourrait constituer un grand pas en avant, mais d'autres affirment qu'il ne s'agit que d'affabulations.

Q* : le modèle d'IA serait capable de résoudre des problèmes mathématiques de base

Un véritable chaos a régné au sein d'OpenAI entre le vendredi 17 et le mercredi 22 novembre 2023. Le PDG Sam Altman a été limogé à la surprise générale, puis a été réintégré quelques jours plus tard, mais nous ne savons toujours pas ce qui a été à l'origine de cet événement et aucune des parties concernées ne semble être prête à fournir des explications au grand public. De nombreuses théories ont émergé à la suite de cet événement, mais l'une des plus intéressantes concerne un énigmatique projet Q* (Q-Star) qui aurait créé de profondes dissensions au sein de la direction d'OpenAI. Ce qui aurait conduit par la suite au licenciement inattendu d'Altman.

Please ignore the deluge of complete nonsense about Q*.
One of the main challenges to improve LLM reliability is to replace Auto-Regressive token prediction with planning.

Pretty much every top lab (FAIR, DeepMind, OpenAI etc) is working on that and some have already published…

— Yann LeCun (@ylecun) November 24, 2023

Selon cette rumeur, une équipe dirigée par le scientifique en chef d'OpenAI, Ilya Sutskever, avait fait une découverte majeure au début de l'année, ce qui leur a permis de construire un nouveau modèle d'IA connu sous le nom de Q*. Le modèle a été décrit comme ce qui se rapproche le plus d'une superintelligence artificielle à l'heure actuelle et serait en mesure de résoudre des problèmes mathématiques de base. Cette capacité n'est peut-être pas impressionnante, mais les chercheurs estiment que cela représenterait un énorme progrès par rapport aux modèles d'IA existants, qui peinent à se généraliser en dehors des données sur lesquelles ils ont été formés.

OpenAI définit l'AGI comme un système autonome qui surpasse les humains dans la plupart des tâches à valeur économique. En outre, les chercheurs considèrent les mathématiques comme une frontière pour le développement de l'IA. Actuellement, l'IA générative est efficace pour l'écriture et la traduction des langues en prédisant statistiquement le mot suivant, et les réponses à une même question peuvent varier considérablement. Mais elle affiche de piètres performances lorsqu'elle est soumise à des tests mathématiques. Qu'il s'agisse du chatbot ChatGPT d'OpenAI ou Bard de Google, tous galèrent face aux problèmes mathématiques de base.

« Si une IA peut raisonner logiquement et s'appuyer sur des concepts abstraits, ce qui est actuellement sa principale difficulté, alors il s'agit d'un progrès considérable. Les mathématiques permettent de raisonner de manière symbolique, en disant, par exemple : "si X est plus grand que Y et Y plus grand que Z, alors X est plus grand que Z". Les modèles de langage ont traditionnellement beaucoup de mal à faire cela parce qu'ils ne raisonnent pas de manière logique, ils n'ont que des intuitions », a déclaré Charles Higgins, cofondateur de la startup Tromero, spécialisée dans l'entraînement à l'IA. OpenAI n'a ni confirmé ni infirmé aucune de ces informations.

Mais commentant les rumeurs sur le mystérieux projet Q* d'OpenAI, Yann LeCun, lauréat du prix Turing 2018 et responsable de l'IA chez Meta, a déclaré que l'on était en présence d'un déluge d'absurdités. « Veuillez ignorer le déluge d'absurdités au sujet de Q*. L'un des principaux défis pour améliorer la fiabilité du LLM est de remplacer la prédiction autorégressive des jetons par la planification. À peu près tous les meilleurs laboratoires (FAIR, DeepMind, OpenAI, etc.) travaillent sur cela et certains ont déjà publié des idées et des résultats », a déclaré le chercheur français en IA. Le projet Q* serait une tentative visant à apprendre aux modèles d'IA à planifier.

LeCun a ajouté : « il est probable que Q* soit une tentative de planification de la part d'OpenAI . Ils ont pratiquement embauché Noam Brown (de Libratus/poker et de Cicero/Diplomacy) pour travailler sur ce sujet. [Note : je plaide pour une architecture d'apprentissage profond capable de planifier depuis 2016] ».

Le nom de code Q* pourrait faire référence à l'apprentissage Q ou à l'algorithme Q*

Il convient de noter qu'il existe une certaine ambiguïté quant à la réception de la lettre susmentionnée par le conseil d'administration, des sources internes à la société ayant déclaré qu'elle n'a pas été envoyée. En outre, des experts en IA ont vite fait de dézinguer les rumeurs selon lesquelles le mystérieux projet Q* d'OpenAI serait un modèle d'IA surpuissante capable de faire preuve d'une logique proche de celle de l'homme. Selon les experts en IA, il n'en est rien. Sophia Kalanovska, cofondatrice de Tromero, pense que le nom Q* implique qu'il s'agit d'une combinaison de deux techniques d'IA bien connues : l'apprentissage Q et l'algorithme de recherche A*.

Selon elle, cela suggère que le modèle modèle Q* d'OpenAI pourrait combiner les techniques d'apprentissage en profondeur qui sous-tendent ChatGPT avec des règles programmées par les humains. « Je pense que cela est symboliquement très important. D'un point de vue pratique, je ne pense pas que cela va mettre fin au monde. Je pense que la raison pour laquelle les gens croient que Q* va conduire à l'AGI est que, d'après ce que nous avons entendu jusqu'à présent, il semble qu'il combinera les deux côtés du cerveau et sera capable de connaître certaines choses par expérience, tout en étant capable de raisonner sur des faits », a déclaré Kalanovska.

L'apprentissage Q (Q-learning)

L'apprentissage Q est un type d'apprentissage par renforcement, une méthode par laquelle l'IA apprend à prendre des décisions par essais et erreurs. Dans l'apprentissage Q, un agent apprend à...