Projet Q* : les informations sur la mystérieuse percée en matière d'IA des chercheurs d'OpenAI ne seraient qu'un "déluge d'absurdités",

Selon des critiques tels que le pionnier de l'IA Yann LeCun

Des chercheurs d'OpenAI auraient envoyé au conseil d'administration sortant une lettre l'avertissant d'une découverte majeure en matière d'IA
et de la menace que cela représente pour l'humanité

Les chercheurs d'OpenAI auraient fait une découverte majeure qui pourrait avoir des conséquences mondiales dans le cadre d'un projet baptisé Q*. Ils auraient envoyé une lettre au conseil d'administration sortant dans lequel ils font part de leur découverte ainsi que de leurs préoccupations. Ils explorent la nature de la découverte et ses implications, en mettant l'accent sur les dangers potentiels qu'elle peut représenter pour l'humanité. La lettre met en garde contre la commercialisation de la technologie sans en mesurer les conséquences. En outre, la lettre aurait joué un rôle clé dans le licenciement d'Altman et révèle de profonds désaccords au sein de l'entreprise.

OpenAI aurait développé un algorithme d'IA proche d'une "superintelligence"

Le but ultime d'OpenAI est de parvenir à une forme d'intelligence générale artificielle (AGI). Pour y arriver, le laboratoire d'IA bénéficie d'un soutien financier important de la part du géant des logiciels Microsoft et d'autres investisseurs en capital-risque. Après avoir publié en mars GPT-4, un puissant grand modèle de langage qui a fait preuve de capacités impressionnantes sur un certain nombre de benchmarks, OpenAI a récemment confirmé qu’il avait commencé le travail sur son prochain modèle d'IA, GPT-5. L'entreprise espère que Microsoft, son principal bailleur de fonds, va injecter plus d'argent dans ses recherches et lui fournir plus de puissance de calcul.


Sam Altman, PDG d'OpenAI, a déclaré à l'époque : « il y a un long chemin à parcourir et beaucoup de calcul à réaliser entre notre niveau actuel et l'AGI. Les dépenses de formation sont tout simplement énormes ». Les déclarations d'Altman sur OpenAI et l'AGI manquent cruellement d'éléments de précision, pour ne pas dire qu'elles sont très évasives. Mais de nouvelles fuites signalent que les chercheurs d'OpenAI, dirigés par le scientifique en chef Ilya Sutskever, ont réalisé une percée majeure au cours des derniers mois. Cette "importante" découverte serait intervenue dans le cadre d'un projet secret connu sous le nom de code interne Q* (Q-Star).

Des membres du personnel d'OpenAI au fait du projet estiment qu'à l'heure actuelle, Q* est ce qui se rapproche le plus d'une AGI. Dans un rapport publié par Reuters aujourd'hui, les sources interrogées décrivent le nouvel algorithme d'IA comme "une découverte puissante". L'une des sources a déclaré : « avec de vastes ressources informatiques, le nouveau modèle a pu résoudre certains problèmes mathématiques. Bien qu'il ne soit capable de traiter que des problèmes mathématiques de même niveau que celui des élèves de l'école primaire, le simple fait d'avoir réussi ces tests a rendu les chercheurs très optimistes quant au succès futur du projet Q* ».

OpenAI définit l'AGI comme un système autonome qui surpasse les humains dans la plupart des tâches à valeur économique. En outre, les chercheurs considèrent les mathématiques comme une frontière pour le développement de l'IA. Actuellement, l'IA générative est efficace pour l'écriture et la traduction des langues en prédisant statistiquement le mot suivant, et les réponses à une même question peuvent varier considérablement. Mais elle affiche de piètres performances lorsqu'elle est soumise à des tests mathématiques. Qu'il s'agisse du chatbot ChatGPT d'OpenAI ou Bard de Google, tous galèrent face aux problèmes mathématiques de base.

La capacité à résoudre des problèmes mathématiques pour lesquels il n'existe qu'une seule réponse correcte indique que l'IA est capable de performances proches du niveau de l'intelligence humaine. Selon les chercheurs en IA, cela pourrait s'appliquer à de nouvelles recherches scientifiques. Contrairement à une calculatrice qui ne peut résoudre qu'un nombre limité d'opérations, l'IA peut généraliser, apprendre et comprendre. Toutefois, malgré ses prouesses peu impressionnantes dans les tests mathématiques, Q* semble être suffisamment puissant pour exacerber les inquiétudes des chercheurs d'OpenAI sur les dangers potentiels que représente l'IA.

Un projet qui suscite des craintes et donne lieu à des désaccords profonds

Préoccupés par leur découverte, certains membres de l'équipe de recherches d'OpenAI auraient envoyé au conseil d'administration une lettre pour mettre en garde contre une commercialisation rapide du nouveau modèle d'IA qui, selon eux, pourrait menacer l'humanité. D'ailleurs, les sources interrogées indiquent que la lettre a joué un rôle déterminant dans la décision du conseil d'administration de congédier Altman à la surprise générale. Le conseil d’administration a expliqué avoir perdu confiance en la capacité d'Altman à diriger le laboratoire d'IA. L'éviction d'Altman du poste de PDG d'OpenAI et son licenciement ont provoqué une onde de choc dans l'industrie.

With Q*, OpenAI have likely solved planning/agentic behavior for small models

Scale this up to a very large model and you can start planning for increasingly abstract goals

It is a fundamental breakthrough that is the crux of agentic behavior pic.twitter.com/W36t5eA0Dk

— simp 4 satoshi (@iamgingertrash) November 23, 2023

Personne n'a encore fourni un compte rendu définitif de ce qui s'est passé, mais l'hypothèse la plus répandue est que cela était lié au développement possible d'une superintelligence, en l'occurrence le projet Q*. Se basant sur la lettre des chercheurs, le conseil d'administration aurait conclu que : Altman a voulu atteindre cet objectif à toute allure, ne s'est pas suffisamment préoccupé des questions de sécurité et n'a pas écouté les appels l'incitant à plus de prudence. Finalement, les membres du conseil d'administration auraient estimé qu'ils n'avaient plus d'autre choix que de se débarrasser de lui. Un porte-parole d'OpenAI a rejeté cette théorie.

Toutefois, lors d'un sommet de dirigeants mondiaux à San Francisco la semaine dernière, Altman a laissé entendre qu'il pensait que des avancées majeures étaient en vue. « Quatre fois maintenant dans l'histoire d'OpenAI, la fois la plus récente étant juste au cours des deux dernières semaines, j'ai eu l'occasion d'être dans la salle, lorsque nous repoussons en quelque sorte le voile de l'ignorance et la frontière de la découverte, et avoir l'occasion de le faire est l'honneur professionnel d'une vie », a-t-il déclaré lors du sommet de la Coopération économique Asie-Pacifique. Un jour plus tard, le conseil d'administration sortant d'OpenAI a licencié Altman.

Si Reuters cite des sources internes à OpenAI, il reste néanmoins à vérifier l'information. D'après l'une des sources, Mira Murati, directrice de la technologie, a parlé du projet Q* aux employés. Commentant la rumeur, un porte-parole d'OpenAI a déclaré que Mira Murati avait déclaré aux employés ce que les médias rapportaient, mais qu'elle n'avait pas commenté l'exactitude de l'information selon laquelle le projet aurait un lien avec l'éviction surprise d'Altman. Cette déclaration laisse entendre que le projet Q* existe, même s'il n'a aucun lien avec le renvoi d'Altman. Le projet Q* a donné lieu à un débat très animé sur le forum des développeurs d'OpenAI.

Il existe peu d'informations sur le projet Q* et OpenAI n'a ni communiqué sur le sujet ni commenté les articles de presse qui l'évoquent. Hier, Altman a été réintégré en tant que PDG d'OpenAI. Le conseil d’administration sera remanié, avec le départ de plusieurs membres qui s’étaient opposés à Altman, notamment le scientifique en chef Ilya Sutskever. Adam D’Angelo, PDG de Quora, est le seul membre de l'ancien conseil d'administration qui a conservé sa place après le remaniement. Et Microsoft dispose maintenant d'une place au sein du conseil d'administration. Mercredi, OpenAI avait annoncé avoir trouvé un accord de principe pour le retour d'Altman.

Sécurité de l'IA : fracture importante entre les principaux acteurs du secteur

Les craintes liées à l'IA sont axées sur la possibilité d'un "désalignement", c'est-à-dire l'avènement d'une superintelligence qui ne serait pas alignée sur les objectifs de l'homme. Une telle IA pourrait développer ses propres objectifs et s'atteler fébrilement à les mettre en œuvre, détruisant tout sur son passage, y compris l'humanité s'il le faut. Mais cette vision dystopique de l'avenir de l'IA est rejetée par un certain nombre d'autres chercheurs en IA, comme le responsable de l'IA chez Meta, Yann LeCun. Selon ces chercheurs, en raison du fait que l'IA est une création humaine, elle ne fera de mauvaises choses que si son créateur le lui ordonne.

Par exemple, un critique appartenant au deuxième groupe écrit : « le plus étrange dans tout cela, c'est qu'il n'y a pas lieu d'avoir des craintes aussi exagérées. Le vrai problème d'une IA super intelligente, c'est qu'elle pourrait...