Les chercheurs d'OpenAI auraient fait une découverte majeure qui pourrait avoir des conséquences mondiales dans le cadre d'un projet baptisé Q*. Ils auraient envoyé une lettre au conseil d'administration sortant dans lequel ils font part de leur découverte ainsi que de leurs préoccupations. Ils explorent la nature de la découverte et ses implications, en mettant l'accent sur les dangers potentiels qu'elle peut représenter pour l'humanité. La lettre met en garde contre la commercialisation de la technologie sans en mesurer les conséquences. En outre, la lettre aurait joué un rôle clé dans le licenciement d'Altman et révèle de profonds désaccords au sein de l'entreprise.OpenAI aurait développé un algorithme d'IA proche d'une "superintelligence"
Le but ultime d'OpenAI est de parvenir à une forme d'intelligence générale artificielle (AGI). Pour y arriver, le laboratoire d'IA bénéficie d'un soutien financier important de la part du géant des logiciels Microsoft et d'autres investisseurs en capital-risque. Après avoir publié en mars GPT-4, un puissant grand modèle de langage qui a fait preuve de capacités impressionnantes sur un certain nombre de benchmarks, OpenAI a récemment confirmé qu’il avait commencé le travail sur son prochain modèle d'IA, GPT-5. L'entreprise espère que Microsoft, son principal bailleur de fonds, va injecter plus d'argent dans ses recherches et lui fournir plus de puissance de calcul.
Sam Altman, PDG d'OpenAI, a déclaré à l'époque : « il y a un long chemin à parcourir et beaucoup de calcul à réaliser entre notre niveau actuel et l'AGI. Les dépenses de formation sont tout simplement énormes ». Les déclarations d'Altman sur OpenAI et l'AGI manquent cruellement d'éléments de précision, pour ne pas dire qu'elles sont très évasives. Mais de nouvelles fuites signalent que les chercheurs d'OpenAI, dirigés par le scientifique en chef Ilya Sutskever, ont réalisé une percée majeure au cours des derniers mois. Cette "importante" découverte serait intervenue dans le cadre d'un projet secret connu sous le nom de code interne Q* (Q-Star).
Des membres du personnel d'OpenAI au fait du projet estiment qu'à l'heure actuelle, Q* est ce qui se rapproche le plus d'une AGI. Dans un rapport publié par Reuters aujourd'hui, les sources interrogées décrivent le nouvel algorithme d'IA comme "une découverte puissante". L'une des sources a déclaré : « avec de vastes ressources informatiques, le nouveau modèle a pu résoudre certains problèmes mathématiques. Bien qu'il ne soit capable de traiter que des problèmes mathématiques de même niveau que celui des élèves de l'école primaire, le simple fait d'avoir réussi ces tests a rendu les chercheurs très optimistes quant au succès futur du projet Q* ».
OpenAI définit l'AGI comme un système autonome qui surpasse les humains dans la plupart des tâches à valeur économique. En outre, les chercheurs considèrent les mathématiques comme une frontière pour le développement de l'IA. Actuellement, l'IA générative est efficace pour l'écriture et la traduction des langues en prédisant statistiquement le mot suivant, et les réponses à une même question peuvent varier considérablement. Mais elle affiche de piètres performances lorsqu'elle est soumise à des tests mathématiques. Qu'il s'agisse du chatbot ChatGPT d'OpenAI ou Bard de Google, tous galèrent face aux problèmes mathématiques de base.
La capacité à résoudre des problèmes mathématiques pour lesquels il n'existe qu'une seule réponse correcte indique que l'IA est capable de performances proches du niveau de l'intelligence humaine. Selon les chercheurs en IA, cela pourrait s'appliquer à de nouvelles recherches scientifiques. Contrairement à une calculatrice qui ne peut résoudre qu'un nombre limité d'opérations, l'IA peut généraliser, apprendre et comprendre. Toutefois, malgré ses prouesses peu impressionnantes dans les tests mathématiques, Q* semble être suffisamment puissant pour exacerber les inquiétudes des chercheurs d'OpenAI sur les dangers potentiels que représente l'IA.
Un projet qui suscite des craintes et donne lieu à des désaccords profonds
Préoccupés par leur découverte, certains membres de l'équipe de recherches d'OpenAI auraient envoyé au conseil d'administration une lettre pour mettre en garde contre une commercialisation rapide du nouveau modèle d'IA qui, selon eux, pourrait menacer l'humanité. D'ailleurs, les sources interrogées indiquent que la lettre a joué un rôle déterminant dans la décision du conseil d'administration de congédier Altman à la surprise générale. Le conseil d’administration a expliqué avoir perdu confiance en la capacité d'Altman à diriger le laboratoire d'IA. L'éviction d'Altman du poste de PDG d'OpenAI et son licenciement ont provoqué une onde de choc dans l'industrie.
With Q*, OpenAI have likely solved planning/agentic behavior for small models
— simp 4 satoshi (@iamgingertrash) November 23, 2023
Scale this up to a very large model and you can start planning for increasingly abstract goals
It is a fundamental breakthrough that is the crux of agentic behavior pic.twitter.com/W36t5eA0Dk
Personne n'a encore fourni un compte rendu définitif de ce qui s'est passé, mais l'hypothèse la plus répandue est que cela était lié au développement possible d'une superintelligence, en l'occurrence le projet Q*. Se basant sur la lettre des chercheurs, le conseil d'administration aurait conclu que : Altman a voulu atteindre cet objectif à toute allure, ne s'est pas suffisamment préoccupé des questions de sécurité et n'a pas écouté les appels l'incitant à plus de prudence. Finalement, les membres du conseil d'administration auraient estimé qu'ils n'avaient plus d'autre choix que de se débarrasser de lui. Un porte-parole d'OpenAI a rejeté cette théorie.
Toutefois, lors d'un sommet de dirigeants mondiaux à San Francisco la semaine dernière, Altman a laissé entendre qu'il pensait que des avancées majeures étaient en vue. « Quatre fois maintenant dans l'histoire d'OpenAI, la fois la plus récente étant juste au cours des deux dernières semaines, j'ai eu l'occasion d'être dans la salle, lorsque nous repoussons en quelque sorte le voile de l'ignorance et la frontière de la découverte, et avoir l'occasion de le faire est l'honneur professionnel d'une vie », a-t-il déclaré lors du sommet de la Coopération économique Asie-Pacifique. Un jour plus tard, le conseil d'administration sortant d'OpenAI a licencié Altman.
Si Reuters cite des sources internes à OpenAI, il reste néanmoins à vérifier l'information. D'après l'une des sources, Mira Murati, directrice de la technologie, a parlé du projet Q* aux employés. Commentant la rumeur, un porte-parole d'OpenAI a déclaré que Mira Murati avait déclaré aux employés ce que les médias rapportaient, mais qu'elle n'avait pas commenté l'exactitude de l'information selon laquelle le projet aurait un lien avec l'éviction surprise d'Altman. Cette déclaration laisse entendre que le projet Q* existe, même s'il n'a aucun lien avec le renvoi d'Altman. Le projet Q* a donné lieu à un débat très animé sur le forum des développeurs d'OpenAI.
Il existe peu d'informations sur le projet Q* et OpenAI n'a ni communiqué sur le sujet ni commenté les articles de presse qui l'évoquent. Hier, Altman a été réintégré en tant que PDG d'OpenAI. Le conseil d’administration sera remanié, avec le départ de plusieurs membres qui s’étaient opposés à Altman, notamment le scientifique en chef Ilya Sutskever. Adam D’Angelo, PDG de Quora, est le seul membre de l'ancien conseil d'administration qui a conservé sa place après le remaniement. Et Microsoft dispose maintenant d'une place au sein du conseil d'administration. Mercredi, OpenAI avait annoncé avoir trouvé un accord de principe pour le retour d'Altman.
Sécurité de l'IA : fracture importante entre les principaux acteurs du secteur
Les craintes liées à l'IA sont axées sur la possibilité d'un "désalignement", c'est-à-dire l'avènement d'une superintelligence qui ne serait pas alignée sur les objectifs de l'homme. Une telle IA pourrait développer ses propres objectifs et s'atteler fébrilement à les mettre en œuvre, détruisant tout sur son passage, y compris l'humanité s'il le faut. Mais cette vision dystopique de l'avenir de l'IA est rejetée par un certain nombre d'autres chercheurs en IA, comme le responsable de l'IA chez Meta, Yann LeCun. Selon ces chercheurs, en raison du fait que l'IA est une création humaine, elle ne fera de mauvaises choses que si son créateur le lui ordonne.
Par exemple, un critique appartenant au deuxième groupe écrit : « le plus étrange dans tout cela, c'est qu'il n'y a pas lieu d'avoir des craintes aussi exagérées. Le vrai problème d'une IA super intelligente, c'est qu'elle pourrait être parfaitement alignée sur les objectifs humains, mais ce ne serait pas le bon humain. Aimeriez-vous une arme biologique capable de détruire l'humanité ? Oui, monsieur le terroriste, voici la recette. Il existe au moins des dizaines de scénarios extrêmement dangereux qui reposent sur l'idée simple - et plausible - que le vrai problème, ce sont les méchants acteurs qui se retrouveraient un jour en possession d'une superintelligence ».
Toutefois, tous sont d'accord pour dire qu'il est nécessaire de mettre en place des garde-fous solides dans les modèles d'IA. Cela garantira un déploiement responsable et inclusif de cette technologie. Selon les analystes, le court exile d'Altman en dehors des bureaux d'OpenAI et les événements qui ont précédé son retour en disent long sur le schisme dans le développement de l'IA. C'est le reflet d'une conversation plus large sur le rôle de l'IA dans la société. L'expérience de l'entreprise a valeur d'avertissement pour l'ensemble du secteur. Cependant, la question est vraiment de choisir entre la vitesse de commercialisation des produits d'IA et la sécurité.
Nombreux sont ceux qui remettent en cause la décision du conseil d'administration sortant, tandis que d'autres approuvent son approche proactive. Ce bref exil a mis en lumière le poids de la situation et les délibérations du conseil d'administration sur l'orientation future de l'OpenAI. Parmi les critiques qui soutiennent l'ancien conseil d'administration, beaucoup dénoncent le fait qu'OpenAI se soit écarté de sa vision initiale et recherche frénétiquement désormais le profit. Ils dénoncent aussi l'arrivée de Microsoft dans le nouveau conseil d'administration. Selon eux, cela signifie que Microsoft va accaparer les découvertes d'OpenAI et dicter la direction à suivre.
« Cela me fait définitivement remettre en question les motivations de Sam Altman. En outre, cela place le récent drame sous un jour différent. On s'achemine vers des questions plus existentielles, plus vite qu'on ne l'aurait imaginé, et je préférerais que ce ne soit pas Microsoft qui décide si quelque chose est l'AGI ou non », a écrit un critique. D'autres sont moins enthousiastes et affirment qu'il est probable que la percée à laquelle les chercheurs d'OpenAI font allusion soit exagérée. « En tant que personne ayant effectué un bon nombre de recherches en ML/AI, je peux vous dire qu'il est très facile de penser que l'on a fait une percée », a écrit un autre.
« L'IA comporte de nombreux biais cognitifs et je suis profondément sceptique. Il convient également de noter que nous avons appris aujourd'hui que la vente d'actions 86B est de nouveau d'actualité. Je suis sûr que cette "percée" suscitera l'intérêt des investisseurs », a-t-il ajouté. En somme, les récents événements au sein d'OpenAI pourraient bien créer un précédent dans la manière dont la communauté de l'IA aborde les défis éthiques qui l'attendent.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du projet Q* sur lequel OpenAI travaillerait ? Que pensez-vous du désaccord qui serait à l'origine du licenciement de Sam Altman ? Que pensez-vous des divisions profondes concernant les questions de sécurité liées à l'IA ? Que pensez-vous de l'arrivée de Microsoft au conseil d'administration d'OpenAI ? S'agit-il d'une bonne chose pour l'avenir de l'entreprise ? Pourquoi ?Voir aussi
OpenAI aurait réalisé une percée majeure dans le domaine de l'IA avant l'éviction surprise de Sam Altman, la découverte a suscité des inquiétudes qui auraient joué un rôle clé dans son licenciement Sam Altman confirme qu'OpenAI a commencé à travailler sur GPT-5. Dans sa quête d'outils technologiques « superintelligents », il voudrait que Microsoft investisse davantage pour parvenir à l'IAG Sam Altman est réintégré en tant que directeur général d'OpenAI avec un nouveau conseil d'administration, qui pourrait compter jusqu'à neuf membres avec un siège pour Microsoft 
