OpenAI a vu démissionner trois des cadres chargés de s'assurer que les humains sont à l'abri de la superintelligence.

Ilya Sutskever, cofondateur d'OpenAI, a tenté de faire éjecter Sam Altman l'année dernière

La semaine même où OpenAI a attiré l'attention du monde entier pour la publication de son dernier modèle d'IA, des dirigeants de premier plan, Ilya Sutskever (cofondateur et scientifique en chef d'OpenAI) et Jan Leike (qui a codirigé le groupe « superalignement » d'OpenAI, une équipe qui s'efforce d'aligner ses systèmes d'intelligence artificielle sur les intérêts humains), ont annoncé qu'ils quittaient l'entreprise. Si l'on ajoute à cela le départ d'Andrej Karpathy en février, il semble que les personnes les plus engagées dans le développement d'une IA sûre et centrée sur l'humain aient quitté l'entreprise.

Deux employés chevronnés d'OpenAI, Ilya Sutskever et Jan Leike, ont annoncé leur démission. Cette décision intervient six mois après une tentative infructueuse d'éviction du PDG Sam Altman de la société d'intelligence artificielle.

Sutskever, qui a cofondé la start-up de San Francisco et y travaille depuis près de dix ans, a indiqué qu'il quittait son rôle de scientifique en chef dans un message publié sur X. Qualifiant la croissance d'OpenAI de « tout simplement miraculeuse », Sutskever s'est dit convaincu que l'entreprise construira une IA « à la fois sûre et bénéfique » sous la direction d'Altman, du président et cofondateur Greg Brockman et de la directrice de la technologie Mira Murati.

Il a également félicité Jakub Pachocki pour l'avoir remplacé en tant que scientifique en chef d'OpenAI.

« Ce fut un honneur et un privilège de travailler ensemble, et tout le monde me manquera énormément. À bientôt, et merci pour tout », a écrit Sutskever. « Je suis enthousiaste pour la suite - un projet qui me tient personnellement à cœur et dont je partagerai les détails en temps voulu ».

After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…

— Ilya Sutskever (@ilyasut) May 14, 2024

Leike, qui a codirigé le groupe dit de superalignement à OpenAI, a été moins loquace au sujet de sa démission, faisant l'annonce sur X simplement avec les mots « J'ai démissionné ».

I resigned

— Jan Leike (@janleike) May 15, 2024

Leike et Sutskever dirigeaient l'équipe de superalignement d'OpenAI, qui a connu un certain nombre de départs au cours des derniers mois

C'est en juillet qu'OpenAI a mis sur pieds une division de recherche « d'alignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maitriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

Il s’agit d’une intelligence artificielle, encore au stade hypothétique, capable de surpasser l’esprit humain, explique OpenAI. Cette technologie pourrait aider l’humanité « à résoudre bon nombre des problèmes les plus importants du monde ».

« Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

Leike, qui a travaillé chez DeepMind de Google avant de rejoindre OpenAI, a de grandes ambitions pour « protéger les humains de la superintelligence que nous avons créée ». « C'est comme si nous avions ce problème difficile dont nous parlons depuis des années et des années, et que nous avions maintenant une réelle chance de le résoudre », a déclaré Leike dans un épisode d'août 2023 du podcast « 80 000 heures ».


Le feuilleton du licenciement de Sam Altman

La décision de licencier Altman a été prise soudainement en novembre de l'année dernière, lorsque OpenAI a annoncé que Murati avait été nommé PDG par intérim. Selon le Financial Times, Sutskever était l'un des employés qui s'étaient opposés à Altman à l'époque.

Le NYT explique pour sa part :

Dans un communiqué, la société a déclaré que son conseil d'administration avait mené un « processus d'examen délibératif » et affirmé qu'Altman n'avait pas été « constamment franc dans ses communications ». En conséquence, le conseil d'administration a déclaré qu'il n'avait plus confiance dans la capacité d'Altman à diriger OpenAI. « Nous sommes reconnaissants à Sam pour ses nombreuses contributions à la fondation et à la croissance de l'OpenAI », a déclaré l'OpenAI. « En même temps, nous pensons qu'un nouveau leadership est nécessaire pour aller de l'avant.

Le départ d'Altman est intervenu quelques jours seulement après qu'il a annoncé que la société avait suspendu les inscriptions à ChatGPT Plus en raison d'une « augmentation de l'utilisation ». Au début du mois, la société a déclaré qu'elle souffrait de pannes dues à un trafic anormal qui « reflétait » une attaque DDoS.

Brockman a également été démis de ses fonctions au sein du conseil d'administration de l'OpenAI, mais il a été autorisé à conserver son rôle de président. Il a quitté OpenAI en réaction à ces événements.

Le 20 novembre, le PDG de Microsoft, Satya Nadella, a déclaré qu'Altman et Brockman rejoignaient Microsoft pour diriger une nouvelle « équipe de recherche en IA avancée ». Le 22 novembre, Altman a été rétabli dans ses fonctions de PDG de l'OpenAI, avec un nouveau conseil d'administration composé de Larry Summers, Adam D'Angelo et Bret Taylor en tant que président.

Les rapports de l'époque suggèrent que les employés de la société, déconcertés par l'absence d'explication qui leur a été donnée au sujet du licenciement d'Altman, ont fait pression sur le conseil d'administration pour qu'il démissionne et rétablisse l'ancien PDG dans ce qu'ils estimaient être son poste légitime.


Ilya Sutskever a déclaré qu'il regrette profondément d'avoir participé à l'éviction de Sam Altman

« Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI », a déclaré Sutskever dans un post X en novembre. « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».

Peu de temps après la déclaration du scientifique en chef, Altman a répondu à son message avec trois émojis en forme de cœur.

I deeply regret my participation in the board's actions. I never intended to harm OpenAI. I love everything we've built together and I will do everything I can to reunite the company.

— Ilya Sutskever (@ilyasut) November 20, 2023

OpenAI était en révolte ouverte lorsque plus de 700 employés ont signé une lettre ouverte menaçant de partir à moins que le conseil d'administration ne démissionne et ne réintègre Sam Altman au poste de PDG, aux côtés de son cofondateur et ancien président Greg Brockman.

« Le processus par lequel vous avez licencié Sam Altman et retiré Greg Brockman du conseil d'administration a mis en péril tout ce travail et sapé notre mission et notre entreprise », indique la lettre. « Votre conduite a clairement montré que vous n'aviez pas la compétence pour superviser OpenAI ».

Les signataires de la lettre incluaient Ilya Sutskever, qui a été accusé d’avoir coordonné le coup d’État contre Altman en premier lieu. Environ 95 % de l'entreprise a signé la lettre.


Quoiqu'il en soit, Sam Altman n'a pas manqué de lui laisser un message après l'annonce de son départ :

« Ilya et OpenAI vont se séparer. C'est très triste pour moi ; Ilya est facilement l'un des plus grands esprits de notre génération, un guide dans notre domaine et un ami très cher. Sa brillance et sa vision sont bien connues ; sa chaleur et sa compassion le sont moins, mais elles n'en sont pas moins importantes.

« OpenAI ne serait pas ce qu'elle est sans lui. Bien qu'il aille travailler sur quelque chose de personnellement significatif, je suis à jamais reconnaissant pour ce qu'il a fait ici et je m'engage à terminer la mission que nous avons commencée ensemble. Je suis heureux d'avoir pu côtoyer pendant si longtemps un génie aussi remarquable et quelqu'un d'aussi déterminé à assurer le meilleur avenir possible à l'humanité.

« Jakub sera notre nouveau scientifique en chef. Jakub est également l'un des plus grands esprits de notre génération ; je suis ravi qu'il prenne le relais. Il a dirigé un grand nombre de nos projets les plus importants et je suis convaincu qu'il nous permettra de progresser rapidement et en toute sécurité vers la réalisation de notre mission, qui consiste à faire en sorte que l'AGI profite à tout le monde ».

Source : OpenAI

Et vous ?

Quel impact pensez-vous que les démissions d’Ilya Sutskever et de Jan Leike auront sur l’avenir de la recherche en IA chez OpenAI ?
Comment l’alignement éthique de l’IA peut-il être maintenu lorsque des figures clés comme Jan Leike quittent une organisation ?
En quoi ces changements de leadership pourraient-ils affecter la confiance du public dans les systèmes d’IA ?
Quelles mesures OpenAI devrait-elle prendre pour assurer la continuité de ses projets d’IA sécurisée et alignée ?
Comment la communauté de l’IA peut-elle collaborer pour surmonter les défis posés par le départ de leaders influents ?