Greg Brockman et Sam Altman répondent aux critiques de Jan Leike. Après avoir quitté son poste de chef de l'équipe de superalignement

Il a révélé que « mon équipe a navigué à contre-courant »

Ilya Sutskever et Jan Leike, figures de proue de l’équipe de sécurité d’OpenAI, ont démissionné de leurs postes. Cette nouvelle intervient dans un contexte de préoccupations croissantes concernant la sécurité et l’alignement des systèmes d’intelligence artificielle (IA) super-intelligents. Sutskever, cofondateur et scientifique en chef, et Leike, qui dirigeait les travaux sur l’alignement, ont été des acteurs clés dans la mise en place de protocoles visant à prévenir les risques potentiels associés aux IA avancées. Leur départ soulève des questions sur l’avenir de la sécurité de l’IA chez OpenAI, surtout à un moment où l’entreprise est sous les feux de la rampe pour ses avancées technologiques.

C'est en juillet qu'OpenAI a mis sur pieds une division de recherche de « superalignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maîtriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».

« Nous avons besoin de percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous », a déclaré OpenAI à propos du superalignement dans un message publié le 5 juillet 2023 sur son site web. « Pour résoudre ce problème d'ici quatre ans, nous créons une nouvelle équipe, codirigée par Ilya Sutskever et Jan Leike, et nous consacrons à cet effort 20 % du calcul que nous avons obtenu à ce jour. »

Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».

Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.

« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »

Naturellement, de nombreuses personnes se sont inquiétées : pourquoi une telle équipe devrait-elle exister en premier lieu ? Récemment, un événement qui pourrait susciter d'autres interrogations s'est produit : les dirigeants de l'équipe, Ilya Sutskever et Jan Leike, viennent de quitter l'OpenAI.


Jan Leike : « Nous avons navigué à contre-courant au cours des derniers mois »

Sur X, Jan Leike a fait part des difficultés que son équipe a rencontrées :

« Se retirer de ce travail a été l'une des choses les plus difficiles que j'aie jamais faites, car il est urgent de trouver comment diriger et contrôler des systèmes d'intelligence artificielle beaucoup plus intelligents que nous.

« J'ai rejoint l'entreprise parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche. Cependant, j'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous ayons finalement atteint un point de rupture[...]. Au cours des derniers mois, mon équipe a navigué à contre-courant. Parfois, nous avions du mal à calculer et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ».

Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.

— Jan Leike (@janleike) May 17, 2024

La réponse de Greg Brockman et Sam Altman

Sur X, il a assuré que la sécurité reste au cœur de l'action d'OpenAI :

We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.

First, we have… https://t.co/djlcqEiLLN

— Greg Brockman (@gdb) May 18, 2024

Sam Altman s'est voulu plus modeste dans sa réponse :

i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.

🧡 https://t.co/t2yexKtQEk

— Sam Altman (@sama) May 17, 2024

Des démissions en cascade dans l'équipe chargée de la sécurité

La démission des dirigeants de l'équipe chargée du superalignement est la dernière d'une série de départs notables de l'entreprise, dont certains proviennent de l'équipe de Sutskever et Leike, axée sur la sécurité. En novembre 2023, Sutskever et le conseil d'administration d'OpenAI ont tenté en vain d'évincer le PDG Sam Altman. Six mois plus tard, plusieurs membres du personnel d'OpenAI ont quitté l'entreprise, soit parce qu'ils s'étaient exprimés ouvertement sur la sécurité de l'IA, soit parce qu'ils travaillaient au sein d'équipes clés chargées de la sécurité.

Sutskever a fini par s'excuser pour son, déclarant dans un post X en novembre : « Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI ». Puis de continuer en disant : « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».

I deeply regret my participation in the board's actions. I never intended to harm OpenAI. I love everything we've built together and I will do everything I can to reunite the company.

— Ilya Sutskever (@ilyasut) November 20, 2023

Il a signé une lettre avec 738 employés d'OpenAI (sur un total de 770) demandant la réintégration d'Altman et du président Greg Brockman. Toutefois, selon une copie de la lettre obtenue par le New York Times avec 702 signatures, plusieurs membres du personnel qui ont maintenant démissionné n'ont pas signé la lettre de soutien à la direction d'OpenAI ou ont tardé à le faire.

Les noms de Jan Leike, Leopold Aschenbrenner et William Saunders, membres de l'équipe chargée du Superalignement, qui ont depuis quitté l'organisation, n'apparaissent pas aux côtés de plus de 700 autres membres du personnel d'OpenAI qui soutiennent Altman et Brockman dans la copie du Times.

Le chercheur en IA de renommée mondiale Andrej Karpathy et les anciens membres du personnel de l'OpenAI Daniel Kokotajlo et Cullen O'Keefe n'apparaissent pas non plus dans cette première version de la lettre et ont depuis quitté l'OpenAI. Il est possible que ces personnes aient signé la dernière version de la lettre pour signaler leur soutien, mais si c'est le cas, elles semblent avoir été les dernières à le faire.

Pourquoi l'équipe de sécurité d'OpenAI s'est méfiée de Sam Altman

Pour comprendre ce qui s'est passé, il faut remonter au mois de novembre dernier. C'est à ce moment-là que Sutskever, en collaboration avec le conseil d'administration d'OpenAI, a tenté de licencier Altman. Le conseil d'administration a déclaré qu'Altman n'était « pas toujours franc dans ses communications ». Traduction : Nous ne lui faisons pas confiance.

L'éviction a échoué de manière spectaculaire. Altman et son allié, le président de l'entreprise Greg Brockman, ont menacé d'emmener les meilleurs talents d'OpenAI chez Microsoft - détruisant ainsi OpenAI - à moins qu'Altman ne soit rétabli dans ses fonctions. Face à cette menace, le conseil d'administration a cédé. Altman est revenu plus puissant que jamais, avec de nouveaux membres du conseil d'administration plus solidaires et plus libres de diriger l'entreprise.

Lorsque vous tirez sur le roi et que vous le ratez, les choses ont tendance à devenir gênantes.

Publiquement, Sutskever et Altman ont donné l'impression de poursuivre leur amitié. Lorsque Sutskever a annoncé son départ il y a quelques jours, il a déclaré qu'il partait poursuivre « un projet qui me tient personnellement à cœur ». Deux minutes plus tard, Altman a posté un message sur X, déclarant : « Je suis très triste ; Ilya est [...] un ami très cher ».

Pourtant, Sutskever n'a pas été vu au bureau d'OpenAI depuis environ six mois - depuis la tentative de coup d'État. Il codirigeait à distance l'équipe « superalignement », chargée de veiller à ce qu'une future IAG soit alignée sur les objectifs de l'humanité au lieu d'être dévoyée. C'est une belle ambition, mais qui n'a rien à voir avec les activités quotidiennes de l'entreprise, qui s'est empressée de commercialiser des produits sous la direction d'Altman. Et puis il y a eu ce tweet, posté peu après la réintégration d'Altman et rapidement effacé :


Ainsi, malgré la camaraderie affichée, il y a des raisons d'être sceptique sur le fait que Sutskever et Altman étaient amis après que le premier ait tenté d'évincer le second.

La réaction d'Altman après son licenciement a révélé quelque chose sur son caractère : sa menace d'évider OpenAI à moins que le conseil d'administration ne le réengage, et son insistance à remplir le conseil d'administration avec de nouveaux membres biaisés en sa faveur, ont montré une détermination à conserver le pouvoir et à éviter les contrôles futurs. D'anciens collègues et employés l'ont décrit comme un manipulateur qui tient un double langage - quelqu'un qui prétend, par exemple, vouloir donner la priorité à la sécurité, mais qui le contredit dans son comportement.

Par exemple, Altman collectait des fonds auprès de régimes autocratiques tels que l'Arabie saoudite afin de pouvoir créer une nouvelle entreprise de fabrication de puces d'IA, ce qui lui permettrait de disposer d'une grande quantité de ressources convoitées nécessaires à la construction d'une IA de pointe. Les employés soucieux de la sécurité s'en sont alarmés. Si Altman se souciait vraiment de construire et de déployer l'IA de la manière la plus sûre possible, pourquoi semblait-il se lancer dans une course effrénée pour accumuler autant de puces que possible, ce qui ne ferait qu'accélérer la technologie ? D'ailleurs, pourquoi prenait-il le risque de travailler avec des régimes susceptibles d'utiliser l'IA pour renforcer la surveillance numérique ou les violations des droits de l'homme ?

Pour les employés, tout cela a conduit à une « perte progressive de la conviction que lorsqu'OpenAI dit qu'elle va faire quelque chose ou qu'elle dit qu'elle valorise quelque chose, c'est effectivement vrai ».

Quelques talents qui ont quitté OpenAI

Plus généralement, la sécurité à l'OpenAI a toujours été un sujet de discorde

C'est ce qui a poussé Dario et Daniela Amodei, en 2021, à créer leur propre entreprise d'IA, Anthropic, avec neuf autres anciens employés de l'OpenAI. Ce sont également les problèmes de sécurité qui auraient conduit les membres du conseil d'administration d'OpenAI à évincer Altman et Brockman. Ces membres du conseil ont été remplacés par des entrepreneurs tristement célèbres de la Silicon Valley.

OpenAI compte encore de nombreuses personnes travaillant sur la sécurité au sein de l'entreprise. Après tout, la mission déclarée de la startup est de créer en toute sécurité une IA qui profite à l'humanité ! Cela dit, voici la liste des défenseurs de la sécurité de l'IA qui ont quitté OpenAI depuis l'éviction d'Altman :

• Ilya Sutskever et Jan Leike : Les anciens responsables de l'équipe de Superalignement d'OpenAI ont démissionné le même jour, la veille OpenAI a publié son modèle GPT-4 Omni. L'objectif de cette équipe, décrit lors de son lancement en juillet 2023, était de développer des méthodes pour « diriger ou contrôler une IA potentiellement superintelligente, et l'empêcher de devenir rebelle ».
• Andrej Karpathy : Karpathy, membre fondateur d'OpenAI, a quitté l'entreprise pour la deuxième fois en février 2024. Il a déclaré à l'époque qu'il ne s'était « rien passé », bien que son départ intervienne environ un an après qu'il a quitté Tesla pour rejoindre OpenAI. Karpathy est largement considéré comme l'un des esprits les plus influents et les plus respectés dans le domaine de l'intelligence artificielle. Il a travaillé sous la direction de la « marraine de l'IA » Fei-Fei Li à Stanford, une autre militante convaincue de la sécurité de l'IA.
• L'ancien conseil d'administration de l'OpenAI : Helen Toner et Tasha McCauley ont été les premières victimes du retour au pouvoir de Sam Altman. Quand Altman est revenu, ces deux-là sont parties. À l'époque, Toner a déclaré que la décision de renvoyer Altman concernait « la capacité du conseil d'administration à superviser efficacement l'entreprise ». Toner a déclaré qu'elle poursuivrait son travail en se concentrant sur la politique d'intelligence artificielle, la sécurité et la sûreté. McCauley, quant à elle, en a dit encore moins à l'époque, bien qu'elle ait des liens avec le mouvement de l'altruisme efficace, qui prétend donner la priorité à la lutte contre les dangers de l'IA plutôt qu'aux profits à court terme.
• Leopold Aschenbrenner et Pavel Izmailov : Aschenbrennar était un allié connu de Sutskever et un membre de l'équipe de Superalignement. Il a été licencié en avril 2024 pour avoir prétendument divulgué des informations à des journalistes, selon The Information. Il a également des liens avec le mouvement de l'altruisme efficace. Izmailov est un autre membre du personnel licencié pour avoir divulgué des informations à des journalistes en avril 2024. Il travaillait dans l'équipe de raisonnement, mais a également passé du temps du côté de la sécurité.
• William Saunders : Selon Business Insider, Saunders, qui travaillait pour OpenAI au sein de l'équipe de Superalignement de Sutskever et Leike, a démissionné en février 2024. Les raisons exactes de sa démission ne sont pas claires.
• Daniel Kokotajlo : Kokotajlo a démissionné d'OpenAI en avril 2024, après avoir travaillé dans l'équipe de gouvernance de l'entreprise. Sur la page Less Wrong de Kokotajlo, il écrit qu'il « a quitté OpenAI parce qu'il n'avait plus confiance dans le fait qu'elle se comporterait de manière responsable à l'époque de l'AGI ».
• Cullen O’Keefe : O'Keefe semble avoir démissionné d'OpenAI en avril 2024 après plus de quatre ans au sein de l'équipe de gouvernance de l'entreprise, selon son LinkedIn. O'Keefe publie fréquemment des blogs sur la sécurité de l'IA et déclare dans un billet qu'il continue à rechercher « une AGI sûre et bénéfique, mais maintenant dans un rôle indépendant. »

Sources : Sam Altman, Greg Brockman, Daniel Kokotajlo

Et vous ?

Quelles mesures concrètes les entreprises d’IA devraient-elles prendre pour garantir la sécurité et l’alignement éthique de leurs technologies ?
Comment les départs de figures clés influencent-ils votre perception de la sécurité au sein des entreprises d’IA comme OpenAI ?
Dans quelle mesure la communauté internationale devrait-elle intervenir dans la régulation de l’IA pour prévenir les risques potentiels ?
Quel rôle les chercheurs et les développeurs d’IA ont-ils dans la communication transparente des défis liés à la sécurité de l’IA ?
Comment les utilisateurs finaux peuvent-ils contribuer à façonner un avenir où l’IA est à la fois puissante et sûre ?