Ilya Sutskever et Jan Leike, figures de proue de l’équipe de sécurité d’OpenAI, ont démissionné de leurs postes. Cette nouvelle intervient dans un contexte de préoccupations croissantes concernant la sécurité et l’alignement des systèmes d’intelligence artificielle (IA) super-intelligents. Sutskever, cofondateur et scientifique en chef, et Leike, qui dirigeait les travaux sur l’alignement, ont été des acteurs clés dans la mise en place de protocoles visant à prévenir les risques potentiels associés aux IA avancées. Leur départ soulève des questions sur l’avenir de la sécurité de l’IA chez OpenAI, surtout à un moment où l’entreprise est sous les feux de la rampe pour ses avancées technologiques.C'est en juillet qu'OpenAI a mis sur pieds une division de recherche de « superalignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maîtriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».
Envoyé par OpenAI
La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».
Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.
« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »
Naturellement, de nombreuses personnes se sont inquiétées : pourquoi une telle équipe devrait-elle exister en premier lieu ? Récemment, un événement qui pourrait susciter d'autres interrogations s'est produit : les dirigeants de l'équipe, Ilya Sutskever et Jan Leike, viennent de quitter l'OpenAI.
Jan Leike : « Nous avons navigué à contre-courant au cours des derniers mois »
Sur X, Jan Leike a fait part des difficultés que son équipe a rencontrées :
« Se retirer de ce travail a été l'une des choses les plus difficiles que j'aie jamais faites, car il est urgent de trouver comment diriger et contrôler des systèmes d'intelligence artificielle beaucoup plus intelligents que nous.
« J'ai rejoint l'entreprise parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche. Cependant, j'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous ayons finalement atteint un point de rupture[...]. Au cours des derniers mois, mon équipe a navigué à contre-courant. Parfois, nous avions du mal à calculer et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ».
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Yesterday was my last day as head of alignment, superalignment lead, and executive <a href="https://twitter.com/OpenAI?ref_src=twsrc%5Etfw">@OpenAI</a>.</p>— Jan Leike (@janleike) <a href="https://twitter.com/janleike/status/1791498174659715494?ref_src=twsrc%5Etfw">May 17, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
La réponse de Greg Brockman et Sam Altman
Sur X, il a assuré que la sécurité reste au cœur de l'action d'OpenAI :
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.<br><br>First, we have… <a href="https://t.co/djlcqEiLLN">https://t.co/djlcqEiLLN</a></p>— Greg Brockman (@gdb) <a href="https://twitter.com/gdb/status/1791869138132218351?ref_src=twsrc%5Etfw">May 18, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
Sam Altman s'est voulu plus modeste dans sa réponse :
J'apprécie énormément les contributions de Jan Leike à la recherche sur l'alignement et à la culture de la sécurité d'OpenAI, et je suis très triste de le voir partir. il a raison, nous avons encore beaucoup à faire ; nous sommes déterminés à le faire. je publierai un billet plus long dans les deux prochains jours.
Des démissions en cascade dans l'équipe chargée de la sécurité
La démission des dirigeants de l'équipe chargée du superalignement est la dernière d'une série de départs notables de l'entreprise, dont certains proviennent de l'équipe de Sutskever et Leike, axée sur la sécurité. En novembre 2023, Sutskever et le conseil d'administration d'OpenAI ont tenté en vain d'évincer le PDG Sam Altman. Six mois plus tard, plusieurs membres du personnel d'OpenAI ont quitté l'entreprise, soit parce qu'ils s'étaient exprimés ouvertement sur la sécurité de l'IA, soit parce qu'ils travaillaient au sein d'équipes clés chargées de la sécurité.
Sutskever a fini par s'excuser pour son, déclarant dans un post X en novembre : « Je regrette profondément ma participation aux actions du conseil d'administration. Je n'ai jamais eu l'intention de nuire à OpenAI ». Puis de continuer en disant : « J'aime tout ce que nous avons construit ensemble et je ferai tout ce que je peux pour l'unité dans l'entreprise ».
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">I deeply regret my participation in the board's actions. I never intended to harm OpenAI. I love everything we've built together and I will do everything I can to reunite the company.</p>— Ilya Sutskever (@ilyasut) <a href="https://twitter.com/ilyasut/status/1726590052392956028?ref_src=twsrc%5Etfw">November 20, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
Il a signé une lettre avec 738 employés d'OpenAI (sur un total de 770) demandant la réintégration d'Altman et du président Greg Brockman. Toutefois, selon une copie de la lettre obtenue par le New York Times avec 702 signatures, plusieurs membres du personnel qui ont maintenant démissionné n'ont pas signé la lettre de soutien à la direction d'OpenAI ou ont tardé à le faire.
Les noms de Jan Leike, Leopold Aschenbrenner et William Saunders, membres de l'équipe chargée du Superalignement, qui ont depuis quitté l'organisation, n'apparaissent pas aux côtés de plus de 700 autres membres du personnel d'OpenAI qui soutiennent Altman et Brockman dans la copie du Times.
Le chercheur en IA de renommée mondiale Andrej Karpathy et les anciens membres du personnel de l'OpenAI Daniel Kokotajlo et Cullen O'Keefe n'apparaissent pas non plus dans cette première version de la lettre et ont depuis quitté l'OpenAI. Il est possible que ces personnes aient signé la dernière version de la lettre pour signaler leur soutien, mais si c'est le cas, elles semblent avoir été les dernières à le faire.
Pourquoi l'équipe de sécurité d'OpenAI s'est méfiée de Sam Altman
Pour comprendre ce qui s'est passé, il faut remonter au mois de novembre dernier. C'est à ce moment-là que Sutskever, en collaboration avec le conseil d'administration d'OpenAI, a tenté de licencier Altman. Le conseil d'administration a déclaré qu'Altman n'était « pas toujours franc dans ses communications ». Traduction : Nous ne lui faisons pas confiance.
L'éviction a échoué de manière spectaculaire. Altman et son allié, le président de l'entreprise Greg Brockman, ont menacé d'emmener les meilleurs talents d'OpenAI chez Microsoft - détruisant ainsi OpenAI - à moins qu'Altman ne soit rétabli dans ses fonctions. Face à cette menace, le conseil d'administration a cédé. Altman est revenu plus puissant que jamais, avec de nouveaux membres du conseil d'administration plus solidaires et plus libres de diriger l'entreprise.
Lorsque vous tirez sur le roi et que vous le ratez, les choses ont tendance à devenir gênantes.
Publiquement, Sutskever et Altman ont donné l'impression de poursuivre leur amitié. Lorsque Sutskever a annoncé son départ il y a quelques jours, il a déclaré qu'il partait poursuivre « un projet qui me tient personnellement à cœur ». Deux minutes plus tard, Altman a posté un message sur X, déclarant : « Je suis très triste ; Ilya est [...] un ami très cher ».
Pourtant, Sutskever n'a pas été vu au bureau d'OpenAI depuis environ six mois - depuis la tentative de coup d'État. Il codirigeait à distance l'équipe « superalignement », chargée de veiller à ce qu'une future IAG soit alignée sur les objectifs de l'humanité au lieu d'être dévoyée. C'est une belle ambition, mais qui n'a rien à voir avec les activités quotidiennes de l'entreprise, qui s'est empressée de commercialiser des produits sous la direction d'Altman. Et puis il y a eu ce tweet, posté peu après la réintégration d'Altman et rapidement effacé :
Ainsi, malgré la camaraderie affichée, il y a des raisons d'être sceptique sur le fait que Sutskever et Altman étaient amis après que le premier ait tenté d'évincer le second.
La réaction d'Altman après son licenciement a révélé quelque chose sur son caractère : sa menace d'évider OpenAI à moins que le conseil d'administration ne le réengage, et son insistance à remplir le conseil d'administration avec de nouveaux membres biaisés en sa faveur, ont montré une détermination à conserver le pouvoir et à éviter les contrôles futurs. D'anciens collègues et employés l'ont décrit comme un manipulateur qui tient un double langage - quelqu'un qui prétend, par exemple, vouloir donner la priorité à la sécurité, mais qui le contredit dans son comportement.
Par exemple, Altman collectait des fonds auprès de régimes autocratiques tels que l'Arabie saoudite afin de pouvoir créer une nouvelle entreprise de fabrication de puces d'IA, ce qui lui permettrait de disposer d'une grande quantité de ressources convoitées nécessaires à la construction d'une IA de pointe. Les employés soucieux de la sécurité s'en sont alarmés. Si Altman se souciait vraiment de construire et de déployer l'IA de la manière la plus sûre possible, pourquoi semblait-il...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
