Ilya Sutskever et Jan Leike, figures de proue de l’équipe de sécurité d’OpenAI, ont démissionné de leurs postes. Cette nouvelle intervient dans un contexte de préoccupations croissantes concernant la sécurité et l’alignement des systèmes d’intelligence artificielle (IA) super-intelligents. Sutskever, cofondateur et scientifique en chef, et Leike, qui dirigeait les travaux sur l’alignement, ont été des acteurs clés dans la mise en place de protocoles visant à prévenir les risques potentiels associés aux IA avancées. Leur départ soulève des questions sur l’avenir de la sécurité de l’IA chez OpenAI, surtout à un moment où l’entreprise est sous les feux de la rampe pour ses avancées technologiques.C'est en juillet qu'OpenAI a mis sur pieds une division de recherche de « superalignement », conçue pour se préparer à l'essor de la superintelligence artificielle et s'assurer qu'elle ne se tourne pas contre les humains. Cette équipe s'est vue confier la tâche de maîtriser et à superviser l’IA. Elle est composée de « chercheurs et d’ingénieurs de haut niveau en apprentissage automatique », se concentrera sur l’avènement de la « superintelligence ».
Envoyé par OpenAI
La superintelligence sera la technologie la plus percutante que l'humanité ait jamais inventée et pourrait nous aider à résoudre bon nombre des problèmes les plus importants du monde. Mais le vaste pouvoir de la superintelligence pourrait également être très dangereux et pourrait conduire à la perte de pouvoir de l'humanité ou même à l'extinction humaine.
Il s'ensuit qu'une partie du travail du duo consistait, selon OpenAI, à « s'assurer que les systèmes d'IA beaucoup plus intelligents que les humains suivent les intentions de ces derniers ».
Le fait qu'il n'existe pas encore de tels contrôles est un problème que l'OpenAI a reconnu, comme l'indique son message de juillet 2023.
« Actuellement, nous n'avons pas de solution pour diriger ou contrôler une IA potentiellement superintelligente et l'empêcher d'agir de manière déréglée. Nos techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir de commentaires humains, reposent sur la capacité des humains à superviser l'IA », peut-on lire dans le billet d'OpenAI. « Mais les humains ne seront pas en mesure de superviser de manière fiable des systèmes d'IA beaucoup plus intelligents que nous, et nos techniques d'alignement actuelles ne pourront donc pas s'adapter à la superintelligence. Nous avons besoin de nouvelles percées scientifiques et techniques. »
Naturellement, de nombreuses personnes se sont inquiétées : pourquoi une telle équipe devrait-elle exister en premier lieu ? Récemment, un événement qui pourrait susciter d'autres interrogations s'est produit : les dirigeants de l'équipe, Ilya Sutskever et Jan Leike, viennent de quitter l'OpenAI.
Jan Leike : « Nous avons navigué à contre-courant au cours des derniers mois »
Sur X, Jan Leike a fait part des difficultés que son équipe a rencontrées :
« Se retirer de ce travail a été l'une des choses les plus difficiles que j'aie jamais faites, car il est urgent de trouver comment diriger et contrôler des systèmes d'intelligence artificielle beaucoup plus intelligents que nous.
« J'ai rejoint l'entreprise parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche. Cependant, j'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous ayons finalement atteint un point de rupture[...]. Au cours des derniers mois, mon équipe a navigué à contre-courant. Parfois, nous avions du mal à calculer et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ».
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Yesterday was my last day as head of alignment, superalignment lead, and executive <a href="https://twitter.com/OpenAI?ref_src=twsrc%5Etfw">@OpenAI</a>.</p>— Jan Leike (@janleike) <a href="https://twitter.com/janleike/status/1791498174659715494?ref_src=twsrc%5Etfw">May 17, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
La réponse de Greg Brockman et Sam Altman
Sur X, il a assuré que la sécurité reste au cœur de l'action d'OpenAI :
[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.<br><br>First, we have… <a href="https://t.co/djlcqEiLLN">https://t.co/djlcqEiLLN</a></p>— Greg Brockman (@gdb) <a href="https://twitter.com/gdb/status/1791869138132218351?ref_src=twsrc%5Etfw">May 18, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]
Sam Altman s'est voulu plus modeste dans sa réponse :
J'apprécie énormément les contributions de Jan Leike à la recherche sur l'alignement et à la culture de la sécurité d'OpenAI, et je suis très triste de le voir partir. il a raison, nous avons encore beaucoup à faire ; nous sommes déterminés à le faire. je publierai un billet plus long dans les deux prochains jours.
Des démissions en cascade dans l'équipe chargée de la sécurité
La démission des dirigeants de l'équipe chargée du superalignement est la dernière d'une série de départs notables de l'entreprise, dont certains proviennent de l'équipe de Sutskever et Leike, axée sur la sécurité. En novembre 2023, Sutskever et le conseil d'administration d'OpenAI ont tenté en vain d'évincer le PDG...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
