Exode chez OpenAI : près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise.

Sam Altman, qui a réclamé une réglementation de l'IA, s'y oppose lorsqu'elle est implémentée

OpenAI, l’un des leaders mondiaux dans le développement de l’intelligence artificielle (IA), fait face à une vague de départs parmi ses chercheurs spécialisés en sécurité de l’intelligence générale artificielle (AGI). Selon Daniel Kokotajlo, un ancien chercheur en gouvernance chez OpenAI, près de la moitié des employés travaillant sur les risques à long terme des IA superpuissantes ont quitté l’entreprise au cours des derniers mois.

Selon Daniel Kokotajlo, un ancien chercheur en gouvernance d'OpenAI, près de la moitié du personnel de l'entreprise qui se concentrait autrefois sur les risques à long terme d'une IA surpuissante a quitté l'entreprise au cours des derniers mois.

OpenAI, le fabricant de l'assistant d'IA ChatGPT, est largement considéré comme l'une des rares entreprises à l'avant-garde du développement de l'IA. Sa mission, selon la charte fondatrice de l'entreprise, est de développer une technologie connue sous le nom d'intelligence artificielle générale, ou AGI, d'une manière qui « profite à l'ensemble de l'humanité ». OpenAI définit l'AGI comme des systèmes autonomes capables d'effectuer les tâches les plus rentables, comme le font actuellement les humains.

Parce que de tels systèmes peuvent présenter des risques importants, y compris, selon certains chercheurs en IA, la possibilité qu'ils échappent au contrôle humain et constituent une menace existentielle pour l'ensemble de l'humanité, OpenAI emploie depuis sa création un grand nombre de chercheurs qui se concentrent sur ce que l'on appelle la « sécurité de l'AGI », c'est-à-dire des techniques visant à garantir qu'un futur système d'AGI ne présente pas de danger catastrophique ou même existentiel.

C'est ce groupe de chercheurs qui, selon Kokotajlo, a été décimé par les récentes démissions. Les départs concernent Jan Hendrik Kirchner, Collin Burns, Jeffrey Wu, Jonathan Uesato, Steven Bills, Yuri Burda, Todor Markov et le cofondateur John Schulman. Leur départ fait suite aux démissions très médiatisées, en mai, du scientifique en chef Ilya Sutskever et de Jan Leike, un autre chercheur, qui codirigeaient ensemble ce que la société appelait son équipe « superalignement ».

En annonçant sa démission sur la plateforme de médias sociaux X, Jan Leike a déclaré que la sécurité était de plus en plus « reléguée au second plan par rapport aux produits brillants » au sein de la société d'IA de San Francisco. (L'équipe « superalignement » était censée travailler sur les moyens de contrôler la « superintelligence artificielle », une technologie encore plus spéculative que l'IAG qui impliquerait des systèmes autonomes plus performants que l'intelligence collective de tous les humains réunis).

De façon plus larges, la fuite de cerveaux s'est effectuée chez OpenAI dans plusieurs départements :

• Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;
• Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné l'année dernière par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;
• Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise en juillet après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;
• Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;
• Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Leike et Sutskever. Son départ n'était cependant pas une démission. Il a été licencié en avril pour avoir prétendument divulgué des informations à des journalistes ;
• Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;
• Logan Kilpatrick : il a quitté le navire en avril pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI.
• Pavel Izmailov : le poste d'Izmailov aurait été supprimé en même temps que celui d'Aschenbrenner. Tous deux étaient de solides alliés de Sutskever. Ni son nom ni celui d'Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Altman lors du chaos de novembre ;
• Diane Yoon : elle a quitté OpenAI au début du mois de mai, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Yoon était l'un des cadres les plus anciens de l'entreprise ;
• Chris Clark : il a aussi quitté OpenAI début juillet. Il était responsable des initiatives stratégiques et à but non lucratif.
• William Saunders : il a quitté OpenAI en février, abandonnant son poste de manager au sein de l'équipe Superalignment, parce que la vision est similaire à celle derrière le Titanic : s'empresser de lancer le plus gros navire qui va finir par couler faute de sécurité.

Sur une trentaine d'employés travaillant sur les questions liées à la sécurité de l'AGI, il n'en reste plus que 16

Kokotajlo, qui a rejoint OpenAI en 2022 et l'a quittée en avril 2023, a déclaré dans une interview exclusive qu'il y avait eu un exode lent et régulier en 2024. Sur une trentaine d'employés qui travaillaient sur des questions liées à la sécurité de l'AGI, il n'en reste plus que 16.

« Il n'y a pas eu de coordination. Je pense qu'il s'agit simplement de personnes qui abandonnent individuellement », a déclaré Kokotajlo, alors qu'OpenAI continue de s'orienter vers un produit et une orientation commerciale, en accordant moins d'importance à la recherche visant à déterminer comment garantir que les AGI peuvent être développées en toute sécurité. Au cours des derniers mois, OpenAI a engagé Sarah Friar en tant que directrice financière et Kevin Weil en tant que directeur des produits. La semaine dernière, l'entreprise a recruté Irina Kofman, ancienne dirigeante de Meta, pour diriger les initiatives stratégiques.

Ces départs sont importants en raison de ce qu'ils peuvent indiquer sur le degré de prudence d'OpenAI quant aux risques possibles de la technologie qu'elle développe et sur la question de savoir si des motifs de profit conduisent l'entreprise à prendre des mesures susceptibles de présenter des dangers. Kokotajlo a déjà qualifié de « téméraire » la course des grandes entreprises technologiques au développement de l'AGI.

Un porte-parole d'OpenAI a déclaré que l'entreprise était « fière de ses antécédents en matière de fourniture des systèmes d'IA les plus performants et les plus sûrs, et qu'elle croyait en son approche scientifique de la gestion des risques ». Le porte-parole a également déclaré que l'entreprise reconnaissait qu'un « débat rigoureux » sur les risques éventuels de l'IA était « crucial » et qu'elle « continuerait à s'engager avec les gouvernements, la société civile et d'autres communautés dans le monde entier ».

Même si les chercheurs en sécurité de l'AGI étaient principalement préoccupés par la manière de contrôler les futurs systèmes d'AGI, certains des moyens les plus efficaces de mieux contrôler les grands modèles de langage qui sous-tendent les logiciels d'IA actuels - pour s'assurer qu'ils n'utilisent pas de langage raciste ou toxique, qu'ils n'écrivent pas de logiciels malveillants ou qu'ils ne fournissent pas aux utilisateurs des instructions pour fabriquer des armes biologiques - sont venus des chercheurs travaillant sur la sécurité de l'AGI.

Bien que Kokotajlo n'ait pas pu expliquer les raisons de toutes ces démissions, il soupçonne qu'elles correspondent à sa conviction qu'OpenAI est « assez proche » du développement de l'AGI, mais qu'elle n'est pas prête « à gérer tout ce que cela implique ». Cela a conduit à ce qu'il a décrit comme un « effet de refroidissement » au sein de l'entreprise sur ceux qui tentent de publier des recherches sur les risques de l'AGI et une « influence croissante des ailes de communication et de lobbying d'OpenAI » sur ce qu'il est approprié de publier.

« Les personnes qui se consacrent principalement à la réflexion sur la sécurité et la préparation de l'AGI sont de plus en plus marginalisées »

Kokotajlo a déclaré que ses propres inquiétudes concernant l'évolution de la culture d'OpenAI ont commencé avant le drame survenu dans la salle du conseil en novembre 2023, lorsque le PDG Sam Altman a été licencié, puis rapidement réembauché. À ce moment-là, trois membres du conseil d'administration d'OpenAI, qui s'occupaient de la sécurité de l'AGI, ont été démis de leurs fonctions. « Cela a en quelque sorte scellé l'affaire. Il n'y a pas eu de retour en arrière après cela », a-t-il déclaré, ajoutant que bien qu'il n'ait pas eu accès à ce qui se passait en coulisses, il avait l'impression qu'Altman et le président Greg Brockman (qui a récemment pris un congé prolongé) avaient « consolidé le pouvoir » depuis lors.

« Les personnes qui se consacrent principalement à la réflexion sur la sécurité et la préparation de l'AGI sont de plus en plus marginalisées », a-t-il déclaré.

Toutefois, de nombreux chercheurs en IA, dont Andrew Ng, ancien cofondateur de Google Brain, Fei-Fei Li, professeur à l'université de Stanford, et Yann LeCun, directeur scientifique de Meta, considèrent que l'accent mis par la communauté de la sécurité de l'IA sur la prétendue menace de l'IA pour l'humanité est exagéré. Selon eux, l'AGI n'existera pas avant plusieurs dizaines d'années et l'IA peut contribuer à résoudre les véritables risques existentiels pour l'humanité, notamment le changement climatique et les futures pandémies.

En outre, ils affirment que l'hyper-focalisation sur les risques de l'AGI, souvent par des chercheurs et des organisations financés par des organisations liées au mouvement controversé de l'altruisme efficace qui est fortement axé sur le « risque existentiel » de l'IA pour l'humanité, conduira à des lois qui étouffent l'innovation et punissent les développeurs de modèles, plutôt que de se concentrer sur les applications des modèles de l'IA.

Selon ces critiques, le projet de loi californien SB 1047, soutenu par des groupes liés à l'altruisme efficace et qui a suscité un vif débat avant un vote législatif final attendu cette semaine, est un exemple de ce type de loi. Ce projet de loi vise à mettre en place des garde-fous pour le développement et l'utilisation des modèles d'IA les plus puissants.


« Sam Altman, notre ancien patron, a réclamé à plusieurs reprises une réglementation de l'IA. Aujourd'hui, lorsqu'il est question de réglementation, il s'y oppose »

Kokotajlo s'est dit déçu, mais pas surpris, qu'OpenAI se soit prononcée contre le projet de loi SB 1047. Avec son ancien collègue William Saunders, il a rédigé la semaine dernière une lettre adressée au parrain du projet de loi, le sénateur Scott Wiener, dans laquelle il affirme que les plaintes d'OpenAI concernant le projet de loi « ne semblent pas de bonne foi ».

« Dans un certain sens, il s'agit d'une trahison du plan que nous avions en 2022 », a déclaré Kokotajlo, soulignant ce qu'il appelle un effort de la part d'OpenAI et de l'ensemble de l'industrie de l'IA pour évaluer les risques à long terme de l'AGI et obtenir des engagements volontaires sur la manière de réagir au franchissement de seuils dangereux, et utiliser ces résultats comme « inspiration et modèle pour la législation et la réglementation ».

Cependant, Kokotajlo ne regrette pas d'avoir rejoint l'OpenAI. « Je pense que j'y ai appris un tas de choses utiles. J'ai le sentiment d'avoir probablement fait une différence positive », a-t-il déclaré, même s'il regrette de ne pas être parti plus tôt. « J'avais déjà commencé à y réfléchir avant la crise du conseil d'administration et, rétrospectivement, j'aurais dû le faire. »

Conséquences et perspectives

Les départs massifs de chercheurs en sécurité soulèvent des questions sur la capacité d’OpenAI à gérer les risques potentiels associés au développement de l’AGI. Alors que l’entreprise continue de progresser vers la création d’une intelligence artificielle générale, la réduction de l’équipe de sécurité pourrait compromettre les efforts pour garantir que ces systèmes puissants ne posent pas de dangers catastrophiques ou existentiels.

L’exode des chercheurs en sécurité chez OpenAI met en lumière les tensions entre les objectifs commerciaux et les impératifs de sécurité dans le domaine de l’intelligence artificielle. La manière dont OpenAI naviguera ces défis déterminera en grande partie l’avenir de l’AGI et son impact sur l’humanité.

Sources : lettre de Kokotajlo et Saunders pour soutenir le projet de loi californien (au format PDF), OpenAI, Daniel Kokotajlo

Et vous ?

Quels sont, selon vous, les principaux défis auxquels OpenAI devra faire face avec la réduction de son équipe de sécurité AGI ?
Pensez-vous que la priorité donnée aux produits commerciaux au détriment de la recherche sur la sécurité est justifiée ? Pourquoi ou pourquoi pas ?
Comment évalueriez-vous l’impact potentiel de ces départs sur la sécurité et l’éthique des futurs systèmes d’IA développés par OpenAI ?
Quelles mesures OpenAI pourrait-elle prendre pour attirer et retenir les talents dans le domaine de la sécurité AGI ?
Croyez-vous que d’autres entreprises technologiques pourraient rencontrer des problèmes similaires ? Pourquoi ?
Quel rôle les régulateurs et les gouvernements devraient-ils jouer pour garantir la sécurité des développements en IA ?
Comment les chercheurs en IA peuvent-ils équilibrer les impératifs commerciaux et les préoccupations éthiques dans leur travail ?
À votre avis, quelles sont les conséquences à long terme de la perte de chercheurs en sécurité pour l’industrie de l’IA dans son ensemble ?
Comment les utilisateurs finaux peuvent-ils influencer les priorités des entreprises technologiques en matière de sécurité et d’éthique ?
Quels sont les risques potentiels si les entreprises technologiques négligent la recherche sur la sécurité de l’AGI ?