Un autre chercheur d'OpenAI démissionne et affirme que les laboratoires d'IA prennent un « pari très risqué » avec l'humanité dans la course vers l'AGI,

Ce qui pourrait avoir « d'énormes inconvénients »

Steven Adler a annoncé dans un récent billet publié sur X (ex-Twitter) qu'il a quitté son poste de chercheur en sécurité de l'IA chez OpenAI à la fin de l'année dernière. Il a également profité de l'occasion pour lancer un avertissement concernant la course effrénée de l'industrie vers l'intelligence artificielle générale (AGI). Il a qualifié la course mondiale vers l'AGI de « pari très risqué, avec d'énormes inconvénients pour l'humanité ». Il affirme que les entreprises d'IA, y compris OpenAI, ne savent pas comment aligner l'IA sur les valeurs humaines, ce qui fait peser une menace existentielle sur l'humanité. Il appelle à une réflexion sur le sujet.

Un ancien chercheur d'OpenAI alerte sur les risques liés à la création d'une AGI

Steven Adler, chercheur en sécurité des systèmes d'IA, a quitté OpenAI à la fin de l'année dernière après quatre années passées au sein de l'entreprise. Il a rendu sa décision publique dans un billet publié sur X le 27 janvier 2025. D'après son profil LinkedIn, Steven Adler était responsable de la sécurité de l'IA chez OpenAI et dirigeait la recherche et les programmes liés à la sécurité pour les lancements de produits et les systèmes d'IA spéculatifs à long terme.

Il est également cité comme auteur de plusieurs articles de blogue d'OpenAI. Dans son billet sur X, Steven Adler est brièvement revenu sur son passage à OpenAI, mais a également exprimé ses inquiétudes quant à l'évolution rapide des systèmes d'IA. Il a qualifié son passage chez OpenAI de « chevauchée sauvage avec de nombreux chapitres ». Le chercheur a également déclaré que de nombreuses parties de son passage chez OpenAI lui manqueraient.

Some personal news: After four years working on safety across @openai, I left in mid-November. It was a wild ride with lots of chapters - dangerous capability evals, agent safety/control, AGI and online identity, etc. - and I'll miss many parts of it.

— Steven Adler (@sjgadler) January 27, 2025

En ce qui concernant l'évolution rapide des systèmes d'IA, Steven Adler lance un avertissement : « une course à l'AGI est un pari très risqué, avec d'énormes inconvénients ». En outre, Steven Adler a déclaré qu'il est personnellement « assez terrifié par le rythme » de développement de l'IA :

Les craintes de Steven Adler font écho à des préoccupations exprimées par certains des plus grands chercheurs en IA du monde avant lui. Stuart Russell, professeur d'informatique à l'université de Californie à Berkeley, a déclaré au Financial Times que « la course à l'IA est une course au bord de la falaise ».

Stuart Russell explique notamment : « même les chefs d'entreprises qui s'engagent dans la course ont déclaré que le vainqueur a une forte probabilité de provoquer l'extinction de l'humanité, car nous n'avons aucune idée de la manière de contrôler des systèmes plus intelligents que nous ».

Geoffrey Hinton, l'un des parrains de l'IA, reste convaincu que l'IA représente une menace existentielle pour l'humanité. Il a déclaré lors d'une récente sortie que l'IA rendrait la société « de plus en plus mauvaise » en creusant l'écart de richesse entre les individus les plus riches et les plus pauvres.

Il a ajouté qu'une superintelligence, ou une IA dont les capacités cognitives dépassent celles des humains dans tous les domaines, apparaîtra d'ici cinq à vingt ans. Selon lui, l'écart de richesse risque d'exacerber les inégalités et les tensions, ce qui offrirait un terrain fertile pour le fascisme et la société pourrait empirer.

OpenAI a perdu un nombre impressionnant de chercheurs ces dernières années

Ce n'est pas la première fois qu'OpenAI est confrontée à des questions relatives à son approche de la sécurité de l'IA. Le laboratoire d'IA a été mêlé à plusieurs scandales publics qui semblaient découler de désaccords internes sur la sécurité de l'IA, y compris un incident à la fin de 2023 qui a remis en cause la survie même de l'entreprise. En effet, le PDG d'OpenAI, Sam Altman, avait été licencié par l'ancien conseil d'administration en raison de « désaccords ».

Sam Altman a été réintégré dans son rôle cinq jours plus tard sous la pression des employés et des investisseurs, mais les questions relatives à son départ ont pesé sur l'entreprise pendant des mois. Aujourd'hui encore, l'on ignore les raisons pour lesquelles l'ancien conseil d'administration, composé de l'ancien scientifique en chef et cofondateur d'OpenAI, Ilya Sutskever, avait licencié Sam Altman. Toutefois, son retour s'est suivi d'un exode des talents d'OpenAI.

L'année dernière, OpenAI a perdu deux éminents chercheurs en IA, Ilya Sutskever et Jan Leike. À l'époque, les deux hommes codirigeaient l'équipe Superalignment de l'entreprise. Cette équipe était chargée d'assurer la sécurité de l'IA et s'efforçait de réaliser des « percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA plus intelligents que nous ». Les départs de Ilya Sutskever et Jan Leike ont fragilisé l'équipe, qui a été ensuite dissoute.

Jan Leike a déclaré que son départ est lié au fait qu'OpenAI se préoccupe de moins en moins de la sécurité de ses systèmes d'IA. Il a déclaré : « la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants ». Voici une liste non exhaustive des départs :

[LIST][*]Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;[*]Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné en 2023 par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;[*]Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise en juillet 2024 après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;[*]Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février 2024. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;[*]Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Ilya Sutskever et Jan Leike. Son départ n'était cependant pas une démission. Il a été licencié pour avoir prétendument divulgué des informations à des journalistes ;[*]Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet, il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;[*]Logan Kilpatrick : il a quitté le navire pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI ;[*]Pavel Izmailov : le poste de Pavel Izmailov aurait été supprimé en même temps que celui de Leopold Aschenbrenner. Tous deux étaient de solides alliés de Ilya Sutskever. Ni son nom ni celui de Leopold Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Sam Altman lors du chaos de novembre 2023 ;[*]Diane Yoon : elle a quitté OpenAI au début du mois de mai 2024, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Diane Yoon était l'un des cadres les plus anciens de l'entreprise ;[*]Chris Clark : il a également quitté OpenAI début juillet 2024. Il était responsable des initiatives stratégiques et à but non lucratif.[*]William Saunders : il a quitté OpenAI en février 2024, abandonnant son poste de manager au sein de l'équipe Superalignment, parce que la vision est similaire à celle derrière le Titanic : s'empresser de lancer le plus gros navire qui va finir par couler faute de sécurité.
[...