Un autre chercheur d'OpenAI démissionne et affirme que les laboratoires d'IA prennent un « pari très risqué » avec l'humanité dans la course vers l'AGI,

Ce qui pourrait avoir « d'énormes inconvénients »

Steven Adler a annoncé dans un récent billet publié sur X (ex-Twitter) qu'il a quitté son poste de chercheur en sécurité de l'IA chez OpenAI à la fin de l'année dernière. Il a également profité de l'occasion pour lancer un avertissement concernant la course effrénée de l'industrie vers l'intelligence artificielle générale (AGI). Il a qualifié la course mondiale vers l'AGI de « pari très risqué, avec d'énormes inconvénients pour l'humanité ». Il affirme que les entreprises d'IA, y compris OpenAI, ne savent pas comment aligner l'IA sur les valeurs humaines, ce qui fait peser une menace existentielle sur l'humanité. Il appelle à une réflexion sur le sujet.

Un ancien chercheur d'OpenAI alerte sur les risques liés à la création d'une AGI

Steven Adler, chercheur en sécurité des systèmes d'IA, a quitté OpenAI à la fin de l'année dernière après quatre années passées au sein de l'entreprise. Il a rendu sa décision publique dans un billet publié sur X le 27 janvier 2025. D'après son profil LinkedIn, Steven Adler était responsable de la sécurité de l'IA chez OpenAI et dirigeait la recherche et les programmes liés à la sécurité pour les lancements de produits et les systèmes d'IA spéculatifs à long terme.

Il est également cité comme auteur de plusieurs articles de blogue d'OpenAI. Dans son billet sur X, Steven Adler est brièvement revenu sur son passage à OpenAI, mais a également exprimé ses inquiétudes quant à l'évolution rapide des systèmes d'IA. Il a qualifié son passage chez OpenAI de « chevauchée sauvage avec de nombreux chapitres ». Le chercheur a également déclaré que de nombreuses parties de son passage chez OpenAI lui manqueraient.

Some personal news: After four years working on safety across @openai, I left in mid-November. It was a wild ride with lots of chapters - dangerous capability evals, agent safety/control, AGI and online identity, etc. - and I'll miss many parts of it.

— Steven Adler (@sjgadler) January 27, 2025

En ce qui concernant l'évolution rapide des systèmes d'IA, Steven Adler lance un avertissement : « une course à l'AGI est un pari très risqué, avec d'énormes inconvénients ». En outre, Steven Adler a déclaré qu'il est personnellement « assez terrifié par le rythme » de développement de l'IA :

Les craintes de Steven Adler font écho à des préoccupations exprimées par certains des plus grands chercheurs en IA du monde avant lui. Stuart Russell, professeur d'informatique à l'université de Californie à Berkeley, a déclaré au Financial Times que « la course à l'IA est une course au bord de la falaise ».

Stuart Russell explique notamment : « même les chefs d'entreprises qui s'engagent dans la course ont déclaré que le vainqueur a une forte probabilité de provoquer l'extinction de l'humanité, car nous n'avons aucune idée de la manière de contrôler des systèmes plus intelligents que nous ».

Geoffrey Hinton, l'un des parrains de l'IA, reste convaincu que l'IA représente une menace existentielle pour l'humanité. Il a déclaré lors d'une récente sortie que l'IA rendrait la société « de plus en plus mauvaise » en creusant l'écart de richesse entre les individus les plus riches et les plus pauvres.

Il a ajouté qu'une superintelligence, ou une IA dont les capacités cognitives dépassent celles des humains dans tous les domaines, apparaîtra d'ici cinq à vingt ans. Selon lui, l'écart de richesse risque d'exacerber les inégalités et les tensions, ce qui offrirait un terrain fertile pour le fascisme et la société pourrait empirer.

OpenAI a perdu un nombre impressionnant de chercheurs ces dernières années

Ce n'est pas la première fois qu'OpenAI est confrontée à des questions relatives à son approche de la sécurité de l'IA. Le laboratoire d'IA a été mêlé à plusieurs scandales publics qui semblaient découler de désaccords internes sur la sécurité de l'IA, y compris un incident à la fin de 2023 qui a remis en cause la survie même de l'entreprise. En effet, le PDG d'OpenAI, Sam Altman, avait été licencié par l'ancien conseil d'administration en raison de « désaccords ».

Sam Altman a été réintégré dans son rôle cinq jours plus tard sous la pression des employés et des investisseurs, mais les questions relatives à son départ ont pesé sur l'entreprise pendant des mois. Aujourd'hui encore, l'on ignore les raisons pour lesquelles l'ancien conseil d'administration, composé de l'ancien scientifique en chef et cofondateur d'OpenAI, Ilya Sutskever, avait licencié Sam Altman. Toutefois, son retour s'est suivi d'un exode des talents d'OpenAI.

L'année dernière, OpenAI a perdu deux éminents chercheurs en IA, Ilya Sutskever et Jan Leike. À l'époque, les deux hommes codirigeaient l'équipe Superalignment de l'entreprise. Cette équipe était chargée d'assurer la sécurité de l'IA et s'efforçait de réaliser des « percées scientifiques et techniques pour diriger et contrôler des systèmes d'IA plus intelligents que nous ». Les départs de Ilya Sutskever et Jan Leike ont fragilisé l'équipe, qui a été ensuite dissoute.

Jan Leike a déclaré que son départ est lié au fait qu'OpenAI se préoccupe de moins en moins de la sécurité de ses systèmes d'IA. Il a déclaré : « la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants ». Voici une liste non exhaustive des départs :

• Ilya Sutskever : il était à la fois cofondateur et scientifique en chef d'OpenAI, ainsi que le chef de l'équipe Superalignment. Compte tenu de son rôle dans la tentative de coup d'État d'Altman, il est difficile de savoir s'il a été gentiment mis à la porte ou s'il est parti de son propre chef ;
• Jan Leike : il était chargé (avec Sutskever) de veiller à ce que les systèmes d'IA d'OpenAI soient alignés sur les intérêts humains et avait été désigné en 2023 par le magazine Time comme l'une des 100 personnes les plus influentes dans le domaine de l'IA ;
• Evan Morikawa : il était ingénieur en chef chez OpenAI. Il a quitté l'entreprise en juillet 2024 après trois ans et demi d'activité. Il prévoit de lancer une nouvelle initiative avec des vétérans de Boston Dynamics et DeepMind ;
• Daniel Kokotajlo : ancien membre de l'équipe de sécurité d'OpenAI, il a quitté l'entreprise en février 2024. Il a depuis critiqué publiquement OpenAI, déclarant qu'il avait quitté l'entreprise, car il ne croyait plus qu'elle se comporterait de manière responsable à l'ère de l'AGI ;
• Leopold Aschenbrenner : il était aussi membre de l'équipe Superalignment, travaillant avec Ilya Sutskever et Jan Leike. Son départ n'était cependant pas une démission. Il a été licencié pour avoir prétendument divulgué des informations à des journalistes ;
• Andrey Karpathy : membre fondateur d'OpenAI, Karpathy avait déjà quitté l'organisation une fois, mais était revenu en février 2023. Cela n'a duré qu'un an, lorsqu'il est reparti, bien que dans un tweet, il ait déclaré que ce n'était pas le résultat d'un événement, d'un problème ou d'un drame particulier ;
• Logan Kilpatrick : il a quitté le navire pour un poste chez Google. Il a confié que les changements intervenus au sein de l'entreprise étaient en partie à l'origine de son départ, soulignant que la croissance explosive avait modifié la façon de travailler d'OpenAI ;
• Pavel Izmailov : le poste de Pavel Izmailov aurait été supprimé en même temps que celui de Leopold Aschenbrenner. Tous deux étaient de solides alliés de Ilya Sutskever. Ni son nom ni celui de Leopold Aschenbrenner ne figuraient sur la liste des employés qui ont manifesté leur soutien à Sam Altman lors du chaos de novembre 2023 ;
• Diane Yoon : elle a quitté OpenAI au début du mois de mai 2024, démissionnant de son poste de vice-présidente du personnel. Aucune raison n'a été donnée pour ce départ, mais Diane Yoon était l'un des cadres les plus anciens de l'entreprise ;
• Chris Clark : il a également quitté OpenAI début juillet 2024. Il était responsable des initiatives stratégiques et à but non lucratif.
• William Saunders : il a quitté OpenAI en février 2024, abandonnant son poste de manager au sein de l'équipe Superalignment, parce que la vision est similaire à celle derrière le Titanic : s'empresser de lancer le plus gros navire qui va finir par couler faute de sécurité.

Dans un post sur X, Jan Leike a ajouté qu'il était en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps, jusqu'à ce que les deux partis atteignent un point de rupture. Ilya Sutskever n'a pas critiqué publiquement l'approche d'OpenAI en matière de sécurité de l'IA, mais a constamment souligné les défis liés à la sécurité et l'alignement de l'IA, et aurait été l'un des moteurs de l'éviction de Sam Altman en 2023.

Plusieurs anciens employés d'OpenAI ont critiqué l'approche d'OpenAI en matière de sécurité de l'IA. Daniel Kokotajlo, ancien chercheur en gouvernance d'OpenAI, a déclaré que près de la moitié du personnel d'OpenAI qui se concentrait autrefois sur les risques à long terme d'une AGI avait quitté l'entreprise.

Un lanceur d'alerte d'OpenAI retrouvé mort dans son appartement à San Francisco

En novembre 2024, Suchir Balaji, 26 ans, a été retrouvé mort à son domicile de San Francisco, trois mois seulement après avoir accusé OpenAI de violer les lois sur les droits d'auteur dans le cadre du développement de ChatGPT. Suchir Balaji était également un ancien employé d'OpenAI et avait rejoint l'entreprise avec la conviction qu'elle avait le potentiel de bénéficier à la société. Mais selon ses propres déclarations, il avait été déçu par les pratiques d'OpenAI.

La police a déclaré n'avoir trouvé aucune preuve d'acte criminel sur les lieux et a conclu à un suicide, mais les parents de Suchir Balaji, Poornima Ramarao et Balaji Ramamurthy, continuent de s'interroger sur les circonstances de la mort de leur fils. Selon les parents de Suchir Balaji, il y avait du sang dans la salle de bain de leur fils lorsqu'il a été retrouvé mort, ce qui les a amenés à penser qu'il y avait eu lutte. Ils ont demandé une nouvelle enquête sur l'affaire.

Suchir Balaji aurait quitté OpenAI, car « il ne voulait plus contribuer à des technologies qui, selon lui, apporteraient à la société plus de mal que de bien ». Des rapports ont ensuite révélé qu'il était cité comme un témoin dans des procès contre OpenAI. Suchir Balaji avait déclaré à l'Associated Press qu'il essaierait de témoigner dans les procès de violation de droits d'auteur et qu'il considérait le procès intenté par le New York Times comme « le plus sérieux ».

Les avocats du New York Times ont cité Suchir Balaji dans un dossier déposé au tribunal le 18 novembre 2024 comme quelqu'un qui pourrait avoir des « documents uniques et pertinents » démontrant la violation délibérée des droits d'auteur par OpenAI. Bien sûr, OpenAI rejette les allégations de Suchir Balaji.

Les tribunaux n'ont pas pu auditionner Suchir Balaji et on ne sait pas dans quelle mesure ses déclarations seront admises comme preuves dans les affaires judiciaires après sa mort. Il a également publié un billet de blogue personnel dans lequel il fait part de ses opinions sur le sujet.

Source : Steven Adler

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des avertissements de l'ancien employé d'OpenAI au sujet de l'AGI ?

Voir aussi

La transformation d'OpenAI en une véritable entreprise est en train de la déchirer : trois dirigeants démissionnent, tandis que des informations sur un changement potentiel de structure font surface

Geoffrey Hinton, l'un des parrains de l'IA, explique comment une IA « effrayante» va accroître l'écart de richesse et rendre la société « mauvaise »

Le lanceur d'alerte d'OpenAI décédé était considéré comme un témoin dans des procès contre l'entreprise, il détenait des « documents pertinents » démontrant les violations de droit d'auteur par OpenAI