Sam Altman et OpenAI ont promis de consacrer 20 % de la puissance de calcul de l'entreprise à la lutte contre les formes d'IA malveillantes, mais n'ont jamais tenu cette promesse

OpenAI, un laboratoire fondé à l'origine pour développer une IA alignée sur les valeurs humaines et pouvant être contrôlée en toute sécurité, semble se détourner de son but initial. Et en 2023, pour montrer à quel point l'entreprise prenait cette vision au sérieux, elle a publiquement promis d'y consacrer jusqu'à 20 % de ses ressources informatiques disponibles à l'époque. Mais à peine un an plus tard, l'équipe chargée de ces travaux a été dissoute et OpenAI semble désormais donner la priorité aux profits et au lancement de nouveaux produits plutôt qu'à la sécurité de l'IA. La startup poursuit l'AGI à tout prix et a récemment lancé un assistant d'IA très controversé.

L'équipe Superalignment d'OpenAI victime de la course effrénée à l'AGI et aux profits

La semaine dernière, parallèlement au lancement de GPT-4o, le modèle d'IA le plus puissant à ce jour développé par OpenAI, l'entreprise a dissous son équipe "Superalignment". Créée en juillet 2023 et codirigée par Ilya Sutskever et Jan Leike, l'équipe était chargée d'atténuer les risques liés à une IA forte, tels que la possibilité qu'elle devienne "rebelle", et s'assurer qu'elle est alignée sur les valeurs et les objectifs humains. Il s'agit d'un aspect essentiel de la sécurité et de la gouvernance de l'IA. L'entreprise s'était publiquement engagé 20 % de ses ressources informatiques disponibles à l'époque. Mais il n'en est rien aujourd'hui.


L'équipe n'a pas survécu aux changements profonds intervenus chez OpenAI depuis la fin de l'année dernière et sa quête effrénée de l'AGI. L'équipe aurait été dissoute quelques jours après que ses dirigeants, Ilya Sutskever et Jan Leike, ont annoncé leur démission en début de semaine. Sutskever a déclaré dans son message qu'il était "confiant dans le fait qu'OpenAI construira une IA à la fois sûre et bénéfique" sous la direction actuelle. En outre, des sources familières avec le travail de l'équipe ont rapporté qu'OpenAI n'a jamais respecté son engagement de fournir à l'équipe jusqu'à 20 % de toute sa puissance de calcul.

Au contraire, à plusieurs reprises, l'équipe aurait vu ses demandes d'accès aux unités de traitement graphique (GPU), les puces informatiques spécialisées nécessaires à l'entraînement et à l'exécution des applications d'IA, rejetées par la direction d'OpenAI, même si le budget informatique total de l'équipe ne s'est jamais approché du seuil de 20 % promis. OpenAI n'a pas commenté ces allégations, mais elles remettent en question le sérieux avec lequel OpenAI a honoré sa promesse publique et la sécurité de ses produits d'IA. Et l'on pourrait aussi se demander si d'autres engagements publics d'OpenAI sont dignes de confiance.

Bob McGrew, vice-président de la recherche chez OpenAI, est le cadre supérieur qui a informé l'équipe que ces demandes étaient refusées, mais, selon les sources, d'autres personnes au sein d'OpenAI, y compris la directrice de la technologie Mira Murati, ont été impliquées dans la prise de décision. L'équipe a publié un article détaillant ses expériences pour réussir à faire en sorte qu'un modèle d'IA moins puissant contrôle un modèle plus puissant en décembre 2023. Mais bien qu'elle ait mené quelques recherches, les sources indiquent que le manque de puissance de calcul a entravé les idées les plus ambitieuses de l'équipe.

Ilya Sutskever, cofondateur d'OpenAI et ancien directeur scientifique, a annoncé son départ la semaine dernière. Il est très craintif des risques liés à l'IA et a été l'un des principaux artisans de la brève éviction de Salm Altman du poste de PDG d'OpenAI en novembre dernier. Les raisons de cette éviction n'ont jamais été éclaircies publiquement, mais la rumeur indique qu'Altman a été éjecté par des personnes préoccupées par le penchant du PDG à lancer de nouveaux produits au détriment de la sécurité. L'affaire a plongé OpenAI dans un chaos momentané, puis Altman est revenu en tant que PDG avec le soutien de Microsoft.

OpenAI semble se préoccuper de moins en moins de la sécurité de ces systèmes d'IA

L'éviction d'Altman a été décidée sans prévenir Microsoft, partenaire majeur de l'entreprise. Jan Leike, chercheur de longue date d'OpenAI, qui codirigeait l'équipe Superalignment a annoncé son départ deux jours après la démission de Sutskever. L'entreprise a ensuite annoncé aux employés restants de l'équipe - qui comptait environ 25 personnes - qu'elle était dissoute et qu'ils étaient réaffectés à d'autres fonctions au sein de l'entreprise. Selon les analystes, ce fut une chute rapide pour une équipe dont OpenAI avait assuré moins d'un an auparavant que son travail était vital pour la société et essentiel pour l'avenir de la civilisation.

But over the past years, safety culture and processes have taken a backseat to shiny products.

— Jan Leike (@janleike) May 17, 2024

Après avoir démissionné, Leike a publié vendredi une série de messages sur X (anciennement Twitter) dans lesquels il critiquait son ancien employeur, affirmant que "la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants". Il a également déclaré : « ces derniers mois, mon équipe a navigué contre le vent. Parfois, nous avions du mal à obtenir l'accès à la puissance de calcul nécessaire et il devenait de plus en plus difficile de mener à bien cette recherche cruciale ». Plusieurs sources ont confirmé le récit de Leike, notant que le problème s'est aggravé après le chaos de fin novembre.

Sutskever, qui faisait partie du conseil d'administration, avait voté en faveur du licenciement d'Altman, et le conseil d'administration l'avait choisi pour annoncer la nouvelle à Altman. Lorsque le personnel d'OpenAI s'était rebellé en réponse à cette décision, Sutskever avait déclaré qu'il regrettait profondément d'avoir participé au licenciement d'Altman. Finalement, Altman a été réinstallé et Sutskever, avec presque tous les autres membres du conseil d'administration impliqués dans son licenciement, s’est retiré du conseil d'administration. Sutskever n'est jamais retourné travailler chez OpenAI après le retour d'Altman.

Cependant, il n'avait pas officiellement quitté l'entreprise jusqu'à la semaine dernière. Selon un rapport de Fortune, d'autres sources affirment toutefois que les problèmes étaient antérieurs à la participation de Sutskever à l'éviction temporaire d'Altman et qu'ils affectaient le groupe dès le départ. Par ailleurs, bien que certains rapports aient indiqué que Sutskever continuait à codiriger l'équipe Superalignment à distance, des sources familières avec le travail de l'équipe affirment que ce n'était pas le cas et que Sutskever n'avait pas accès au travail du groupe et n'a joué aucun rôle dans la supervision de l'équipe après Thanksgiving.

Pour rappel, Elon Musk, qui a cofondé OpenAI en 2015 avant de quitter l'entreprise sur fond de désaccords sur la direction à prendre, a intenté en mars une action en justice contre la startup d'IA. La plainte, déposée auprès d'un tribunal de San Francisco, vise OpenAI, son PDG Sam Altman et son président Greg Brockman. Dans la plainte, Musk allègue qu'OpenAI s'est écarté de sa mission initiale qui était de construire une IA responsable et utile à tous. Selon Musk, le laboratoire d'IA de San Francisco s'est transformé en une entité de maximisation des profits sous l'égide de Microsoft, qui est son principal bailleur de fonds.

OpenAI perd ses chercheurs en sécurité de l'IA et livre des produits d'IA controversés

Avec le départ de Sutskever, l'équipe Superalignment a perdu la seule personne de l'équipe qui avait suffisamment de pouvoir au sein de l'organisation pour défendre avec succès ses besoins en puissance de calcul. En plus de Leike et Sutskever, OpenAI a perdu au moins six autres chercheurs en sécurité de l'IA au cours des derniers mois. L'un d'entre eux, Daniel Kokotajilo, a déclaré qu'il avait progressivement perdu confiance dans la direction d'OpenAI et dans sa capacité à gérer l'AGI de manière responsable, ce qui l'a poussé à démissionner. Selon les rumeurs, il existe plusieurs désaccords sur la direction de la société.


En outre, OpenAI s'est retrouvé au milieu de polémiques après que l'assistant vocal intégré à ChatGPT a commencé à imiter la voix de célébrités. De nombreuses personnes ont signalé que l'une des voix du chatbot ressemble beaucoup à celle de la compagne d'IA désincarnée de Scarlett Johansson dans le film "Her" de Spike Jonze (2013). En réponse au tollé, OpenAI a suspendu cette voix. La voix de Johansson, appelée Sky, faisait partie du modèle d'IA GPT-4o, lancée la semaine dernière. Le chatbot d'IA mis à jour peut répondre aux questions verbales des utilisateurs afin d'imiter une conversation en temps réel.

Johansson a confié avoir été contactée en septembre dernier par Altman. Il lui a demandé l'autorisation d'utiliser sa voix, mais elle a refusé. Elle a ajouté qu'Altman lui a de nouveau demandé l'autorisation d'utiliser sa voix la semaine dernière, juste avant le lancement de GPT-4o. OpenAI a nié avoir utilisé la voix de Johansson sans son autorisation, expliquant avoir payé une actrice professionnelle pour créer Sky. Mais les affirmations de Johansson ont jeté le doute sur ce point. OpenAI a été accusé d'avoir cloné illégalement la voix de Johansson ou de l'avoir peut-être mélangée avec la voix d'autres actrices pour créer Sky.

Les experts craignent que ce type de technologie exploite les vulnérabilités humaines et renforce certains de nos pires instincts en tant que société. En outre, ils mettent en garde contre ces outils d'IA et affirment qu'ils ne constituent en aucun cas un remède contre la solitude. Et la subtilité émotionnelle accrue de ChatGPT soulève des craintes quant aux abus ou aux contrefaçons profondes. OpenAI dit être conscient de ces risques et s'engage à traiter ces questions au fur et à mesure qu'il développe et améliore sa technologie d'IA. Mais l'entreprise est accusée de vendre ses produits comme des compagnons virtuels obéissants.

Dans le même temps, OpenAI doit aussi faire face à de nombreuses actions en justice pour violation du droit d'auteur. Par exemple, un grand nombre d'éditeurs de presse accusent OpenAI et Microsoft d'avoir récupéré et reproduit illégalement leurs articles pour former ses modèles. Les plaignants allèguent la violation de leurs droits d'auteur, notamment la suppression de l'auteur, du titre et d'autres informations relatives aux droits d'auteur lors de la formation des modèles. Ils demandent des dommages-intérêts et le retrait de leurs contenus des modèles. De son côté, OpenAI demande le rejet de la plupart de ces plaintes.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la dissolution de l'équipe Superalignment par OpenAI ?
Pourquoi OpenAI semble-t-il reléguer la sécurité au second plan dans la course à l'AGI ?
La question de la sécurité ralentissait-elle l'innovation et la livraison de nouveaux produits d'IA ?
Quels impacts la démission des chercheurs en sécurité de l'IA d'OpenAI pourrait-elle avoir sur l'entreprise ?
Que pensez-vous de la récente allégation d'Elon Musk selon laquelle OpenAI a violé ses accords contractuels initiaux ?

Voir aussi

OpenAI suspend la voix de ChatGPT qui ressemble à celle de Scarlett Johansson dans 'Her' et déclare : L'IA "ne devrait pas délibérément imiter la voix distinctive d'une célébrité"

Comment les voix de ChatGPT ont été choisies : OpenAI a travaillé avec des professionnels du casting et de la réalisation de premier plan pour réduire plus de 400 candidatures avant de sélectionner les 5 voix

Scarlett Johansson refuse la proposition d'OpenAI d'utiliser sa voix pour l'intelligence artificielle mais l'entreprise s'en sert quand même : « j'ai été choquée », déclare l'actrice