OpenAI, un laboratoire fondé à l'origine pour développer une IA alignée sur les valeurs humaines et pouvant être contrôlée en toute sécurité, semble se détourner de son but initial. Et en 2023, pour montrer à quel point l'entreprise prenait cette vision au sérieux, elle a publiquement promis d'y consacrer jusqu'à 20 % de ses ressources informatiques disponibles à l'époque. Mais à peine un an plus tard, l'équipe chargée de ces travaux a été dissoute et OpenAI semble désormais donner la priorité aux profits et au lancement de nouveaux produits plutôt qu'à la sécurité de l'IA. La startup poursuit l'AGI à tout prix et a récemment lancé un assistant d'IA très controversé.L'équipe Superalignment d'OpenAI victime de la course effrénée à l'AGI et aux profits
La semaine dernière, parallèlement au lancement de GPT-4o, le modèle d'IA le plus puissant à ce jour développé par OpenAI, l'entreprise a dissous son équipe "Superalignment". Créée en juillet 2023 et codirigée par Ilya Sutskever et Jan Leike, l'équipe était chargée d'atténuer les risques liés à une IA forte, tels que la possibilité qu'elle devienne "rebelle", et s'assurer qu'elle est alignée sur les valeurs et les objectifs humains. Il s'agit d'un aspect essentiel de la sécurité et de la gouvernance de l'IA. L'entreprise s'était publiquement engagé 20 % de ses ressources informatiques disponibles à l'époque. Mais il n'en est rien aujourd'hui.
L'équipe n'a pas survécu aux changements profonds intervenus chez OpenAI depuis la fin de l'année dernière et sa quête effrénée de l'AGI. L'équipe aurait été dissoute quelques jours après que ses dirigeants, Ilya Sutskever et Jan Leike, ont annoncé leur démission en début de semaine. Sutskever a déclaré dans son message qu'il était "confiant dans le fait qu'OpenAI construira une IA à la fois sûre et bénéfique" sous la direction actuelle. En outre, des sources familières avec le travail de l'équipe ont rapporté qu'OpenAI n'a jamais respecté son engagement de fournir à l'équipe jusqu'à 20 % de toute sa puissance de calcul.
Au contraire, à plusieurs reprises, l'équipe aurait vu ses demandes d'accès aux unités de traitement graphique (GPU), les puces informatiques spécialisées nécessaires à l'entraînement et à l'exécution des applications d'IA, rejetées par la direction d'OpenAI, même si le budget informatique total de l'équipe ne s'est jamais approché du seuil de 20 % promis. OpenAI n'a pas commenté ces allégations, mais elles remettent en question le sérieux avec lequel OpenAI a honoré sa promesse publique et la sécurité de ses produits d'IA. Et l'on pourrait aussi se demander si d'autres engagements publics d'OpenAI sont dignes de confiance.
Bob McGrew, vice-président de la recherche chez OpenAI, est le cadre supérieur qui a informé l'équipe que ces demandes étaient refusées, mais, selon les sources, d'autres personnes au sein d'OpenAI, y compris la directrice de la technologie Mira Murati, ont été impliquées dans la prise de décision. L'équipe a publié un article détaillant ses expériences pour réussir à faire en sorte qu'un modèle d'IA moins puissant contrôle un modèle plus puissant en décembre 2023. Mais bien qu'elle ait mené quelques recherches, les sources indiquent que le manque de puissance de calcul a entravé les idées les plus ambitieuses de l'équipe.
Ilya Sutskever, cofondateur d'OpenAI et ancien directeur scientifique, a annoncé son départ la semaine dernière. Il est très craintif des risques liés à l'IA et a été l'un des principaux artisans de la brève éviction de Salm Altman du poste de PDG d'OpenAI en novembre dernier. Les raisons de cette éviction n'ont jamais été éclaircies publiquement, mais la rumeur indique qu'Altman a été éjecté par des personnes préoccupées par le penchant du PDG à lancer de nouveaux produits au détriment de la sécurité. L'affaire a plongé OpenAI dans un chaos momentané, puis Altman est revenu en tant que PDG avec le soutien de Microsoft.
OpenAI semble se préoccuper de moins en moins de la sécurité de ces systèmes d'IA
L'éviction d'Altman a été décidée sans prévenir Microsoft, partenaire majeur de l'entreprise. Jan Leike, chercheur de longue date d'OpenAI, qui codirigeait l'équipe Superalignment a annoncé son départ deux jours après la démission de Sutskever. L'entreprise a ensuite annoncé aux employés restants de l'équipe - qui comptait environ 25 personnes - qu'elle était dissoute et qu'ils étaient réaffectés à d'autres fonctions au sein de l'entreprise. Selon les analystes, ce fut une chute rapide pour une équipe dont OpenAI avait assuré moins d'un an auparavant que son travail était vital pour la société et essentiel pour l'avenir de la civilisation.
But over the past years, safety culture and processes have taken a backseat to...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.