OpenAI et son PDG Sam Altman sont interpellés au sujet d'allégations selon lesquelles l'entreprise étouffe les risques liés à la sécurité de ses grands modèles de langage. L'entreprise utiliserait notamment des accords contraignants et des menaces de représailles afin de réduire ses employés au silence, les empêchant de divulguer des informations aux autorités. OpenAI fait désormais face à une pression croissante de la part des législateurs américains pour cesser d'appliquer ces accords et prouver qu'il ne cache pas les risques liés à l'IA. La pression s'accroît sur OpenAI alors que Sam Altman est de plus en plus controversé dans la communauté de l'IA.Un sénateur demande à OpenAI de prouver qu'il ne réduit pas son personnel au silence
Des employés d'OpenAI ont déposé cette année une plainte contre leur employeur auprès de la Securities and Exchange Commission (SEC) des États-Unis. La plainte accuse OpenAI d'avoir violé les droits des lanceurs d'alerte en les réduisant au silence par le biais d'accords contraignants et des menaces de représailles. Elle indique qu'OpenAI a illégalement interdit à ses employés de divulguer aux régulateurs des informations sur les risques de sa technologie pour l'humanité. Ces accusations ont attiré l'attention des législateurs du Congrès américain qui demandent des explications à OpenAI et la suppression de ces accords.
Dans une lettre adressée à OpenAI, le sénateur Chuck Grassley (R-Iowa) a exigé "des preuves qu'OpenAI n'exige plus d'accords qui pourraient empêcher ses employés de faire des divulgations protégées aux régulateurs gouvernementaux". Grassley a demandé à OpenAI de produire des accords actuels d'emploi, d'indemnités de licenciement, de non-dénigrement et de non-divulgation pour rassurer le Congrès sur le fait que les contrats ne découragent pas les divulgations.
Le sénateur a déclaré : « c'est essentiel, pour qu'il soit possible de compter sur les lanceurs d'alerte qui exposent les menaces émergentes afin d'aider à élaborer des politiques d'IA efficaces qui protègent contre les risques existentiels de l'IA à mesure que les technologies progressent ». Selon la lettre, ce n'est pas la première fois que Grassley demande ces documents à OpenAI. Il l'aurait apparemment demandé deux fois déjà sans obtenir de réponse de la part d'OpenAI.
« Il ne suffit pas de prétendre avoir fait des "mises à jour". Altman doit fournir des dossiers et des réponses à mes demandes de surveillance afin que le Congrès puisse évaluer avec précision si OpenAI protège adéquatement ses employés et ses utilisateurs », affirme Grassley. Selon son porte-parole Clare Slattery, jusqu'à présent, OpenAI n'a pas répondu à la demande la plus récente d'envoi de documents. Le silence de l'entreprise sur les demandes suscite des inquiétudes.
La lettre de Grassley intervient quelques jours seulement après que cinq sénateurs ont envoyé à Altman une lettre exigeant des informations sur la manière dont l'entreprise respecterait ses "engagements publics" afin de garantir que sa technologie d'IA ne cause pas de dommages, par exemple en apprenant aux utilisateurs à fabriquer des armes biologiques ou en aidant les pirates informatiques à mettre au point de nouveaux types de cyberattaques.
En outre, les employés craignent qu'OpenAI fasse passer le profit avant la sécurité. Des rapports indiquent en effet qu'OpenAI a précipité la sortie de son dernier modèle d'IA, GPT-4 Omni, pour respecter la date de sortie fixée au mois de mai. Les dirigeants de l'entreprise ont procédé au lancement malgré les craintes des employés concernant le calendrier, et ont accéléré les tests de sécurité complets, mettant à mal l'engagement de sécurité pris auprès de la Maison Blanche.
OpenAI invité à faire preuve de transparence sur ses pratiques en matière de sécurité
En plus de demander les accords d'employés récemment mis à jour par OpenAI, Grassley invite OpenAI à divulguer le nombre total de demandes qu'il a reçues de la part d'employés cherchant à faire "des divulgations fédérales" depuis 2023. Grassley veut savoir quelles informations les employés voulaient divulguer aux autorités et si OpenAI a effectivement approuvé leurs demandes. Dans le même ordre d'idées, le sénateur a demandé à OpenAI de confirmer le nombre d'enquêtes que la SEC a ouvertes sur OpenAI depuis 2023. OpenAI accusé d'avoir relégué la question de la sécurité au second plan depuis plusieurs années.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">"as we said last july, we’re committed to allocating at least 20% of the computing resources to safety efforts across the entire company."<br><br>1) We've heard this promise before. Talk is cheap. Your top safety-focused employees quit and became whistleblowers because they don't trust…</p>— AI Notkilleveryoneism Memes ⏸️ (@AISafetyMemes) <a href="https://twitter.com/AISafetyMemes/status/1818870314811658682?ref_src=twsrc%5Etfw">August 1, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Ensemble, ces documents permettraient de de savoir si les employés d'OpenAI sont potentiellement toujours réduits au silence pour faire des divulgations fédérales, quels types de divulgations OpenAI nie et à quel point la SEC surveille de près les efforts apparents d'OpenAI pour cacher les risques de sécurité. « Il est crucial qu'OpenAI s'assure que ses employés peuvent fournir des divulgations protégées sans restrictions illégales », a écrit Grassley dans sa lettre.
Le sénateur a demandé une réponse à OpenAI avant le 15 août afin que le Congrès puisse mener une surveillance objective et indépendante sur les protocoles de sécurité et les accords de non-divulgation d'OpenAI. Mais les appels à plus de transparence de la part d'OpenAI vont au-delà des législateurs. La veille du jour où Grassley a envoyé sa lettre, Altman a écrit sur X affirmant qu'OpenAI avait consacré d'amples ressources aux efforts de sécurité depuis juillet.
« Comme nous l'avons dit en juillet dernier, nous nous sommes engagés à allouer au moins 20 % des ressources informatiques aux efforts de sécurité dans l'ensemble de l'entreprise », a écrit Altman. Cependant, les utilisateurs X ont ajouté une note de la communauté qui a étiqueté le message d'Altman comme trompeur au milieu des protestations du public dans les commentaires. L'annonce d'Altman fait étrangement écho à un rapport qui dit exactement le contraire.
En effet, un rapport paru en mai indiquait qu'Altman et OpenAI avaient promis en 2023 de consacrer 20 % de la puissance de calcul de l'entreprise à la lutte contre les formes d'IA malveillantes et la sécurité de ses modèles d'IA. Mais les dirigeants de l'entreprise n'ont jamais tenu cette promesse. À peine un an plus tard, l'équipe chargée de ces travaux a été dissoute et OpenAI semble donner la priorité aux profits et au lancement de nouveaux produits plutôt qu'à la sécurité.
À plusieurs reprises, l'équipe aurait vu ses demandes d'accès aux unités de traitement graphique rejetées par la direction d'OpenAI, même si le budget total de l'équipe ne s'est jamais approché du seuil de 20 % promis. OpenAI n'a pas réagi à ces allégations, mais elles remettent en question le sérieux avec lequel il a honoré sa promesse sur la sécurité de ses produits d'IA. Et l'on pourrait aussi se demander si d'autres engagements publics d'OpenAI sont dignes de confiance.
Les actions d'OpenAI remettent en question ses engagements en matière de sécurité
Les utilisateurs de X ont demandé Altman plus de détails sur ce que les efforts de sécurité d'OpenAI impliquent désormais. Dans une lettre du 31 juillet répondant à cinq autres sénateurs posant des questions sur la sécurité de l'IA, OpenAI a détaillé ses efforts en matière de sécurité. OpenAI a également clarifié que l'affirmation d'Altman sur X. « Pour faire avancer notre programme de recherche sur la sécurité, nous nous sommes engagés en juillet dernier à allouer au moins 20 % des ressources informatiques que nous avions obtenues à la sécurité de l'IA sur une période de plusieurs années », explique OpenAI aux sénateurs.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Hey Sam, "Safety" is a broad term. Can you go into more detail about what this work actually is, what it does, what it means to the consumers of the service?</p>— Jonathan Baker (@CloudKickOff) <a href="https://twitter.com/CloudKickOff/status/1818868496044036304?ref_src=twsrc%5Etfw">August 1, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
OpenAI précise toutefois : « cet engagement a toujours été destiné à s'appliquer aux efforts de sécurité déployés dans l'ensemble de notre entreprise, et pas seulement à une équipe spécifique ». Cela reste quelque peu confus puisqu’OpenAI avait explicitement déclaré que "l'entreprise consacrait 20 % du calcul qu’elle a obtenu à ce jour à la résolution du problème de l'alignement des superintelligences au cours des quatre prochaines années". À l'époque, OpenAI avait déclaré que son principal pari de recherche fondamentale était son ancienne équipe Superalignment, qui avait besoin de ces ressources informatiques.
Dans la lettre aux sénateurs, le directeur de la stratégie Jason Kwon d'OpenAI a déclaré aux législateurs que l'entreprise se prémunit contre les risques en collaborant avec des experts externes pour évaluer profondément les risques à ses modèles. Cela inclut la consultation de plus de 100 experts externes qui ont aidé à évaluer les risques associés à notre dernier modèle, GPT-4o. Pour les employés travaillant sur de nouvelles fonctionnalités ou de nouveaux modèles qui craignent encore des représailles pour avoir soulevé des problèmes de sécurité, Kwon a déclaré qu'OpenAI a mis en place une ligne d'intégrité en mars.
Grâce à ce canal, les employés peuvent signaler anonymement leurs préoccupations lorsqu'ils ne se sentent pas à l'aise pour soulever des problèmes par le biais d'autres canaux existants. Bien qu'OpenAI ait déclaré que les employés peuvent parler librement de toute préoccupation, il est clair que certaines informations ne peuvent toujours pas être partagées si OpenAI estime qu'elles présentent un risque pour la sécurité. Dans sa lettre, Kwon explique ce qui suit :
« OpenAI continue de faire la distinction entre soulever des préoccupations et révéler des secrets commerciaux de l'entreprise. Cette dernière (sous réserve du droit de faire des divulgations protégées) reste interdite par les accords de confidentialité pour les employés actuels et anciens. Nous pensons que cette interdiction est particulièrement importante étant donné les implications de notre technologie pour la sécurité nationale des États-Unis ».
Compte tenu de cette exception permettant à OpenAI de refuser certaines divulgations fédérales, il semble probable que Grassley tente de savoir si OpenAI refuse des divulgations de manière inappropriée en prétendant protéger des secrets commerciaux. La lettre de Grassley indique clairement que le sénateur s'inquiète des risques liés à l'autorégulation de la sécurité par OpenAI. Précédemment, Altman a été accusé de vouloir s'emparer de la réglementation sur l'IA.
Sam Altman est devenu un personnage "très controversé" dans le domaine de l'IA
Le scénario du licenciement temporaire d'Altman en novembre dernier a révélé certains aspects cachés du personnage. Sa menace d'évider OpenAI à moins que le conseil d'administration ne le réengage, et son insistance à remplir le conseil d'administration avec de nouveaux membres biaisés en sa faveur ont révélé au grand jour sa détermination à conserver le pouvoir et à éviter les contrôles futurs. D'anciens collègues et employés ont décrit Altman comme un manipulateur qui tient un double langage : par exemple, c'est quelqu'un qui affirme vouloir donner la priorité à la sécurité, mais toutes ses actions le contredisent.
Selon les anciens collègues et employés, tout cela a conduit à une perte progressive de la confiance du public dans OpenAI et dans la capacité de l'entreprise à respecter les engagements pris lors de sa création. D'ailleurs, Elon Musk, qui a cofondé OpenAI en 2015 avec Sam Altman et le chercheur en IA Ilya Sutskever, a publiquement accusé aujourd'hui la société d'avoir rompu ses accords initiaux. Musk, qui a quitté OpenAI depuis 2018 en raison de désaccords, accuse OpenAI d'avoir abandonné son objectif initial de développer une IA qui bénéficierait à toute l'humanité afin de poursuivre plutôt un succès commercial.
En outre, Altman met en avant la question de la sécurité, mais a vidé OpenAI de la totalité des membres de l'équipe Superalignment qui était chargée d'assurer la sécurité des modèles d'IA de l'entreprise. OpenAI a fait face à une vague impressionnante de démissions depuis le retour d'Altaman après son licenciement, et les témoignages de certaines personnes ayant quitté le navire décrivent une atmosphère toxique et une recherche effrénée du profit au détriment de la sécurité. Après sa démission, Jan Leike, ancien membre de l'équipe Superalignment, a partagé sur X les difficultés que son équipe a rencontrées.
« Se retirer de ce travail a été l'une des choses les plus difficiles que j'aie jamais faites, car il est urgent de trouver comment diriger et contrôler des systèmes d'intelligence artificielle beaucoup plus intelligents que nous. J'ai rejoint la société parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche. Cependant, j'ai été en désaccord avec la direction d'OpenAI sur les priorités fondamentales de l'entreprise pendant un certain temps, jusqu'à ce que nous ayons finalement atteint un point de rupture. Au cours des derniers mois, mon équipe a navigué à contre-courant », a écrit Jan Leike.
Sources : lettre du sénateur américain Chuck Grassley (PDF), OpenAI (PDF)
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des allégations portées contre OpenAI et Sam Altman ? Pourquoi l'entreprise peine-t-elle à divulguer les documents exigés par le sénateur ? Pensez-vous qu'OpenAI utilise l'argument des secrets commerciaux pour museler ses employés ?Voir aussi
Des lanceurs d'alerte affirment qu'OpenAI a illégalement interdit à son personnel de divulguer les risques de sécurité liés à son IA, en s'appuyant sur des accords contraignants et des menaces de représailles Sam Altman et OpenAI ont promis de consacrer 20 % de la puissance de calcul de l'entreprise à la lutte contre les formes d'IA malveillantes, mais n'ont jamais tenu cette promesse Sam Altman lance un appel aux armes pour faire en sorte que l'"IA démocratique" l'emporte sur l'"IA autoritaire", mais il cherche à lever des milliards dans les régimes autocratiques du Moyen-Orient 
Envoyé par Anthony
