Un nouveau rapport du New York Times révèle qu'OpenAI a été victime d'une importante violation de données au début de l'année dernière. Un pirate informatique inconnu serait parvenu à infiltrer un forum de discussion interne des employés d'OpenAI et aurait volé des détails sur la conception des technologies d'IA de l'entreprise. Il n'a toutefois pas réussi à pénétrer les systèmes où les modèles GPT sont hébergés et formés. La période de la violation de données correspond au début de la fièvre de l'IA générative après le lancement à succès de ChatGPT. L'entreprise a gardé le silence sur l'incident et certains employés ont soupçonné une opération de la Chine.OpenAI a publié ChatGPT le 30 novembre 2022. Le chatbot a tout de suite suscité un engouement massif et a franchi la barre des 100 millions d'utilisateurs en l'espace de deux mois, devenant à l'époque l'application grand public à la croissance la plus rapide de l'histoire. (ChatGPT a depuis été détrôné par Threads de Meta, qui a atteint cette barre en moins d'une semaine). À la suite de ce succès retentissant, de nombreuses entreprises, dont Google, se sont lancées à l'assaut de l'IA générative pour ne pas être laissées pour compte. Le succès de ChatGPT a également attiré l'attention inquiétante des acteurs de la menace.
Le New York Times rapporte qu'au début de l'année 2023, un pirate informatique a accédé aux systèmes de messagerie interne d'OpenAI et a volé des informations sur les technologies d'IA de l'entreprise. OpenAI aurait révélé l'incident à ses employés, mais pas au public ni aux forces de l'ordre. Selon les sources du rapport, le pirate inconnu a réussi à voler des informations dans les discussions d'un forum en ligne pour les employés d'OpenAI, où ils parlaient des dernières technologies. Heureusement pour l'entreprise, le pirate n'a pas réussi à s'introduire dans les systèmes où les modèles GPT sont hébergés et entraînés.
Deux sources du rapport ont déclaré que certains employés d'OpenAI avaient soulevé la question de savoir si de telles attaques pouvaient être utilisées par des pays comme la Chine pour voler des technologies d'IA. Lorsqu'ils ont été informés de l'incident, certains employés se sont également interrogés sur le sérieux avec lequel l'entreprise prenait en charge la sécurité. Des divisions seraient également apparues parmi les employés au sujet des risques liés à l'IA. Cela conforte les rapports selon lesquels l'année 2023 a été très mouvementée pour OpenAI, dont le PDG Sam Altman a d'ailleurs été licencié temporairement.
En rapport avec l'incident, un ancien responsable du programme technique d'OpenAI a rédigé une note à l'intention du conseil d'administration de l'entreprise, dans laquelle il affirme que celle-ci ne fait pas assez pour empêcher le vol de secrets par des adversaires étrangers. Il s'agit de Leopold Aschenbrenner, qui a fait allusion à la faille de sécurité dans un podcast. Il a été licencié par OpenAI pour avoir divulgué des informations à l'extérieur de l'entreprise et affirme que ce licenciement était motivé par des considérations politiques. Pour mémoire, Aschenbrenner fut un membre de l'équipe "Superalignment" d'OpenAI.
Il était également connu comme un allié de Ilya Sutskever, cofondateur d'OpenAI et ancien responsable de l'équipe Superalignment. Aschenbrenner a été licencié en avril 2024 par OpenAI pour avoir prétendument divulgué des informations à des journalistes. Il a également des liens avec le mouvement de l'altruisme efficace. OpenAI a finalement dissout l'équipe Superalignment après qu'elle a été vidée de tous ses scientifiques chevronnés ; certains ont démissionné à la suite de désaccords avec la direction et d'autres ont été purement et simplement licenciés. Sutskever a lui aussi démissionné sous fond de tensions en mai.
La révélation qu'OpenAI a été victime d'une intrusion et que cela a provoqué des divisions parmi les employés ne fait que s'ajouter à la liste croissante des problèmes de l'entreprise. Depuis la fin de l'année dernière, nous avons vu le PDG Sam Altman se battre avec un ancien conseil d'administration et en sortir vainqueur ; l'équipe Superalignment, qui était censée aligner les modèles de l'entreprise sur les valeurs humaines, a été vidée de ses talents et finalement dissoute ; et d'anciens employés ont accusé OpenAI d'avoir exercé des représailles contre eux après qu'ils ont dénoncé des dysfonctionnements internes.
OpenAI a réagi aux allégations d'Aschenbrenner en déclarant que son licenciement n'était pas lié aux préoccupations qu'il avait soulevées. Bien qu'il y ait généralement peu de preuves que l'IA pose des risques significatifs pour la sécurité nationale, les experts restent préoccupés par les menaces futures, dont les armes biologiques ou les cyberattaques. Daniela Amodei, cofondatrice d'Anthropic, a déclaré que le vol d'informations secrètes d'OpenAI ne constitue pas à l'heure actuelle une grande menace pour la sécurité nationale. Mais à mesure que cette technologie devient plus performante, la situation pourrait changer.
Des acteurs comme OpenAI, Anthropic et Google affirment qu'ils ajoutent des mesures de sécurité à leurs systèmes d'IA afin d'éviter les abus. Pendant ce temps, les régulateurs fédéraux et les législateurs envisagent des réglementations pour atténuer les dommages potentiels des technologies d'IA. OpenAI a pris des mesures pour renforcer la sécurité, notamment en créant un comité de sûreté et de sécurité dirigé par l'ancien directeur de la NSA, Paul Nakasone. Ce dernier a rejoint le conseil d'administration d'OpenAI le mois dernier ; une nomination controversée qui a suscité des interrogations dans la communauté.
OpenAI a déclaré dans un communiqué : « les idées de Nakasone contribueront aux efforts d'OpenAI pour mieux comprendre comment l'IA peut être utilisée pour renforcer la cybersécurité en détectant et en répondant rapidement aux menaces de cybersécurité. Ses premières responsabilités consisteront à rejoindre le comité de sûreté et de sécurité du conseil d'administration, où il prendra des décisions critiques en matière de sûreté et de sécurité pour tous les projets et opérations d'OpenAI ». De nombreux critiques refusent l'idée d'un choix délibéré de la part d'OpenAI et affirment qu'il s'agit d'un choix imposé.
La course mondiale à l'IA se poursuit, la Chine produisant près de la moitié des meilleurs chercheurs en IA du monde. Certains experts prédisent que la Chine pourrait dépasser les États-Unis en matière de capacités d'IA. Clément Delangue, de Hugging Face, a souligné la probabilité que la Chine prenne la tête du peloton. Les responsables de la sécurité nationale et les chercheurs préconisent des contrôles plus stricts sur le développement de l'IA afin de prévenir les risques futurs.
Alors que le paysage de l'IA évolue, le débat sur ses risques et sa gestion éthique persiste. Aucune des entreprises engagées dans la course ne maîtrise réellement la technologie. Mais encore, elles sont incapables de résoudre les problèmes connus, notamment l'hallucination et la détection des contenus générés par l'IA.
Et vous ?
Quel est votre avis sur le sujet ? Quels impacts cette violation de données pourrait-elle avoir sur OpenAI ? Cette violation de données constitue-t-elle un risque pour la sécurité nationale des États-Unis ? Pensez-vous qu'OpenAI a été contraint d'embaucher l'ancien directeur de la NSA après la violation de données ? Que pensez-vous des désaccords qui existent au sein d'OpenAI depuis l'année dernière ? Menacent-ils la survie de l'entreprise à long terme ?Voir aussi
Greg Brockman et Sam Altman répondent aux critiques de Jan Leike. Après avoir quitté son poste de chef de l'équipe de Superalignment, il a révélé que « mon équipe a navigué à contre-courant » OpenAI ajoute l'ancien directeur de la NSA Paul Nakasone à son conseil d'administration et à son comité de sécurité, est-ce un choix délibéré ou un ordre ? OpenAI a vu démissionner trois des cadres chargés de s'assurer que les humains sont à l'abri de la superintelligence. Ilya Sutskever, cofondateur d'OpenAI, a tenté de faire éjecter Sam Altman l'année dernière