OpenAI crée un comité de sécurité pour la formation de son nouveau modèle d'IAOpenAI effectue des recherches sur l'intelligence artificielle dans le but de développer une intelligence générale artificielle "sûre et bénéfique", qu'elle définit comme "des systèmes hautement autonomes qui surpassent les humains dans la plupart des travaux économiquement utiles". L'organisation se compose de la structure à but non lucratif OpenAI, Inc. et de sa filiale à but lucratif, OpenAI Global, LLC. Microsoft a fourni à OpenAI Global, LLC un investissement d'un milliard de dollars en 2019 et un investissement de 10 milliards de dollars en 2023.
OpenAI a formé un comité de sûreté et de sécurité qui sera dirigé par des membres du conseil d'administration, dont le PDG Sam Altman, alors qu'elle commence à former son prochain modèle d'intelligence artificielle. Les directeurs Bret Taylor, Adam D'Angelo et Nicole Seligman dirigeront également le comité, a indiqué OpenAI.
Les chatbots d'OpenAI, soutenus par Microsoft, dotés de capacités d'IA générative, telles que l'engagement dans des conversations de type humain et la création d'images basées sur des invites textuelles, ont suscité des inquiétudes en matière de sécurité à mesure que les modèles d'IA devenaient puissants. Le nouveau comité sera chargé de formuler des recommandations au conseil d'administration sur les décisions relatives à la sûreté et à la sécurité des projets et des opérations d'OpenAI.
"La création d'un nouveau comité de sécurité signifie que l'OpenAI est en passe de devenir une entité commerciale, alors qu'elle n'était jusqu'à présent qu'une entité à but non lucratif", a déclaré Gil Luria, directeur général de D.A. Davidson. "Cela devrait permettre de rationaliser le développement des produits tout en maintenant la responsabilité."
Les anciens scientifiques en chef Ilya Sutskever et Jan Leike, qui dirigeaient l'équipe Superalignment d'OpenAI, chargée de veiller à ce que l'IA reste alignée sur les objectifs visés, ont quitté l'entreprise. OpenAI a dissous l'équipe Superalignment au début du mois de mai, moins d'un an après sa création, certains membres de l'équipe ayant été réaffectés à d'autres groupes.
La première tâche du comité sera d'évaluer et de développer les pratiques de sécurité existantes d'OpenAI au cours des 90 prochains jours, après quoi il partagera ses recommandations avec le conseil d'administration. Après l'examen du conseil, OpenAI partagera publiquement une mise à jour des recommandations adoptées, a déclaré la société.
Parmi les autres membres du comité figurent Jakub Pachocki, scientifique en chef nouvellement nommé, et Matt Knight, responsable de la sécurité. L'entreprise consultera également d'autres experts, dont Rob Joyce, ancien directeur de la cybersécurité de l'Agence nationale de sécurité des États-Unis, et John Carlin, ancien fonctionnaire du ministère de la justice.
OpenAI n'a pas fourni d'autres détails sur le nouveau modèle "frontière" qu'elle est en train de former, si ce n'est qu'il amènera ses systèmes au "prochain niveau de capacités sur notre chemin vers l'AGI". Au début du mois de mai, elle a annoncé un nouveau modèle d'IA capable d'effectuer des conversations vocales réalistes et d'interagir avec du texte et des images.
Et vous ?
Pensez-vous que cette initiative est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
OpenAI crée une équipe chargée d'étudier les risques catastrophiques liés à l'IA, y compris les menaces nucléaires OpenAI, xAI, Google, Meta et d'autres entreprises d'IA s'engagent sur la sécurité, promettant de ne pas déployer d'IA si les risques graves ne peuvent pas être pris en compte et atténués OpenAI publie ses intentions dans le domaine de la sécurité en Intelligence artificielle : cela sera-t'il suffisant ?