OpenAI présente la version initiale de son Cadre de préparation (Preparedness Framework), qui décrit les processus de l'entreprise pour suivre, évaluer, prévoir et se protéger contre les risques catastrophiques posés par les modèles d'IA de plus en plus puissants. L'entreprise estime que l'étude actuelle des risques liés à l'IA d'avant-garde est loin d'être à la hauteur de ce qui est possible et de ce qu'il faudrait faire, et envisage de combler cette lacune et de systématiser la réflexion sur la sécurité à travers son cadre de préparation.OpenAI dispose de plusieurs équipes chargées de la sécurité et de la politique qui travaillent ensemble pour atténuer les risques liés à l'IA. L'équipe Systèmes de Sécurité (Safety Systems) se concentre sur l'atténuation de l'utilisation abusive des modèles et des produits actuels tels que ChatGPT. L'équipe Superalignment établit les bases de la sécurité des modèles superintelligents qui verront le jour dans un avenir plus lointain. Et l'équipe de Préparation (Preparedness) cartographie les risques émergents des modèles d'avant-garde et se connecte aux équipes Systèmes de Sécurité, Superalignment ainsi qu'aux autres équipes chargées de la sécurité et de la politique au sein d'OpenAI.
Le cadre de préparation doit être guidé par la science et fondée sur des faits
OpenAI investit dans la conception et l'exécution d'évaluations rigoureuses des capacités et des prévisions afin de mieux détecter les risques émergents. En particulier, il s'agit de dépasser les scénarios hypothétiques et de passer à des mesures concrètes et à des prédictions basées sur des données. Il est également important de regarder au-delà de ce qui se passe aujourd'hui pour anticiper ce qui se passera à l'avenir. Ce travail est tellement essentiel pour OpenAI qu'elle fait appel à ses meilleurs talents techniques pour l'accomplir.
OpenAI est fondée sur l'association étroite de la science et de l'ingénierie, et le cadre de préparation apporte cette même approche au travail sur la sécurité. Des enseignements sont tirés des déploiements dans le monde réel et sont mis à profit pour atténuer les risques émergents. Pour que le travail sur la sécurité suive le rythme de l'innovation à venir, il ne suffit pas d'en faire moins, il faut continuer à apprendre par le biais d'un déploiement itératif.
Cadre de préparation (en version bêta)
Le Cadre de préparation d'OpenAI présente l'approche suivante pour développer et déployer les modèles d'avant-garde de l'entreprise en toute sécurité :
Des évaluations seront effectuées et des "scorecards" seront continuellement mis à jour pour les modèles développés par OpenAI. Tous les modèles frontières seront évalués, y compris à chaque multiplication par deux de la capacité de calcul effective pendant les exercices d'entraînement. Les modèles seront poussés jusqu'à leurs limites. Ces résultats contribueront à l'évaluation des risques liés aux modèles d'avant-garde et à la mesure de l'efficacité des mesures d'atténuation proposées. L'objectif étant de sonder les limites spécifiques de ce qui n'est pas sûr afin d'atténuer efficacement les risques révélés. Pour suivre les niveaux de sécurité des modèles, des tableaux de bord des risques et des rapports détaillés seront produits.
Des seuils de risque seront établis pour déclencher des mesures de sécurité de base. Ces seuils ont été définis en fonction des catégories initiales suivantes : cybersécurité, CBRN (menaces chimiques, biologiques, radiologiques et nucléaires), persuasion et autonomie du modèle. Quatre niveaux de risque de sécurité sont alors prévus, et seuls les modèles dont le score après atténuation est égal ou inférieur à "moyen" peuvent être déployés ; seuls les modèles dont le score après atténuation est égal ou inférieur à "élevé" peuvent être développés plus avant. Des mesures de sécurité supplémentaires seront également mises en œuvre pour les modèles présentant des niveaux de risque élevés ou critiques (avant l'adoption de mesures d'atténuation).
Une équipe spécialisée sera mise en place pour superviser les travaux techniques et une structure opérationnelle sera établie pour la prise de décision en matière de sécurité. L'équipe chargée de la préparation dirigera les travaux techniques afin d'examiner les limites des capacités des modèles d'avant-garde, d'effectuer des évaluations et de synthétiser les rapports. Ce travail technique est essentiel pour éclairer la prise de décision d'OpenAI en matière de développement et de déploiement de modèles sûrs. OpenAI est en train de créer un groupe consultatif interfonctionnel sur la sécurité qui examinera tous les rapports et les enverra simultanément à la direction et au conseil d'administration. Bien que la direction soit le décideur, le conseil d'administration a le droit d'annuler les décisions.
OpenAI développera des protocoles pour renforcer la sécurité et la responsabilité externe. L'équipe Preparedness organisera régulièrement des exercices de sécurité pour tester les pressions exercées par l'activité et la culture de l'entreprise. Certains problèmes de sécurité peuvent apparaître rapidement et il sera alors possible de marquer les problèmes urgents afin d'y répondre rapidement. L'entreprise estime qu'il est essentiel que ce travail reçoive un retour d'information de la part de personnes extérieures à OpenAI et s'attend à ce que des audits soient menés par des tierces parties qualifiées et indépendantes. OpenAI continuera à faire évaluer ses modèles par des tiers, et prévoit de partager les mises à jour en externe.
OpenAI contribuera à réduire d'autres risques connus et inconnus en matière de sécurité. Une collaboration étroite avec des parties externes ainsi qu'avec des équipes internes telles que Safety Systems sera mise en place afin de suivre les utilisations abusives dans le monde réel. OpenAI travaillera également avec l'équipe Superalignment sur le suivi des risques émergents liés au désalignement. L'entreprise est par ailleurs à l'avant-garde d'une nouvelle recherche visant à mesurer l'évolution des risques à mesure que les modèles s'étendent, afin d'aider à prévoir les risques à l'avance, à l'instar de ce qui a été fait précédemment avec les lois de mise à l'échelle. Enfin, un processus continu sera mis en œuvre pour tenter de mettre en évidence les "inconnues" émergentes.
Il s'agit d'un résumé des principaux éléments du cadre de préparation (Beta), et vous êtes encouragés à lire la version complète. Ce cadre est la première version bêta adoptée par OpenAI et se veut un document évolutif. Il est prévu de le mettre à jour régulièrement au fur et à mesure des connaissances et des réactions que reçues.
Source : "Preparedness" (OpenAI)
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi
OpenAI estime que la superintelligence artificielle AGI pourrait arriver dans les 10 prochaines années, mais demande de l'aide pour en contrôler les risques en annonçant un programme de subventions OpenAI publie ses intentions dans le domaine de la sécurité en Intelligence artificielle, cela sera-t'il suffisant ? OpenAI crée une équipe chargée d'étudier les risques catastrophiques liés à l'IA, y compris les menaces nucléaires 
)
Envoyé par berceker united
