OpenAI a annoncé aujourd'hui la création d'une nouvelle équipe chargée d'évaluer et d'analyser les modèles d'IA afin de se protéger contre ce qu'elle décrit comme des "risques catastrophiques". L'équipe, appelée Preparedness, sera dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning du MIT. Madry a rejoint OpenAI en mai en tant que "chef de la préparation", selon LinkedIn. Les principales responsabilités de Preparedness seront le suivi, la prévision et la protection contre les dangers des futurs systèmes d'IA, allant de leur capacité à persuader et à tromper les humains (comme dans les attaques de phishing) à leur capacité à générer des codes malveillants.Certaines des catégories de risques que Preparedness est chargé d'étudier semblent plus... farfelues que d'autres. Par exemple, dans un billet de blog, OpenAI cite les menaces "chimiques, biologiques, radiologiques et nucléaires" comme étant les plus préoccupantes en ce qui concerne les modèles d'IA. Le PDG d'OpenAI, Sam Altman, est un pessimiste notoire en matière d'IA. Il exprime souvent ses craintes (que ce soit pour des raisons optiques ou par conviction personnelle) que l'IA "puisse conduire à l'extinction de l'humanité". Mais le fait d'annoncer qu'OpenAI pourrait consacrer des ressources à l'étude de scénarios tout droit sortis de romans dystopiques de science-fiction va franchement plus loin que ce à quoi cet auteur s'attendait.
Dans le cadre de notre mission de construction d'une IA sûre, nous prenons au sérieux l'ensemble des risques de sécurité liés à l'IA, depuis les systèmes actuels jusqu'aux limites les plus éloignées de la superintelligence. En juillet, nous avons rejoint d'autres grands laboratoires d'IA en prenant une série d'engagements volontaires pour promouvoir la sûreté, la sécurité et la confiance dans l'IA. Ces engagements portaient sur une série de domaines de risque, notamment les risques extrêmes qui sont au cœur du sommet britannique sur la sécurité de l'IA. Dans le cadre de nos contributions au sommet, nous avons détaillé nos progrès en matière de sécurité de l'IA, y compris le travail effectué dans le cadre de nos engagements volontaires.
Notre approche de la préparation
Nous pensons que les modèles d'IA d'avant-garde, qui dépasseront les capacités actuellement présentes dans les modèles existants les plus avancés, ont le potentiel de bénéficier à l'ensemble de l'humanité. Mais ils posent également des risques de plus en plus graves. Pour gérer les risques catastrophiques liés à l'IA d'avant-garde, il faudra répondre à des questions telles que :
- Quel est le degré de dangerosité des systèmes d'IA d'avant-garde lorsqu'ils sont utilisés à mauvais escient, aujourd'hui et à l'avenir ?
- Comment pouvons-nous mettre en place un cadre solide pour le suivi, l'évaluation, la prédiction et la protection contre les capacités dangereuses des systèmes d'IA d'avant-garde ?
- Si les poids de nos modèles d'IA des frontières étaient volés, comment des acteurs malveillants pourraient-ils choisir de les exploiter ?
Nous devons nous assurer que nous disposons de la compréhension et de l'infrastructure nécessaires à la sécurité des systèmes d'IA hautement performants.
Notre nouvelle équipe de préparation
Pour minimiser ces risques à mesure que les modèles d'IA continuent de s'améliorer, nous mettons en place une nouvelle équipe appelée Preparedness (préparation). Dirigée par Aleksander Madry, l'équipe Preparedness reliera étroitement l'évaluation des capacités, les évaluations et le red teaming interne pour les modèles d'avant-garde, depuis les modèles que nous développerons dans un avenir proche jusqu'à ceux dotés de capacités de niveau AGI. L'équipe contribuera au suivi, à l'évaluation, à la prévision et à la protection contre les risques catastrophiques couvrant de multiples catégories, notamment
- la persuasion individualisée
- la cybersécurité
- les menaces chimiques, biologiques, radiologiques et nucléaires (CBRN)
- la reproduction et l'adaptation autonomes (ARA).
La mission de l'équipe de préparation comprend également l'élaboration et le maintien d'une politique de développement tenant compte des risques (RDP). Cette politique détaillera notre approche de l'évaluation et du suivi rigoureux des capacités des modèles d'avant-garde, de la création d'un éventail d'actions de protection et de la mise en place d'une structure de gouvernance pour la responsabilité et la supervision de ce processus de développement. La RDP vise à compléter et à étendre nos travaux actuels en matière d'atténuation des risques, qui contribuent à la sécurité et à l'alignement des nouveaux systèmes hautement performants, tant avant qu'après leur déploiement.
Rejoignez-nous
Travailler sur la préparation vous intéresse ? Nous recrutons des talents exceptionnels issus de divers horizons techniques pour notre équipe Preparedness afin de repousser les limites de nos modèles d'IA d'avant-garde.
Le défi de la préparation
Afin d'identifier des domaines de préoccupation moins évidents (et de constituer l'équipe !), nous lançons également notre défi de préparation à l'IA pour la prévention des utilisations abusives catastrophiques. Nous offrirons 25 000 dollars de crédits API aux dix meilleures propositions, nous publierons des idées et des contributions novatrices et nous rechercherons des candidats à la préparation parmi les meilleurs candidats à ce défi.
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
Le plus grand risque de l'IA n'est pas la « conscience », mais les entreprises qui la contrôlent, selon la chercheuse Meredith Whittaker L'IA générative est devenue un risque émergent pour les entreprises selon une enquête Gartner Le PDG d'OpenAI, Sam Altman, déclare au Congrès américain qu'il craint que l'IA ne soit "nuisible" au monde, il ajoute qu'une réglementation de l'IA est urgente afin d'éviter une catastrophe