Developpez.com - Rubrique IA

Le Club des Développeurs et IT Pro

OpenAI dévoile son "Cadre de préparation"~? une initiative pour assurer la sécurisation du développement de ses modèles d'IA d'avant-garde

Et systématiser la réflexion sur la sécurité

Le 2023-12-19 18:32:25, par Anthony, Chroniqueur Actualités
OpenAI présente la version initiale de son Cadre de préparation (Preparedness Framework), qui décrit les processus de l'entreprise pour suivre, évaluer, prévoir et se protéger contre les risques catastrophiques posés par les modèles d'IA de plus en plus puissants. L'entreprise estime que l'étude actuelle des risques liés à l'IA d'avant-garde est loin d'être à la hauteur de ce qui est possible et de ce qu'il faudrait faire, et envisage de combler cette lacune et de systématiser la réflexion sur la sécurité à travers son cadre de préparation.

OpenAI dispose de plusieurs équipes chargées de la sécurité et de la politique qui travaillent ensemble pour atténuer les risques liés à l'IA. L'équipe Systèmes de Sécurité (Safety Systems) se concentre sur l'atténuation de l'utilisation abusive des modèles et des produits actuels tels que ChatGPT. L'équipe Superalignment établit les bases de la sécurité des modèles superintelligents qui verront le jour dans un avenir plus lointain. Et l'équipe de Préparation (Preparedness) cartographie les risques émergents des modèles d'avant-garde et se connecte aux équipes Systèmes de Sécurité, Superalignment ainsi qu'aux autres équipes chargées de la sécurité et de la politique au sein d'OpenAI.


Le cadre de préparation doit être guidé par la science et fondée sur des faits

OpenAI investit dans la conception et l'exécution d'évaluations rigoureuses des capacités et des prévisions afin de mieux détecter les risques émergents. En particulier, il s'agit de dépasser les scénarios hypothétiques et de passer à des mesures concrètes et à des prédictions basées sur des données. Il est également important de regarder au-delà de ce qui se passe aujourd'hui pour anticiper ce qui se passera à l'avenir. Ce travail est tellement essentiel pour OpenAI qu'elle fait appel à ses meilleurs talents techniques pour l'accomplir.

OpenAI est fondée sur l'association étroite de la science et de l'ingénierie, et le cadre de préparation apporte cette même approche au travail sur la sécurité. Des enseignements sont tirés des déploiements dans le monde réel et sont mis à profit pour atténuer les risques émergents. Pour que le travail sur la sécurité suive le rythme de l'innovation à venir, il ne suffit pas d'en faire moins, il faut continuer à apprendre par le biais d'un déploiement itératif.

Cadre de préparation (en version bêta)

Le Cadre de préparation d'OpenAI présente l'approche suivante pour développer et déployer les modèles d'avant-garde de l'entreprise en toute sécurité :

Des évaluations seront effectuées et des "scorecards" seront continuellement mis à jour pour les modèles développés par OpenAI. Tous les modèles frontières seront évalués, y compris à chaque multiplication par deux de la capacité de calcul effective pendant les exercices d'entraînement. Les modèles seront poussés jusqu'à leurs limites. Ces résultats contribueront à l'évaluation des risques liés aux modèles d'avant-garde et à la mesure de l'efficacité des mesures d'atténuation proposées. L'objectif étant de sonder les limites spécifiques de ce qui n'est pas sûr afin d'atténuer efficacement les risques révélés. Pour suivre les niveaux de sécurité des modèles, des tableaux de bord des risques et des rapports détaillés seront produits.


Des seuils de risque seront établis pour déclencher des mesures de sécurité de base. Ces seuils ont été définis en fonction des catégories initiales suivantes : cybersécurité, CBRN (menaces chimiques, biologiques, radiologiques et nucléaires), persuasion et autonomie du modèle. Quatre niveaux de risque de sécurité sont alors prévus, et seuls les modèles dont le score après atténuation est égal ou inférieur à "moyen" peuvent être déployés ; seuls les modèles dont le score après atténuation est égal ou inférieur à "élevé" peuvent être développés plus avant. Des mesures de sécurité supplémentaires seront également mises en œuvre pour les modèles présentant des niveaux de risque élevés ou critiques (avant l'adoption de mesures d'atténuation).


Une équipe spécialisée sera mise en place pour superviser les travaux techniques et une structure opérationnelle sera établie pour la prise de décision en matière de sécurité. L'équipe chargée de la préparation dirigera les travaux techniques afin d'examiner les limites des capacités des modèles d'avant-garde, d'effectuer des évaluations et de synthétiser les rapports. Ce travail technique est essentiel pour éclairer la prise de décision d'OpenAI en matière de développement et de déploiement de modèles sûrs. OpenAI est en train de créer un groupe consultatif interfonctionnel sur la sécurité qui examinera tous les rapports et les enverra simultanément à la direction et au conseil d'administration. Bien que la direction soit le décideur, le conseil d'administration a le droit d'annuler les décisions.


OpenAI développera des protocoles pour renforcer la sécurité et la responsabilité externe. L'équipe Preparedness organisera régulièrement des exercices de sécurité pour tester les pressions exercées par l'activité et la culture de l'entreprise. Certains problèmes de sécurité peuvent apparaître rapidement et il sera alors possible de marquer les problèmes urgents afin d'y répondre rapidement. L'entreprise estime qu'il est essentiel que ce travail reçoive un retour d'information de la part de personnes extérieures à OpenAI et s'attend à ce que des audits soient menés par des tierces parties qualifiées et indépendantes. OpenAI continuera à faire évaluer ses modèles par des tiers, et prévoit de partager les mises à jour en externe.

OpenAI contribuera à réduire d'autres risques connus et inconnus en matière de sécurité. Une collaboration étroite avec des parties externes ainsi qu'avec des équipes internes telles que Safety Systems sera mise en place afin de suivre les utilisations abusives dans le monde réel. OpenAI travaillera également avec l'équipe Superalignment sur le suivi des risques émergents liés au désalignement. L'entreprise est par ailleurs à l'avant-garde d'une nouvelle recherche visant à mesurer l'évolution des risques à mesure que les modèles s'étendent, afin d'aider à prévoir les risques à l'avance, à l'instar de ce qui a été fait précédemment avec les lois de mise à l'échelle. Enfin, un processus continu sera mis en œuvre pour tenter de mettre en évidence les "inconnues" émergentes.

Il s'agit d'un résumé des principaux éléments du cadre de préparation (Beta), et vous êtes encouragés à lire la version complète. Ce cadre est la première version bêta adoptée par OpenAI et se veut un document évolutif. Il est prévu de le mettre à jour régulièrement au fur et à mesure des connaissances et des réactions que reçues.

Source : "Preparedness" (OpenAI)

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi

OpenAI estime que la superintelligence artificielle AGI pourrait arriver dans les 10 prochaines années, mais demande de l'aide pour en contrôler les risques en annonçant un programme de subventions

OpenAI publie ses intentions dans le domaine de la sécurité en Intelligence artificielle, cela sera-t'il suffisant ?

OpenAI crée une équipe chargée d'étudier les risques catastrophiques liés à l'IA, y compris les menaces nucléaires
  Discussion forum
234 commentaires
  • sergio_is_back
    Expert confirmé
    Déjà qu'à l'école on n'apprend plus à lire ni à écrire... Autant supprimer l'Education Nationale, ça fera des économies !
  • Eye_Py_Ros
    Nouveau membre du Club
    Allez, j'ose contredire le pdg NVIDIA par ce que ce genre d'actu comment a être soûlante
    Sur l'état actuel de l'art, le PDG d'Nvidia se trompe à 94%.
    Sur le sujet faire monter l'action nvidia par contre.....

    Qu'est-ce qui fait un développeur ce qu'il est ? Il y a développeur et développeur.
    Un mauvais développeur c'est un mec qui pisse des lignes de code, un bon développeur , c'est un mec qui pisse des lignes de code, mais lui il le fait bien, il comprend ce qu'il fait.

    Si c'était si simple, tout le monde pourrait le faire. Hormis la grammaire et le vocabulaire, que faut-il de plus pour aligner deux lignes de code ?
    Personne ne s'est jamais posé la question ? Hormis aligner 10 lignes pour faire une simple action. Qu'est-ce qui permet de faire de grand logiciel ?
    La capacité de la maîtrise du contexte et la capacité d'articuler un ensemble pour le rendre fonctionnel, soit la créativité.

    Les modèles de langage sont intrinsèquement incapables en eux même uniquement de faire preuve de créativité ou alors elle est aussi limitée que ce que peut faire un moineau. Au mieux elle n'est capable que d'imitation.
    La créativité est l'étape au-dessus de la capacité de maîtrise du contexte. On est tranquille ce n'est pas quelque chose que les simples réseaux de neurones peuvent faire.
    Lorsque l'on aura produit un système capable de maîtriser le contexte et l'environnement dans lequel il évolue, alors, un très grand nombre de métiers dans le secteur tertiaire pdg compris sera grandement inutile et remplaçable par ce type d'automates.
    Mais intrinsèquement la manière dont ils seront construits feront que leur créativité seront limité et ne seras pas capable de prendre des décisions avancées permettant "une croissance d'activité" en dehors du strict chemin sur lequel ils sont déjà lancés, donc une incapacité économiquement parlant de ce diversifier/d'innover donc à terme de survivre .

    Une machine capable de faire preuve de conscience de contexte et d'environnement ainsi que de créativité sera plus proche d'une conscience artificielle que d'une IAG. C'est là que le risque cette pose. Celui de la SF et d'un dérapage possible.
    En attendant, si c'était si simple que de coder, tout le monde pourrait déjà le faire, passer en n'importe quel langage logiciel vers un langage naturel ne rendra pas la chose plus simple en dehors du Scripting. Et ça ne fonctionnera pas mieux qu'aujourd'hui avec des gens qui ne savent pas concevoir de logiciel et qui nous font un patchwork de code spaghetti qui ne fonctionne pas.

    Les GPU de nvidia ne sont pas magique et ne créer pas d'intelligence, on est en pleine mode des réseaux de neurones qui sont très gourmands en calcule pour leur formation, mais ce n'est ni ce type de matériel ni se type d'architecture qui donnera quelque chose capable de remplacer l'homme.

    On aurait pu écrire comme titre. <Apprendre a écrire est inutile, dans 5 ans tous le monde aura des tablettes dans les mains>
    Pas besoin de faire un dessin en quoi scripter un bout de code a la main en 5minutes reste toujours pratique que de devoir se connecter a internet pour accéder à un servie d'IA après s'être authentifié avec la double authentification de sa banque sur son smartphone 5G pour pondre un script que l'on va passer 2H a débugger pour traiter un csv qu'une simple boucle for aurait pu en venir à bout si c'était juste pour supprimer les espaces inutiles dans les cases et conversion de caractère pour le recensement des pingouins du Groenland. Ben quoi cet exemple vous paraît-il hors sol ?

    Moi j'y vois un effondrement intellectuel de la société si on ne peut plus rien faire sans qu'une machine nous assiste parce que l'on nous a vendu que nous n'avions plus besoin de rien faire, parce demain il suffit d'acquérir la machine T2000 pour tout faire a notre place, et après demain il faudra acheter la T3000 qui fait des choses en plus que la T2000 ne savait pas faire comme remplir la nouvelle case du formulaire des impôts des machines autonomes T2000 que nous avons chez nous.

    A force de faire monter les enchères, ce n'est pas dit q'Nvidia arrive a tenir la montgolfière action aussi haute. ce sera plutot le tobogan dans 5-10ans lorsque l'on se rendra compte qu'il y a mieux et moins gourmand que les réseaux de neurones, les gens aurons une montagne de GPU que personne ne sait quoi en faire et que l'on pourra même pas recycler pour autre chose...

    """Les développements en cours dans la filière du génie logiciel donnent-ils lieu à des inquiétudes légitimes quant à l’avenir des informaticiens humains dans la filière ?""
    Les googlers et scripts kiddies pourront ce poser la question de si il ne serait pas mieux de réaliser une reconversion. Si c'est ça qui compose la "filière informatique" à 50%, je comprends mieux pourquoi une machine bug quand je la touche.

    Les vrais concepteurs de logiciel sont tranquilles jusqu'à la retraite (si ce mot existe encore). Comprendre un métier et ensemble de besoins pour le traduire en un ensemble de spécification qui fonctionne sans bug ( le cœur de métier) qui dépasse le logiciel type calculette Windaube ne sont pas près d'être remplacé.
    Il faudra toujours un humain pour faire ce que la machine ne sait pas faire, à minima saisir les specs (en français et pas en cromagnion). Le jour où l'on dépassera ce stade, l'intégralité de notre économie/finance n'aura plus aucun sens.

    ""Comment voyez-vous l'intelligence artificielle dans 5 à 10 ans ? Comme un outil ou comme un danger pour votre poste de développeur ?""

    Sur les 50 prochaines années à venir l'IA ne restera qu'un outil, des percé et avancé dans la robotique aurons fait leur apparaîtrons.
    Dans 30-40ans nous verrons des automates majors d'homme/conseiller clientèle dans les rayons des magasins.

    Dans 50ans nous verrons des automates a grande autonomie, qui seront sur les chaines de production pour combler le manque de main-d'œuvre suite à la Grande Guerre qui aura lieu après la crise énergétique mondiale. On aura le droit au débat pour ceux qui sont "pro machine" et militeront pour que la ville et la vie soient conçues pour que les machines puissent se déplacer librement. Si entre temps le dérèglement climatique ne nous a pas déjà dézingué tous ça. On aura une crise ou des pirates rendrons des machines folles poursuivant des gens avec les flic qui leur courrons derrière avec leur taser....

    Mais ce qui est sûr c'est que le monde de l'emploi à part des diminutions de besoin de personnelle dans certain secteurs, tant qu'il y aura des gens assis dans les bureaux de banque ou d'assurance, le monde de l'emploi ne sera jamais radicalement différent.
    Des métiers apparaissent d'autres disparaissent mais sur le siècle. Jamais il n'y aura un secteur d'activité entier composé uniquement de machine ou supprimé du jour au lendemain. Sinon ça veut dire que ce secteur est complètement inutile depuis le début et tourne a l'aide de subvention (vous en connaissez ?).

    Ceux qui dise que l'IA va tout remplacer sur terre sont eux même en train d'exercer une activité non essentielle. Passer la journée à remplir des cases Excel pour avoir un salaire pour se payer un costard et une Rolex pour vendre à un autre type ton remplissage de case Excel, je n'appelle pas ça un métier utile à l'humanité. (les vendeurs de formation sur YouTube ont déjà tout compris )
    Si une machine peut fabriquer la Rolex et le costard, elle pourra remplacer le gars qui saisit les cases. Dans ce cas qui est inutile ?
    L'homme ou le travail qu'il faisait.

    Je finirai par : Doit-on exterminé les humains par ce qu'ils sont la preuve (dans le cadre artificiel choisi et créer pour cette étude) qu'ils ne servent à rien ? Ou n'avions nous pas créé un système qui part en roue libre et dont sa fonction optimale de créer de la richesse pour les humains ce conclu en : "il faut supprimer les humains de l'équation pour créer encore plus de richesse ?".

    Le grand biais de la création : on créer un système au service de quelque chose, à force de l'optimiser on fini par retirer de l'équation le pourquoi du comment pour qui le service a été créé....
  • kain_tn
    Expert éminent
  • pboulanger
    Membre éprouvé
    La bonne question : qui va valider que la réponse de l'IA n'est pas mauvaise? Les données qui ont servi à entraîner l'IA peuvent être mauvaises ou biaisées. L'IA a déjà démontré sa capacité dans des cas de droits à inventer des procès de toute pièce.

    Quis custodiet ipsos custodes? [qui va surveiller les résultats de l'IA]
    des développeurs compétents.

    Comment devient-on un développeur compétent?
    En travaillant sur des programmes et algorithmes (longtemps). Et, surtout, en apprenant de ses erreurs, etc...

    Accessoirement un programme n'est pas juste du code: c'est un code qui répond à un besoin fonctionnel émis dans un domaine précis (bancaire, crash-test, calculateur de voiture, etc..). Il ne suffit pas de savoir écrire du code il faut aussi comprendre le contexte dans lequel il va être utilisé!
  • OuftiBoy
    Membre actif
    C'est fou ce qui se passe en se moment. Il y a certainement quelque chose qui se trame dernière tous ça. Faire dépenser l'argent des autres, cela semble le jeu du moment. Mais qui sont les investisseurs derrière tout ceci ? Qui a les moyens d'investir de la sorte ?

    Le monde s'éloigne de plus en plus de la réalité. Tous les pays sont endettés jusqu'au cou, mais qui "doit" combien et à "qui", je ne trouve pas l'info. L'économie mondial ressemble de plus en plus à un montage style système de Ponzi. Le capitalisme semble s'emballer dangereusement. Il n'est basé que sur la confiance. Si cette dernière s'écroule, c'est tout qui s'écroule. Et j'ai bien peur que cela finisse par arriver. Perso, je pense que le problème n'est pas de savoir "Si" ça va arriver, mais "Quand" cela va arriver.

    Quand tout n'est plus basé que sur de la spéculation, et pas sur du concret, c'est inévitable.

    Mais pour rester plus "terre à terre", quelles sont les compétences de ce Monsieur Altman ? Quel crédit donner à ses propos ? Connaît il seulement de quoi il parle ? De ce que j'ai compris, c'est juste un (très bon) vendeur. Mais même le meilleur des vendeurs ne peut pas vendre éternellement ce qui n'existe pas. Il faut avoir un sacré culot (et ego), pour se permettre de dire ce qu'il raconte. ChatGPT 4, c'est moins que rien dit-il, mais ChatGPT 5 ça sera de la balle, mais ce ne sera rien par rapport à ChatGPT 6. On peut aller loin comme ça. Je suis certains que ChatGPT 9672 se meilleur que ChatGPT 9671. Mais est-ce ça sera une AGI ? J'ai bien peur que non. Il faut être fou pour croire un seul instant que cela ne se terminera pas (très) mal.

    De quoi parle-t-on ? Qui sait ne fusse que définir ce qu'est sensé être une AGI ? J'en suis incapable, mais si quelqu'un ici peut m'expliquer, je suis preneur. Mais bon, je me lance, avec mes faibles connaissance de petit humain que je suis. Si on veut accorder rien qu'un peu de crédibilité à la chose, il faut admettre qu'une AGI serait capable d'évoluer au moins au niveau d'un être humain. Quand on voit ce que l'humanité a fait, "l'AGI" ne pourra pas faire "mieux", ni "pire". Elle est juste bombardée d'informations existantes (vrai ou fausse), et tente de triturer ces "informations" pour donner réponde à une question. Je ne vois rien ressemblant à "l'intelligence humaine" (qu'on a déjà du mal a définir). L'AGI ne "pensera pas". Et Qu'est-ce que la pensée au fait ? Comment une "idée" vient-elle titiller notre "esprit" ? Pourquoi certains génies comme Einstein ont-ils "pensé" et "développé" leurs "idées/pensée" ?

    Et puis, je pense que tout le monde sera d'accord pour dire que tous les "cerveaux" humains ne se valent pas. Le mien n'atteint pas la cheville, que dis-je, le bout de l'orteil, de celui des grands chercheurs des siècles passés. S'il n'y a pas deux cerveaux les même en ce bas monde, comment croire qu'une "AGI" serait "unique", "omnisciente", et capable d'avoir réponse à toute question ? Répondre correctement à des questions dont l'humanité a déjà la réponse, je ne vois pas où est le progrès ?

    Le propre de l'homme, c'est son "esprit" de découverte, d'exploration, d'expérimentation, de conclusion. Et même dans ce cas, il faut admettre que l'homme ne progresse que par "tâtonnement", une "théorie" ne restant correcte et établie que jusqu'à preuve du contraire.

    Si vous avez lu toute ma petite prose, il n'y a pas énormément de possibilités de conclure. Soit tous ces "devins" sont des Einsteins en culotte courte, ou des arnaqueurs "en col blanc".

    Je me suis fais mon idée, chacun étant libre de choisir la sienne.

    BàV et "Peace & Love"
  • BugFactory
    Membre chevronné
    Je serai à la retraite avant Java. Et avant Cobol aussi.
  • mach1974
    Membre averti
    Le deep Learning n'a pas de représentation du Monde. Donc il ne peut pas simuler, pas mettre en place de stratégie pour simuler une experience, en tirer des règles, avoir un moteur de règles internes . Donc c'est de l'hype pour des chercheurs qui ont besoin de Publish or perish .
    Il manque le sens commun pour apprécier des situations.
  • Anselme45
    Membre extrêmement actif
    découvrez toutes les prédictions de 2,778 chercheurs
    Ce sont des "chercheurs" ou des madames Irma qui lisent votre avenir dans les lignes des mains et dans le marc de café...

    Je pense qu'il est nécessaire ici de rappeler une citation du Général De Gaulle: "Des chercheurs qui cherchent, on en trouve... Des chercheurs qui trouvent, on en cherche!"
  • berceker united
    Expert éminent
    Et qui va faire évoluer les intelligences artificiel ? Une intelligence artificiel ?
  • CHAF007
    Membre à l'essai
    Hâte d'être dans cinq ans pour réaliser que tout ça n'est que du flan. Mais malheureusement notre mémoire est bien courte. On ne devait pas déjà "rouler" en voitures volantes, avoir des robots à la maison et partir en vacances sur Mars ?

    Évidemment que le Monsieur ponce les conférences et sort ses petites phrases pseudo prophétiques à qui veut bien les entendre. D'ailleurs il en devient relativement fatigant. En prenant le problème dans l'autre sens, étant donnée sa position, aurait-il un intérêt à ne pas tout enjoliver de la sorte ? Évidemment que lors de la ruée vers l'or, les vendeurs de pelles promettaient à quiconque qu'il y avait encore des tonnes d'or dans les sous-sols.

    Quand on n'a pas grand chose à dire sur le présent, on parle du futur, ça fait vendre. Il passe de plus en plus de fondateur génial, parti de rien, à un être bien antipathique notre monsieur.