IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les entreprises de la tech s'accordent sur la mise en place d'un « interrupteur d'arrêt » de l'IA pour éviter les risques du type Terminator.
Elles s'engagent à ne pas dépasser les limites, mais lesquelles ?

Le , par Stéphane le calme

59PARTAGES

7  0 
Les plus grandes entreprises d’intelligence artificielle (IA) du monde ont récemment pris une mesure importante pour atténuer les craintes liées au développement incontrôlé de l’IA. Lors d’un sommet à Séoul, 16 entreprises influentes, dont Anthropic, Microsoft et OpenAI, ont convenu d’un « interrupteur d’arrêt » pour leurs modèles d’IA les plus avancés. Mais qu’est-ce que cela signifie exactement et comment cela pourrait-il affecter notre avenir?

Il n'est pas question de remettre l'IA dans la boîte de Pandore, mais les plus grandes entreprises d'IA du monde collaborent volontairement avec les gouvernements pour répondre aux plus grandes craintes liées à cette technologie et apaiser les inquiétudes selon lesquelles le développement incontrôlé de l'IA pourrait conduire à des scénarios de science-fiction dans lesquels l'IA se retournerait contre ses créateurs. Toutefois, sans dispositions juridiques strictes renforçant les engagements des gouvernements en matière d'IA, les conversations n'iront pas plus loin.

Plus tôt ce mois-ci, 16 entreprises d'IA influentes, dont Anthropic, Microsoft et OpenAI, 10 pays et l'UE se sont réunis lors d'un sommet à Séoul pour définir des lignes directrices sur le développement responsable de l'IA. L'un des principaux résultats du sommet est que les entreprises d'IA présentes se sont mises d'accord sur ce que l'on appelle un « kill switch », c'est-à-dire une politique selon laquelle elles arrêteraient le développement de leurs modèles d'IA les plus avancés s'ils étaient considérés comme ayant franchi certains seuils de risque. Il est toutefois difficile de savoir si cette politique est réellement efficace, étant donné qu'elle n'est pas assortie d'un poids juridique réel ou qu'elle ne définit pas de seuils de risque spécifiques. De plus, les autres entreprises d'IA non présentes, ou concurrentes de celles qui ont accepté les termes de l'accord dans l'esprit, ne seraient pas soumises à l'engagement.

« À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système si des mesures d'atténuation ne peuvent pas être appliquées pour maintenir les risques en dessous des seuils », peut-on lire dans le document d'orientation signé par les entreprises d'IA, dont Amazon, Google et Samsung.

Concernant l'identification et la gestion des risques, voici d'autres éléments qui sont ressortis de ce sommet :
  1. Évaluer les risques posés par leurs modèles ou systèmes d'avant-garde tout au long du cycle de vie de l'IA, y compris avant le déploiement du modèle ou du système et, le cas échéant, avant et pendant la formation. Les évaluations des risques devraient tenir compte des capacités des modèles et du contexte dans lequel ils sont développés et déployés, ainsi que de l'efficacité des mesures d'atténuation mises en œuvre pour réduire les risques associés à leur utilisation prévisible et à leur mauvaise utilisation. Elles devraient également prendre en compte les résultats des évaluations internes et externes, le cas échéant, telles que celles effectuées par des évaluateurs tiers indépendants, par leurs gouvernements d'origine et par d'autres organismes que leurs gouvernements jugent appropriés.
  2. Fixer des seuils à partir desquels les risques graves posés par un modèle ou un système, s'ils ne sont pas atténués de manière adéquate, seraient jugés intolérables. Évaluer si ces seuils ont été franchis, et notamment contrôler dans quelle mesure un modèle ou un système est proche d'un tel franchissement. Ces seuils doivent être définis avec l'aide d'acteurs de confiance, y compris, le cas échéant, les gouvernements nationaux respectifs des organisations. Ils doivent être alignés sur les accords internationaux pertinents auxquels leurs gouvernements d'origine sont parties. Ils doivent également être accompagnés d'une explication de la manière dont les seuils ont été fixés et d'exemples spécifiques de situations dans lesquelles les modèles ou les systèmes présenteraient un risque intolérable.
  3. Expliquer comment les mesures d'atténuation des risques seront identifiées et mises en œuvre pour maintenir les risques dans les limites définies, y compris les mesures d'atténuation des risques liés à la sûreté et à la sécurité, telles que la modification du comportement des systèmes et la mise en œuvre de contrôles de sécurité robustes pour les pondérations de modèle non publiées.
  4. Définir des processus explicites qu'ils ont l'intention de suivre si leur modèle ou leur système présente des risques qui atteignent ou dépassent les seuils prédéfinis. Il s'agit notamment de processus visant à poursuivre le développement et le déploiement de leurs systèmes et modèles uniquement s'ils estiment que les risques résiduels resteront en deçà des seuils. À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système s'il est impossible d'appliquer des mesures d'atténuation pour maintenir les risques en deçà des seuils.
  5. Investir en permanence dans l'amélioration de leur capacité à mettre en œuvre les engagements i-iv, y compris l'évaluation et l'identification des risques, la définition des seuils et l'efficacité des mesures d'atténuation. Cela devrait inclure des processus permettant d'évaluer et de contrôler l'adéquation des mesures d'atténuation et d'identifier des mesures d'atténuation supplémentaires, le cas échéant, afin de garantir que les risques restent inférieurs aux seuils prédéfinis. Ils contribueront aux meilleures pratiques émergentes, aux normes internationales et aux travaux scientifiques sur l'identification, l'évaluation et l'atténuation des risques liés à l'IA, et tiendront compte de ces éléments.



Un groupe de participants a rédigé une lettre ouverte critiquant l'absence de réglementation officielle

Ce sommet faisait suite au sommet de Bletchley Park sur la sécurité de l'IA, qui s'est tenu en octobre dernier et qui a rassemblé un groupe similaire de développeurs d'IA. Il a été critiqué pour son manque d'engagements concrets à court terme visant à protéger l'humanité de la prolifération de l'IA.

À la suite de ce sommet, un groupe de participants a rédigé une lettre ouverte critiquant l'absence de réglementation officielle du forum et le rôle prépondérant des entreprises d'IA dans la promotion de la réglementation dans leur propre secteur. « L'expérience a montré que la meilleure façon de s'attaquer à ces problèmes est de mettre en place des mandats réglementaires exécutoires, et non des mesures d'autorégulation ou volontaires », peut-on lire dans la lettre.

D'abord dans la science-fiction, et maintenant dans la vie réelle, des écrivains et des chercheurs ont mis en garde contre les risques d'une intelligence artificielle puissante depuis des décennies. L'une des références les plus connues est le « scénario Terminator », théorie selon laquelle, si elle n'est pas maîtrisée, l'IA pourrait devenir plus puissante que ses créateurs humains et se retourner contre eux. Cette théorie tire son nom du film d'Arnold Schwarzenegger de 1984, dans lequel un cyborg remonte le temps pour tuer une femme dont le fils à naître luttera contre un système d'IA destiné à déclencher un holocauste nucléaire.

« L'IA offre d'immenses possibilités de transformer notre économie et de résoudre nos plus grands défis, mais j'ai toujours été claire sur le fait que ce potentiel ne peut être pleinement exploité que si nous sommes capables de maîtriser les risques posés par cette technologie complexe qui évolue rapidement », a déclaré Michelle Donelan, secrétaire d'État britannique à la technologie.

Les entreprises spécialisées dans l'IA reconnaissent elles-mêmes que leurs offres les plus avancées s'aventurent dans des eaux technologiques et morales inexplorées. Le PDG d'OpenAI, Sam Altman, a déclaré que l'intelligence artificielle générale (IAG), qu'il définit comme une IA qui dépasse l'intelligence humaine, est « pour bientôt » et qu'elle comporte des risques.

« L'IAG s'accompagnerait également d'un risque sérieux de mauvaise utilisation, d'accidents graves et de perturbations sociétales », peut-on lire dans un billet de blog d'OpenAI. « Parce que le potentiel de l'IAG est si important, nous ne pensons pas qu'il soit possible ou souhaitable pour la société d'arrêter son développement pour toujours ; au contraire, la société et les développeurs de l'IAG doivent trouver le moyen de bien faire les choses ».


Des difficultés à mettre en place des cadres réglementaires mondiaux autour de l'IA

Jusqu'à présent, les efforts visant à mettre en place des cadres réglementaires mondiaux autour de l'IA ont été dispersés et, pour la plupart, dépourvus d'autorité législative. Un cadre politique des Nations unies demandant aux pays de se prémunir contre les risques de l'IA pour les droits de l'homme, de surveiller l'utilisation des données personnelles et d'atténuer les risques liés à l'IA a été approuvé à l'unanimité le mois dernier, mais il n'était pas contraignant. La déclaration de Bletchley, pièce maîtresse du sommet mondial sur l'IA qui s'est tenu en octobre dernier au Royaume-Uni, ne contenait aucun engagement tangible en matière de réglementation.

Entre-temps, les entreprises du secteur de l'IA ont commencé à créer leurs propres organisations en faveur d'une politique de l'IA. Par exemple, Amazon et Meta ont rejoint la Frontier Model Foundation, une organisation à but non lucratif « dédiée à l'amélioration de la sécurité des modèles d'IA d'avant-garde », selon son site web. Ils rejoignent les membres fondateurs Anthropic, Google, Microsoft et OpenAI. L'organisation à but non lucratif n'a pas encore présenté de propositions politiques fermes.

Conclusion

L’IA offre d’immenses opportunités pour transformer notre économie et résoudre nos plus grands défis, mais nous devons également gérer les risques posés par cette technologie complexe. L’accord sur l’interrupteur d’arrêt est un pas dans la bonne direction, mais il reste encore beaucoup à faire pour garantir que l’IA reste bénéfique pour l’humanité. Comme l’a déclaré Michelle Donelan, secrétaire à la technologie du Royaume-Uni : « Ce potentiel complet ne peut être débloqué que si nous sommes capables de maîtriser les risques posés par cette technologie en constante évolution ».

Sources : Engagements en matière de sécurité de l'IA d'avant-garde, Sommet de Séoul sur l'IA 2024, AI Now se joint aux groupes de la société civile dans une déclaration appelant à une réglementation pour protéger le public, des leaders mondiaux décident de lancer le premier réseau international d'instituts de sécurité de l'IA afin de stimuler la coopération en matière d'IA, OpenAI, l'Assemblée générale des Nations unies (AGNU) a adopté la première résolution mondiale sur l'intelligence artificielle, Amazon et Meta rejoignent le Frontier Model Forum pour promouvoir la sécurité de l'IA

Et vous ?

Pensez-vous que les entreprises d’IA devraient être autorisées à réguler elles-mêmes leurs propres technologies, ou devrions-nous compter davantage sur des réglementations gouvernementales ?
Quels critères devraient être utilisés pour déterminer si un modèle d’IA est trop risqué et doit être arrêté ?
Quelles autres mesures pourraient être prises pour prévenir les risques liés à l’IA, en plus de l’interrupteur d’arrêt ?
Croyez-vous que l’accord sur l’interrupteur d’arrêt est suffisant pour protéger l’humanité contre les risques de l’IA, ou faut-il aller plus loin ?
Comment pouvons-nous équilibrer les avantages de l’IA avec les préoccupations légitimes concernant la sécurité et l’éthique ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de _toma_
Membre confirmé https://www.developpez.com
Le 20/06/2024 à 19:00
Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif
Encore un qui a bien suivi ses cours d'économie et qui est pas foutu de comprendre qu'une croissance infinie dans un monde fini est impossible. Mais comment font tous les "grands" de notre monde pour sombrer dans ce schéma de pensées qu'un enfant de 7 ans trouverait louche ?

Si l'IA peut faire tout ce que vous pouvez faire, mais en mieux, à quoi bon faire les choses ? Je pense qu'il y aura une crise existentielle
Merci l'IA qui fait les vidanges, débouche les WC, brasse la bière et coupe des arbres pour en faire du PQ.
Est-ce qu'il a une armée de serviteurs pour à ce point oublier que le quotidien n'est pas exclusivement constitué d'ordinateurs ?
5  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 21/06/2024 à 1:53
Citation Envoyé par _toma_ Voir le message
Encore un qui a bien suivi ses cours d'économie et qui est pas foutu de comprendre qu'une croissance infinie dans un monde fini est impossible. Mais comment font tous les "grands" de notre monde pour sombrer dans ce schéma de pensées qu'un enfant de 7 ans trouverait louche ?

Merci l'IA qui fait les vidanges, débouche les WC, brasse la bière et coupe des arbres pour en faire du PQ.
Est-ce qu'il a une armée de serviteurs pour à ce point oublier que le quotidien n'est pas exclusivement constitué d'ordinateurs ?
Il nous prend juste pour des abrutis. L'homme le plus riche du monde perdrait tout son pouvoir, s'il n'y avait plus besoin de travailler pour vivre.
2  0 
Avatar de marsupial
Expert éminent https://www.developpez.com
Le 09/06/2024 à 17:15
Je ne savais pas le 6 juin lorsque j'ai posté ceci :Mon avis sur le remplacement des emplois par l'IA que les entreprises technologiques de la Silicon Valley allaient faire du lobbying au près des sénateurs californiens pour empêcher le kill switch lors de certains résultats de l'IA. Oui l'IA américaine va devenir dangereuse à cause de ses hallucinations que nous ne pourrons détecter puisque inaccessibles à la compréhension humaine à la différence de certaines IA européennes qui resteront explicables et plus intelligentes que les IA américaines et chinoises.
1  0 
Avatar de phil995511
Membre éprouvé https://www.developpez.com
Le 08/10/2024 à 12:07
Le mensonge ne peut en aucun cas être rattaché à la liberté d'expression, il doit être clairement proscrit de toute forme de politique, sans quoi certains politiciens continueront à mener des campagnes de désinformation, de dénigrement d'autrui, voir de tentatives de déstabilisation de systèmes démocratiques mis en place !!!
1  0 
Avatar de Fluxgraveon
Membre actif https://www.developpez.com
Le 28/05/2024 à 11:09
Et le vivant à les mêmes problématique que la conscience, malgré qu'on connaît tout de leur processus physique , cela ne nous apprend rien sur "comment ça marche".
Peut-être que le vivant n'est pas qu'un "mécanisme" (cela a quelque chose à voir avec le courant positiviste et le fait que la biologie a emprunté le même chemin que la physique). Aussi vous évoquez la génétique et quid de l'épigénétique (de ces comportements qui activent ou inhibent l'expression des gènes) ?
De quels neurones parlez-vous (cérébraux uniquement ?) ? les neurones entériques produisent la grande majorité des neuromédiateurs (95 % de la sérotonine), le cœur dispose de son propre réseau de neurones qualifiés de "semi-autonomes" et de mon point de vue le microbiote constitue un cerveau supplémentaire à part entière nous interfaçant avec l'environnement.
Quant au fameux code ADN, je le vois comme une base mnémotechnique pour le "Vivant" évoqué.

Et aussi :
Conclusion
L’IA offre d’immenses opportunités pour transformer notre économie et résoudre nos plus grands défis, mais nous devons également gérer les risques posés par cette technologie complexe. L’accord sur l’interrupteur d’arrêt est un pas dans la bonne direction, mais il reste encore beaucoup à faire pour garantir que l’IA reste bénéfique pour l’humanité. Comme l’a déclaré Michelle Donelan, secrétaire à la technologie du Royaume-Uni : « Ce potentiel complet ne peut être débloqué que si nous sommes capables de maîtriser les risques posés par cette technologie en constante évolution ».
Pour faire bref, le fait que l'inscription " Γνῶθι σεαυτόν" ("connais-toi toi même" soit gravée à l'entrée du temple de Delphes (c'est la plus ancienne) indique une condition initiale pour être en capacité de recevoir l'oracle proféré par la Πυθία (Pythie) et s'affranchir de l'interprétation des prêtres (voilà que je deviens hérétique, tiens).
L'IA (peu importe ici ce dont il s'agit) est une création humaine (comme le syndrome terminator), peut-être l'externalisation d'une fonctionnalité nécessaire à ce moment technologique, qui du fait même de la technologie (agressive pour le moins) risque de nous emporter tous (voire même par inadvertance) : sommes-nous capables de nous connaître nous-mêmes ?
0  0 
Avatar de Kannagi
Expert éminent sénior https://www.developpez.com
Le 28/05/2024 à 16:31
Citation Envoyé par Fluxgraveon Voir le message
Peut-être que le vivant n'est pas qu'un "mécanisme" (cela a quelque chose à voir avec le courant positiviste et le fait que la biologie a emprunté le même chemin que la physique). Aussi vous évoquez la génétique et quid de l'épigénétique (de ces comportements qui activent ou inhibent l'expression des gènes) ?
André Pichot ( biologiste et épistémologiste ) supposé lui aussi que la vision purement "mécanisme" était une impasse :

Selon lui la biologie moderne est dans une impasse théorique qu'elle masque à l'aide d'opérations médiatiques et de débauche technologique (Téléthon, annonces fracassantes de thérapies miracles, séquençage du génome humain, etc).

La domination du néo-darwinisme de la génétique et de la biologie moléculaire (constituée de « dogmes » selon certains biologistes, et notamment Francis Crick) aurait, selon Pichot, stérilisé presque toute tentative de penser le vivant autrement que comme une machine.
L'analogie mécaniste remonte au XVIIe siècle et n'était alors qu'une métaphore commode, faite faute de mieux ; aujourd'hui selon lui la machine serait devenue le modèle exclusif par lequel les scientifiques tentent d'appréhender le vivant.

Or une telle conception du vivant est très critiquable. Selon Pichot, tant que cette conception du vivant comme machine ne sera pas critiquée et tant qu'il n'y aura pas de théorie sur la nature des êtres vivants qui reconnaisse leur spécificité par rapport aux objets inanimés et aux machines, il ne sortira rien de la biologie moderne
Citation Envoyé par Fluxgraveon Voir le message

De quels neurones parlez-vous (cérébraux uniquement ?) ? les neurones entériques produisent la grande majorité des neuromédiateurs (95 % de la sérotonine), le cœur dispose de son propre réseau de neurones qualifiés de "semi-autonomes" et de mon point de vue le microbiote constitue un cerveau supplémentaire à part entière nous interfaçant avec l'environnement.
Quant au fameux code ADN, je le vois comme une base mnémotechnique pour le "Vivant" évoqué.
Je ne suis pas biologiste , je parlais des neurones du cerveau , mais j'ai presque envie de dire "peu imposte" , ce que je voulais relevé était qu'un neurone est un peu plus complexe que la vision actuel qu'on en fait qui est une sorte de multriplication de matrice (IA) , avec de simple "entre sortie" multiple.

Pareil pour l'ADN qui n'est pas un "programme" (que André Pichot critiquais d'ailleurs).

Je pense que nos grandes méconnaissance du vivant sur ces nombreux point sont quelque chose de plus significatif.
Le soucis de la vision mécanisme , ce n'est pas tant pour moi que le vivant n'est pas une "machine" , mais que nous la voyant comme des rouages qui ont chaqu'un leur propre mécanisme indépendant, comme une voiture qu'on pourrait changer de pièce , et que chaque pièce étant totalement indépendant.
Ce qui conduit à la conclusion actuel que le cerveau c'est juste un "algorithme" en effaçant toute la partie vivante comme si cela n'avait aucun impact.

Alors que j'ai des forts doutes sur cette vision, au contraire, j'ai l'impression que chaque rouage du vivant partage plus ou moins les mêmes "mécanismes" mais en plus sont fortement dépendant entre elle.
Et le cerveau et la conscience en font partie intégrante de ce mécanisme entremelée.
0  0 
Avatar de Kannagi
Expert éminent sénior https://www.developpez.com
Le 30/05/2024 à 8:21
Citation Envoyé par Fluxgraveon Voir le message

Comme une interdépendance des phénomènes ? Ce qui pourrait constituer un pas vers l'intégration de l'agentivité en question et court-circuiter la réification technologique (nécessaire à une configuration de type IoT cela dit) : il manque encore quelque chose disons "de plus rentable que la rentabilité elle-même", peut-être quelque chose de ... vital ?
Ce n'est pas trop compris , et qu’appeler vous "quelque chose de vital ? quel en serait sa forme ?
0  0 
Avatar de Fluxgraveon
Membre actif https://www.developpez.com
Le 30/05/2024 à 9:42
Agencement, agentivité, génétique, épigénétique, etc. : il s'agit de recontextualiser en fait, sortir du laboratoire (quand bien même celui-ci est installé à ciel ouvert parfois) et "s'approprier" les dynamismes plutôt que les "choses".

qu’appeler vous "quelque chose de vital ? quel en serait sa forme ?
En substance et au vu de ce vers quoi les humains convergent, qui est pour le moins toxique, un risque d'extinction de l'espèce (cf. les expériences de cloaque comportemental : des "répliques" d'un séisme de dépopulation de masse amenant finalement l'extinction de la population toute entière).
0  0 
Avatar de Kannagi
Expert éminent sénior https://www.developpez.com
Le 01/06/2024 à 3:56
Citation Envoyé par Fluxgraveon Voir le message
J'ajoute :
Je vais même au-delà : l'intelligence est le fait même du vivant, de son expression (nous sommes des expressions du vivant parmi d'autres)
C'est ce que j'ai dit sur un de mes premier messages
La plus grosse erreur est d'avoir séparé la conscience du vivant, ce qui est sur , c'est qu’on n'en saura rien de notre vivant vu cette mode de "l'ia" et la fable qu'un ordinateur créera une conscience.

Mon avis est que la conscience a "hérité" des processus du vivant , je pense qu'il y'a forcément des processus "similaire" en amont, ce n'est pas un processus qui est "spontané" et "singulier" du cerveau.
0  0 
Avatar de Fluxgraveon
Membre actif https://www.developpez.com
Le 03/06/2024 à 14:34
Citation Envoyé par Kannagi Voir le message
C'est ce que j'ai dit sur un de mes premier messages
La plus grosse erreur est d'avoir séparé la conscience du vivant, ce qui est sur , c'est qu’on n'en saura rien de notre vivant vu cette mode de "l'ia" et la fable qu'un ordinateur créera une conscience.

Mon avis est que la conscience a "hérité" des processus du vivant , je pense qu'il y'a forcément des processus "similaire" en amont, ce n'est pas un processus qui est "spontané" et "singulier" du cerveau.
"Séparer la conscience du vivant" n'est pas une erreur "conventionnelle", c'est une erreur "nécessaire" et qui a un caractère itératif, de la même façon que cette discussion qui débouche sur une "mise au point à l'infini" (focométrie) : jusqu'à comprendre ce que cela ... recèle.
Ce qui est aussi la raison de votre émission d'un point de Godwin (Loi de Godwin étendue) ; ici, cela réside dans : "ce qui est sur , c'est qu’on n'en saura rien de notre vivant". En fait, vous ne me lisez pas, vous confirmez votre point de vue (cela ne me dérange pas du tout).
Quant à "la fable qu'un ordinateur créera une conscience", j'ai, pour faire bref, rencontré dans un bar un quadra actif, qui m'a affirmé considérer (ceci n'est pas du tout une blague) que son laptop est vivant.
Or quelqu'un a dit justement : " le reflet est vous, cela dit vous n'êtes pas le reflet", ce qui résout, au passage, la question d'Hamlet.
Mmm, à vous lire sur : "je pense qu'il y'a forcément des processus "similaire" en amont".
Cordialement
0  0