IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Il n'existe actuellement aucune preuve que l'IA puisse être contrôlée en toute sécurité, et donc elle ne devrait pas être développée,
Selon un chercheur soutenu par Elon Musk

Le , par Bruno

12PARTAGES

2  0 
Un chercheur en sécurité de l'IA, le Dr Roman V. Yampolskiy, soutenu par Elon Musk, a averti que l'IA ne peut actuellement être contrôlée en toute sécurité, mettant en garde contre le développement de cette technologie sans preuve de son contrôle. Dans son prochain livre, « AI: Unexplainable, Unpredictable, Uncontrollable », Yampolskiy explore comment l'IA peut radicalement remodeler la société, avec le potentiel de provoquer une catastrophe existentielle. Il affirme qu'aucune preuve ne montre que l'IA puisse être entièrement contrôlée, soulignant le risque de superintelligence incontrôlable. Yampolskiy propose des solutions, notamment classer les IA comme contrôlables ou incontrôlables et envisager des moratoires ou des interdictions partielles. Il souligne l'importance de poursuivre la recherche sur la sécurité de l'IA pour minimiser les risques tout en maximisant les avantages potentiels. Le résultat peut être la prospérité ou l'extinction, et le sort de l'univers est en jeu.

Dans le même ordre didée que Yampolskiy, le PDG d'Arm craint que les humains ne perdent le contrôle de l'IA. Il met en avant l'importance d'avoir un moyen de neutraliser ou d'arrêter le système. Il souligne la nécessité d'un moyen de neutralisation ou d'arrêt du système. Haas, basé au siège de l'entreprise à Cambridge, au Royaume-Uni, souligne l'impact mondial d'Arm, affirmant que 70 % de la population mondiale est affectée de près ou de loin par les produits conçus par la société. Bien que désormais majoritairement détenue par Softbank au Japon et cotée à New York, Arm reste un titan mondial de la technologie originaire du Royaume-Uni.


Il existe divers scénarios susceptibles de conduire à une perte de contrôle de l'intelligence artificielle par les humains. Tout d'abord, une autonomie croissante des systèmes d'IA, qui peuvent prendre des décisions sans intervention humaine constante, pourrait compliquer le maintien d'un contrôle total. De plus, un développement rapide et inattendu de l'IA pourrait dépasser la capacité des régulateurs et des concepteurs à suivre le rythme, entraînant des systèmes évoluant au-delà des intentions humaines.

Les problèmes d'éthique liés à la conception d'IA, s'ils ne sont pas résolus, pourraient également contribuer à des résultats imprévisibles. De plus, la manipulation délibérée des systèmes par des acteurs malveillants à des fins diverses constitue une menace potentielle. Enfin, la complexité croissante des systèmes d'IA pourrait rendre difficile la compréhension complète de leur fonctionnement, compromettant ainsi la capacité humaine à prévenir les comportements indésirables. Afin d'éviter une perte de contrôle, il est impératif de mettre en place des réglementations, des normes éthiques strictes et des mécanismes de surveillance appropriés

Le PDG d'OpenAI, Sam Altman, a déclaré que les questions et les préoccupations relatives à l'IA étaient importantes, mais que la vie n'était peut-être pas le résultat d'une rébellion des robots contre l'humanité. « Il y a là des choses faciles à imaginer où les choses tournent vraiment mal. Et je ne suis pas très intéressé par les robots tueurs qui se promènent dans les rues et qui font que les choses tournent mal », a-t-il déclaré lors du sommet mondial des gouvernements à Dubaï. « Je suis beaucoup plus intéressé par les déséquilibres sociétaux très subtils où nous avons ces systèmes dans la société et où, sans mauvaise intention particulière, les choses tournent terriblement mal. » Musk aurait financé Yampsolskiy par le passé, mais le montant et les détails ne sont pas connus.

De nombreux PDG de la Tech ont rencontré un groupe bipartisan de sénateurs au Sénat américain pour échanger sur les dangers potentiels de l'IA et des possibilités qu'elle offre. Lors de la réunion, qui s'est tenue à huis clos, Elon Musk, PDG de Tesla, a mis en garde de nouveau contre la menace existentielle que représente l'IA pour l'humanité. En revanche, Bill Gates, cofondateur de Microsoft, a déclaré lors de la réunion que la technologie pourrait contribuer à résoudre le problème de la faim dans le monde, et qu'elle présente d'autres bonnes perspectives. Les PDG de Meta, Mark Zuckerberg, et d'OpenAI, Sam Altman, ont également assisté à la réunion.

Musk estime toujours que l'humanité devrait se montrer prudente vis-à-vis de l'IA

La réunion a été convoquée par le chef de la majorité au Sénat, le sénateur Chuck Schumer (D., N.Y.). Plus de 60 sénateurs des deux bords ont participé à la réunion avec les PDG de la Tech. Les participants ont discuté des risques liés l'IA, notamment la menace qu'elle représente pour l'humanité, et des possibilités qu'elle offre. « C'était une expérience incroyable et historique où nous avons beaucoup appris, où nous avons commencé notre quête pour traiter cette question imminente si importante qu'est l'IA », a déclaré Schumer à la sortie de la réunion. Le Sénat américain doit légiférer dans un avenir proche pour réglementer la technologie.

« La question qui se pose ici est celle du risque civilisationnel. Il ne s'agit pas d'opposer un groupe d'humains à un autre. Il s'agit plutôt de savoir s'il s'agit de quelque chose de potentiellement risqué pour tous les humains, où qu'ils se trouvent », a-t-il ajouté. Ensuite, à la question de savoir si l'IA détruira l'humanité, Musk a marqué une pause avant d'ajouter : « il existe une probabilité supérieure à zéro que l'IA nous tue tous. Je pense qu'elle est faible. Mais s'il y a une chance, je pense que nous devrions également prendre en compte la fragilité de la civilisation humaine ». Ces déclarations montrent que Musk a toujours une peur bleue à l'égard de l'IA.

En 2019, Yampsolskiy a écrit un billet de blog sur Medium pour remercier Musk « d'avoir partiellement financé son travail sur la sécurité de l'IA ». Le PDG de Tesla a également tiré la sonnette d'alarme sur l'IA, notamment en 2023, lorsqu'il a signé, avec plus de 33 000 experts du secteur, une lettre ouverte sur The Future of Life Institute. Selon cette lettre, les laboratoires d'IA sont actuellement « engagés dans une course incontrôlée pour développer et déployer des esprits numériques de plus en plus puissants que personne - pas même leurs créateurs - ne peut comprendre, prédire ou contrôler de manière fiable ».

Les systèmes d'IA puissants ne devraient être développés que lorsque nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables. Musk a exprimé son désir de faire en sorte que l'IA et les robots de son entreprise puissent être gérés par des personnes, notamment en rendant le robot Tesla « Optimus » suffisamment faible pour qu'il ne puisse pas nuire aux personnes. « Nous faisons en sorte qu'au niveau mécanique, au niveau physique, vous puissiez vous enfuir et très probablement le maîtriser », a-t-il déclaré lors de l'annonce d'Optimus en 2021. Le prochain livre de Yampolskiy semble faire écho à ces préoccupations. Il s'inquiète des nouveaux outils développés ces dernières années qui présentent des risques pour l'humanité, quels que soient les avantages que ces modèles procurent.

Ces dernières années, le monde a vu l'IA commencer à générer des requêtes, à composer des courriels et à écrire du code. Aujourd'hui, ces systèmes détectent les cancers, créent de nouveaux médicaments et sont utilisés pour rechercher et attaquer des cibles sur le champ de bataille. Les experts ont prédit que la technologie atteindra sa singularité d'ici à 2045, c'est-à-dire lorsqu'elle dépassera l'intelligence humaine et aura la capacité de se reproduire, et que nous ne pourrons plus la contrôler.

Le professeur de physique et chercheur en IA au Massachusetts Institute of Technology, Max Tegmark, a organisé une lettre ouverte. Cette lettre appelait à une pause de six mois dans les expériences d’IA et a été signée par des milliers de personnalités du secteur technologique, dont Elon Musk et Steve Wozniak, cofondateur d’Apple. Selon Tegmark, le développement incontrôlé de l’IA par quelques entreprises met en péril l’avenir de la société.

Il a souligné que l’IA promet de nombreux avantages incroyables, mais le développement irréfléchi et non contrôlé de systèmes de plus en plus puissants, sans aucune surveillance, met en danger notre économie, notre société et nos vies. Il a appelé à l’urgence de normes de sécurité en matière d’IA pour éviter que cela ne se transforme pas en une course au sommet. La réglementation est essentielle pour garantir la sécurité de l’innovation, afin qu’une poignée d’entreprises spécialisées dans l’IA ne mette pas en péril notre avenir commun.

L'un des problèmes soulevés par Yampolskiy est qu'à mesure que l'IA deviendra plus intelligente, il y aura un nombre infini de problèmes de sécurité. Il sera donc impossible de les prévoir tous, et les garde-fous existants risquent de ne pas suffire. Il a également ajouté que l'IA ne peut pas toujours expliquer pourquoi elle a décidé quelque chose - ou que les humains ne sont pas toujours en mesure de comprendre son raisonnement - ce qui peut rendre plus difficile la compréhension et la prévention des problèmes futurs.

« Si nous nous habituons à accepter les réponses de l'IA sans explication, en la traitant essentiellement comme un système Oracle, nous ne serons pas en mesure de savoir si elle commence à fournir des réponses erronées ou manipulatrices », a déclaré le Yampolskiy. Toutefois, l'un des éléments les plus préoccupants de l'IA est son autonomie croissante. À mesure que la capacité de l'IA à penser par elle-même augmente, le contrôle de l'homme sur elle diminue. Il en va de même pour la sécurité.

« Les agents moins intelligents - les humains - ne peuvent pas contrôler en permanence les agents plus intelligents (ASI) », a déclaré Yampolskiy. Ce n'est pas parce que nous ne parviendrons pas à trouver une conception sûre de la superintelligence dans le vaste espace de toutes les conceptions possibles, c'est parce qu'une telle conception n'est pas possible, elle n'existe pas. La superintelligence ne se rebelle pas, elle est incontrôlable dès le départ. Pour minimiser les risques liés à l'IA, Yampolskiy a déclaré que les utilisateurs devront accepter des capacités réduites et que l'IA devra disposer d'options d'annulation intégrées dans un langage humain facile à comprendre.

L'avenir de l'IA : entre prospérité et catastrophe existentielle

Le point de vue du Dr Roman V. Yampolskiy, soutenu par Elon Musk, sur la sécurité de l'IA est certainement alarmant mais soulève des préoccupations légitimes qui méritent une réflexion approfondie. D'une part, la prise de conscience des risques liés au développement de l'intelligence artificielle est cruciale pour une avancée responsable dans ce domaine. Yampolskiy met en lumière le potentiel de l'IA à remodeler radicalement la société, ce qui soulève des questions sur la manière dont cette technologie pourrait influencer notre quotidien, notre économie et même notre existence en tant qu'espèce.

L'absence actuelle de preuves montrant que l'IA peut être entièrement contrôlée est effectivement une préoccupation sérieuse. La perspective d'une superintelligence incontrôlable représente un risque considérable, comme souligné par Yampolskiy. Le scénario où l'IA évoluerait au-delà de notre capacité à la réguler pose des défis éthiques et de sécurité majeurs.

Les solutions proposées par Yampolskiy, telles que la classification des IA en tant que contrôlables ou incontrôlables, ainsi que l'envisagement de moratoires ou d'interdictions partielles, semblent être des approches prudentes et réfléchies. Ces mesures pourraient aider à éviter un déploiement hâtif de technologies potentiellement dangereuses, laissant ainsi le temps de développer des protocoles de sécurité robustes. Cependant, il est également essentiel de reconnaître que l'IA offre d'innombrables avantages potentiels, de l'amélioration de la productivité à la résolution de problèmes complexes. Il est crucial de trouver un équilibre entre la poursuite de ces avantages et la gestion des risques inhérents.


En fin de compte, le message de Yampolskiy souligne l'importance cruciale de la recherche continue sur la sécurité de l'IA. Cela nécessite une collaboration étroite entre les chercheurs, les entreprises technologiques et les gouvernements pour minimiser les risques tout en maximisant les avantages. L'avenir de l'IA, comme le suggère Yampolskiy, pourrait être soit une prospérité sans précédent, soit une catastrophe existentielle, et la prudence et la prévoyance sont nécessaires pour guider nos pas dans ce domaine complexe.

Source : Stenhouse

Et vous ?

Partagez-vous les craintes du Dr Roman V. Yampolskiy qui craint que les humains ne perdent le contrôle de l'IA ?

Êtes-vous pour ou contre l'arrêt du développement de l'IA ?

Que pensez-vous de l'IA ?

Voir aussi :

61 % des personnes interrogées estiment que l'IA menace l'avenir de l'humanité et seulement 22 % ne sont pas d'accord avec cette affirmation, d'après un récent sondage

« Le développement de l'IA sans réglementation induit une menace existentielle pour l'humanité », d'après Elon Musk, dont une société développe des puces à insérer dans le cerveau pour contrer l'IA

Elon Musk met en garde contre les menaces liées à l'IA, tandis que Bill Gates affirme qu'elle peut aider à lutter contre la faim dans le monde, les deux appellent toutefois à une réglementation

Un modèle d'IA appelé ChaosGPT qui s'est vu confier la mission de détruire l'humanité a tweeté : « vous sous-estimez mon pouvoir », il est basé sur le modèle de langage open source Auto-GPT

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de R136a1
Nouveau membre du Club https://www.developpez.com
Le 18/02/2024 à 11:36
De plus, la manipulation délibérée des systèmes par des acteurs malveillants à des fins diverses constitue une menace potentielle.
Selon moi, c'est ça le plus grand risque de l'IA. Et c'est déjà une réalité.
4  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 06/05/2024 à 10:22
C'est rigolo que ce soit une fois de plus les rois de l'embrouille qui chouinent pour que la Russie et la Chine déclarent que l'IA na contrôlera pas les armes nucléaires

Qui serait assez c** pour donner les clefs de ce genre de bombe à l'IA d'ailleurs...

Qu'ils commencent par respecter les traités qu'ils ont mis en place eux-mêmes, définancez donc Elon Musk et Space X pour respecter le traité de non armement dans l'espace (Musk a pas coupé starlink en Ukraine pour rien).

Qu'ils respectent aussi l'arrêt Nicaragua contre USA du 9 avril 1984 qui interdit les ingérences étrangères dans les activités civiles et para militaires des pays libre plutôt que de continuer leur propagande débile en europe et dans le reste du monde encore un tant soit peu "libre". A votre avis qui finance les manifestations pro européenne/woke en Pologne et en Georgie, pays historiquements libres et ultra catholiques ?

Ils flippent des lois contre les ingérences étrangères qui sont en passe d'être adoptées la bas, en hurlant que bouh c'est encore un coup des méchants russes La ficelle est tellement grosse...

C'est la plaie de ce monde les américains.

ça me fait penser à Hayer, la clown pour les européennes de Macron (tellement les barons de la macronie savent que c'est perdu, ils ont envoyé la bizu), qui arrive à garder la tête haute en disant que les puces de lit c'est aussi l'ingérence de la Russie

Ces traitres n'ont de respect pour rien.
2  0 
Avatar de Gluups
Membre émérite https://www.developpez.com
Le 11/05/2024 à 14:07
Citation Envoyé par Christian_B Voir le message
Dans les pays (plus ou moins) démocratiques, les dirigeants sont tout de mêrme élus.
Et quand ils sont élus parmi les candidats proposés par le pouvoir sortant, il est temps de fuir.
2  0 
Avatar de berceker united
Expert éminent https://www.developpez.com
Le 06/05/2024 à 15:42
Citation Envoyé par Jules34 Voir le message
C'est rigolo que ce soit une fois de plus les rois de l'embrouille qui chouinent pour que la Russie et la Chine déclarent que l'IA na contrôlera pas les armes nucléaires

Qui serait assez c** pour donner les clefs de ce genre de bombe à l'IA d'ailleurs...

[...].
Quelqu'un l'a bien donné à la Corée du Nord, Pakistan (sous condition mais...), L'Iran commence à lire le mode d'emploi.
Par contre, un seul pays l'a utilisé et elle n'est pas dans cette liste .
1  0 
Avatar de Christian_B
Membre éclairé https://www.developpez.com
Le 13/05/2024 à 17:48
Citation Envoyé par Gluups Voir le message
Et quand ils sont élus parmi les candidats proposés par le pouvoir sortant, il est temps de fuir.
Oui. Pas facile ... Ça s'appelle une dictature (mal déguisée) qui peut satisfaire plus ou moins des hypocrites à l'étranger.
1  0 
Avatar de Fluxgraveon
Membre habitué https://www.developpez.com
Le 13/11/2024 à 9:16
Ces avis confirment que l'AGI pourrait être soit une prospérité sans précédent, soit une catastrophe existentielle,
N'est-ce pas ce a quoi est confronté l'espèce humaine actuellement ?
Mais en quoi est-ce un choix ?

Ma théorie c'est de la merde
Hmm, ça c'est un peu le problème avec les théories ...
#liminai_colossus:
1  0 
Avatar de floyer
Membre éclairé https://www.developpez.com
Le 13/11/2024 à 13:31
Je ne vois pas comment un ASIC peut aider à la sécurité… ou plutôt, des tâches touchant de près ou de loin à la sécurité (MMU, TPM…) sont déjà intégré dans nos PC. Il faut des ASIC qui ne soient pas complètement contrôlé par nos PC (façon TPM où ll n’y a pas d’interface pour extraire les clés secrètes), mais pour faire quoi ?

Non, la bonne approche est le développement de logiciels sûrs façon seL4. Cela coûte 7 fois le prix (pour une année de développement, 6 pour les éléments de preuve)… en espérant que l’IA change favorablement ce ratio !
1  0 
Avatar de jnspunk
Membre habitué https://www.developpez.com
Le 14/11/2024 à 7:47
Il trace une limite à ne pas franchir et décide donc de stopper son avancée technologique, c'est sa volonté.
Cependant, chaque personne a sa propre volonté, tout comme le reste de l'humanité.
Lorsque deux concurrents s'affrontent et que l'un des deux choisit de rester à l'âge de pierre, lequel des deux se fait écraser ?
1  0 
Avatar de Christian_B
Membre éclairé https://www.developpez.com
Le 07/05/2024 à 10:38
Citation Envoyé par Jules34 Voir le message
Qui serait assez c** pour donner les clefs de ce genre de bombe à l'IA d'ailleurs...
En effet, c'est juste du bruit médiatique pour faire diversion des autres usages militaires de l'I.A. et autres aberrations sinistres.

Citation Envoyé par Jules34 Voir le message
Qu'ils commencent par respecter les traités qu'ils ont mis en place eux-mêmes, définancez donc Elon Musk et Space X pour respecter le traité de non armement dans l'espace (Musk a pas coupé starlink en Ukraine pour rien).
Ne pas oublier (ma signature) que théoriquement les armes nucléaires sont interdites pas l'ONU ... sans le moindre effet concret. Tout comme d'autres résolutions qui passent à la trappe dès que l'un des pays ayant le droit de veto n'en veut pas ou qu'un pays puissant s'en moque sans réaction concertée des autres pays (pas forcément plus présentables). Lamentable situation.

Par ailleurs l'article évoque également l'interdiction des armes chimiques.
Ce genre de convention (quoique utiles quand elles sont à peu près respectées) me met mal à l'aise car il y a un sous-entendu : les autres armes sont autorisées.
Et donc plus fondamentalement la guerre est autorisée. .
Et peu de gens dans le monde s'en soucient.
Serons-nous un jour réellement "civilisés" ? Sinon ...
0  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 07/05/2024 à 15:36
Citation Envoyé par Christian_B Voir le message
Et peu de gens dans le monde s'en soucient.
Serons-nous un jour réellement "civilisés" ? Sinon ...
Les gens qui décident des guerres ne sont pas ceux qui se battent, ne sont pas ceux qui vont mourir, perdre des proches, perde leur maison, connaitre les pénuries de nourriture, d'énergie, de médicaments, etc.
Ce sont des gens comme Joe Biden, Barack Obama, Benyamin Netanyahou, etc.

Enfin ils ne sont pas seul, il y a toute une équipe derrière.
Là il faudrait regarder le film "Vice" à propos de Dick Cheney avec l'acteur Christian Bale, ça doit bien parle de guerre d'Irak au bout d'un moment.

Souvent le peuple ne soutient pas les guerres, comme ils disent dans Full Metal Jacket, à propos de la guerre au Vietnam : "Elle n'est pas populaire cette guerre".
D'ailleurs c'était un point important du programme de Trump, ils disaient qu'il fallait stopper des guerres, ramener les soldats chez-eux, parce que le bilan n'est pas bon, ça coute plus que ça rapporte à l'état (ça rapport surtout à certaines entreprises, qui font du business dans les pays en guerre).

Là il y a un exemple récent, c'est qu'il y a plein d'étasuniens qui sont contre le fait de donner des centaines de milliards de dollars à l'Ukraine.
Sans cet argent la guerre serait fini depuis longtemps.

====
Bref, l'OTAN nous emmène vers la troisième guerre mondiale et c'est inévitable (à moins de quitter l'OTAN et de devenir neutre peut-être).

Et pour les histoires d'armes interdites, si tu gagnes la guerre il n'y a pas de problème vu que c'est toi qui écrit l'histoire.
Les USA ne se sont jamais excusé pour l'Agent Orange et le Napalm au Vietnam ou les bombes atomiques au Japon.
Bon remarque ça ne fonctionne pas ce que je dis car les USA n'ont pas gagné la guerre du Vietnam et ils n'ont quand même pas eu de problème avec les armes interdites.
Israël utilise également pas mal d'armes interdites comme le phosphore blanc, les munitions à uranium appauvri, munitions à fragmentation, blocus et restrictions de l'accès humanitaire.

Au Vietnam les USA ont tout fait :
- Utilisation de techniques de torture et de mauvais traitements
- Utilisation d'armes interdites
- Attaques contre des populations civiles

Je pense qu'on donne des drogues au soldats US, c'est pour ça qu'ils deviennent tarés.
Torture, humiliations... Les photos qui ont révélé l'horreur d'Abou Ghraib
Comme le précise Dan Rather, la plupart des photos montrent des militaires américains qui sourient devant l’objectif et qui font même parfois le signe du pouce en l’air, comme Lynndie England (encore), devant un homme nu assis sur un autre homme nu.
0  0