Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les trois lois de la robotique d'Isaac Asimov
Des principes dépassés par la direction prise dans le développement des IA ?

Le , par Stéphane le calme

32PARTAGES

16  1 
Le regretté Isaac Asimov, écrivain américano-russe et un professeur de biochimie à l'Université de Boston, surtout connu pour ses œuvres de science-fiction et ses livres de vulgarisation scientifique, a vu plusieurs de ses œuvres adaptées au grand écran comme L'Homme bicentenaire, qui met en vedette un robot doté d'un esprit d'analyse par accident, se montre capable de créativité, se donne des buts, des objectifs à atteindre et va, au fil de ses apprentissages et de ses émotions, apprendre la vie. Bien sûr il ne s'agit pas de sa seule oeuvre qui traite de robotique et d'intelligence artificielle, nous pouvons également citer I, Robot,

C'est d'ailleurs dans cette oeuvre qu'il énonce ses fameuses lois sur la robotique qui sont :
  • la première loi est énoncée comme suit : « un robot ne pourra pas nuire à un être humain ou, par son inaction, laisser un humain être blessé » ;
  • la seconde : « un robot doit obéir aux ordres dictés par le personnel qualifié, à moins que ces ordres ne soient en contradiction avec la première loi », autrement un robot pourrait par exemple être autorisé à tuer un être humain ;
  • et enfin la troisième : « un robot doit protéger sa propre existence, à moins que cela ne porte atteinte à la première ou à la seconde loi », après tout il est constitué de pièces d'équipements onéreuses. Isaac Asimov a précisé « qu'un robot doit aller joyeusement à l'autodestruction si c'est pour suivre un ordre [seconde loi] ou si c'est pour sauver une vie humaine [première loi] »



Pour situer le contexte, en 2035, les robots sont pleinement intégrés dans la vie quotidienne. Quelques jours avant la commercialisation d'un nouveau robot par USR (US Robots pour Asimov et USRobotics dans le film), un de ses fondateurs, le roboticien Alfred Lanning, se suicide. L'officier de police Del Spooner, qui se méfie des robots depuis que l'un d'entre eux a laissé mourir une jeune fille pour le sauver, lui, ne croit pas au suicide. Il tient donc à découvrir le meurtrier.

Si les œuvres de science-fiction ont inspiré (ou ont été inspiré) des progrès technologiques, il est légitime de se demander la pertinence des lois évoquées par Asimov durant cette course au développement de l'intelligence artificielle à toutes les sauces.

Une première loi déjà obsolète ?

De prime abord, rappelons que plus d'une dizaine de pays (parmi lesquels les États-Unis, la Chine, Israël, la Corée du Sud, la Russie et la Grande-Bretagne) développent actuellement des systèmes d'armes autonomes, selon un rapport de Human Rights Watch. La perspective du développement d'un usage militaire de l'IA a indigné de nombreuses personnes et conduit à des manifestations de militants de 35 pays pour demander leur interdiction. Noel Sharkey, l'une des figures de proue de la campagne pour arrêter les robots tueurs était présent à Berlin pour participer à la réunion internationale de la Campagne pour arrêter les robots tueurs en mars 2019. Noel Sharkey est un professeur émérite de l'université de Sheffield, aussi un spécialiste reconnu de la robotique et de l'intelligence artificielle. « Je peux vous construire un robot tueur en seulement deux semaines », a-t-il dit lors du rassemblement avec un regard avertisseur.

Sharkey s'oppose à l'idée de parler de « systèmes d'armes autonomes mortels » comme s'il s'agissait d'un roman de science-fiction, d’après Deutsche Welle. Le militant des droits de l’homme dit que, les systèmes d'armes entièrement autonomes sont une réalité bien établie. Pour lui, il n'est pas nécessaire de discuter de leur définition qui est déjà assez connue comme étant des armes qui cherchent, sélectionnent et attaquent des cibles par leurs propres moyens. C'est, par ailleurs, la définition que le Comité international de la Croix-Rouge (CICR) leur donne.


En effet, les soldats n'ont plus besoin d’appuyer sur la détente avec de telles armes. Ces robots, boostés par l’intelligence artificielle, utilisent eux-mêmes un logiciel intégré pour trouver et frapper des cibles. Ces armes peuvent prendre la forme de missiles, de véhicules terrestres sans pilote, de sous-marins ou d'essaims de mini-drones.

Les premières discussions formelles visant à limiter ou interdire l’utilisation des systèmes d’armes létales autonomes (SALA) ou des robots de guerre, pour faire simple, se sont tenues au cours des derniers mois de l’année 2017 à Genève sous l’égide de L’ONU. Ces discussions axées autour de la convention sur certaines armes classiques (CCAC) devraient permettre de soumettre ces dispositifs de guerre au droit international en identifiant les « SALA illicites » en fonction du niveau de contrôle attribué à l’homme.

À ce sujet, la France a proposé d’approfondir la distinction entre les systèmes dotés « d’automatismes » de complexité variable et les systèmes « autonomes » qui ne font appel à aucune mesure de supervision humaine. Le gouvernement russe est resté fermement opposé à toute interdiction visant à limiter ou interdire le développement des SALA ou des technologies liées à l’IA à des fins militaires qui serait prise au niveau de l’ONU.

Une seconde loi elle aussi obsolète

Dès lors qu'un « personnel non qualifié » peut ordonner à un robot de tuer une cible, cela va à l'encontre de la seconde loi (bien sûr, même si le « personnel qualifié » peut ordonner de tuer une cible, cela va également à l'encontre de la seconde loi).

Dans une lettre ouverte cosignée par 116 spécialistes de l'IA et de la robotique, Elon Musk a appelé les Nations Unies à tout simplement interdire les robots tueurs. « Les armes autonomes létales menacent de devenir la troisième révolution dans la guerre. Une fois développées, elles vont propulser les conflits armés à une échelle plus grande que jamais, et à des échelles de temps plus rapides que les humains puissent comprendre. Celles-ci peuvent être des armes de terreur, des armes que les despotes et les terroristes utilisent contre des populations innocentes et des armes détournées pour se comporter de manière indésirable. Nous n'avons pas assez de temps pour agir. Une fois que cette boîte de Pandore est ouverte, il sera difficile de la fermer », avertissent-ils.

Ils ont demandé ce qui se passerait si les robots tueurs étaient piratés ou détournés. À l’argument de la faillibilité des IA, les défenseurs de la cause des robots tueurs répondent que l’apprentissage automatique est encore à ses débuts et qu’il suffirait de le laisser progresser afin de rendre les IA moins vulnérables. Toutefois, il serait objectif de se demander quelle intelligence artificielle, quel système informatique connecté ne peut pas être piraté ou détourné ? Supposons qu’un drone autonome se fasse pirater par un terroriste, combien de personnes pourraient perdre la vie à cause de cette même technologie conçue pour empêcher au maximum les dommages collatéraux ?


Pour le cas du personnel autorisé à demander la mort d'une cible, Remotec Andros Mark V-A1 est le nom du robot utilisé par la police de Dallas pour abattre un tueur présumé des policiers. En juillet 2016, lors des manifestations qui ont eu lieu à Dallas, suite à la mort d’un homme noir tué par un policier blanc sans raison apparente, un réserviste de l’armée américaine du nom de Micah Xavier Johnson aurait ouvert le feu contre des policiers tuant cinq d’entre eux, d’après les autorités locales. Pour l’appréhender, les hommes en uniforme ont utilisé un dispositif assez connu aux États-Unis pour avoir été utilisé à d’autres fins, notamment pour désamorcer des bombes. Cependant, c’était la première fois que Remotec Andros Mark V-A1 était utilisé par la police dans une tactique visant à éliminer une cible.

D’après les autorités locales, le robot a servi à transporter une charge explosive jusqu’à l’endroit où était localisée la cible avant que celle-ci ne soit actionnée tuant ainsi le présumé tireur. C’est lors de la conférence de presse donnée plus tard par le chef de la police de Dallas, David Brown, que ce dernier a précisé que c’était bel et bien un Remotec Andros Mark V-A1 qui a été utilisé pour mener l’assaut. Il a également ajouté que le robot en question a été acquis en 2008 pour un montant d’environ 151 000 dollars.

Remotec Andros Mark V-A1 est un modèle fabriqué par Northrop Grumman et qui est guidé par un humain grâce à une télécommande. L’engin pèse environ 358 kg pour une vitesse maximale qui avoisine les 6 km/h. Il est doté d’une caméra avec un zoom optique de 26 et un zoom numérique de 12. Remotec Andros Mark V-A1 est capable de soulever jusqu’à 27 kg lorsque son bras est complètement étendu et son « poignet » peut appliquer une force de plus de 22 kg.

Conclusion

Certains pourraient trouver que les lois d'Isaac Asimov étaient pleines de bon sens, d'autres qu'elles édulcoraient un peu la nature humaine, lui occultant son côté guerrier / conquérant / (l'adjectif qui pourra entraîner une violence voulue envers autrui). L'opinion que chacun peut se faire de ces lois est tributaire de nombreux facteurs mais reste sans doute très subjective.

Et vous ?

Que pensez-vous des lois de la robotique d'Isaac Asimov ? Des principes dépassés, une formulation poétique ou un idéal à atteindre ?
Pensez-vous qu'elles pourraient s'appliquer à des IA vraiment intelligentes ?
Quelle(s) loi(s) vous semble(nt) la/les plus importante(s) ? Pourquoi ?
Quelle loi pourriez-vous suggérer ?
Les lois peuvent-elles être appliquées de façon universelle aux robots ou doivent-elles être spécifiques aux types de tâches qu'il peut accomplir ? ?

Voir aussi :

Des chercheurs en intelligence artificielle gagnent parfois plus d'un million de dollars chaque année, même dans des organisations à but non lucratif
L'intelligence artificielle, la nouvelle arme de la gendarmerie contre les Gilets jaunes
Intelligence artificielle : Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de "Skynet", d'après une étude
Gartner : la montée en puissance de l'IA créera 2,9 mille milliards USD de valeur commerciale en 2021 en valorisant l'intelligence augmentée
Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de 7gyY9w1ZY6ySRgPeaefZ
Expert confirmé https://www.developpez.com
Le 02/10/2019 à 16:10
Citation Envoyé par vxlan.is.top Voir le message
1. L'objectif de l'IA, c'est maximiser les valeurs humaines
Ouch... Rien que l'interprétation du terme valeur... Ça va prendre une équipe d'éthiciens, de philosophes... pour quelques décennies.
5  0 
Avatar de 7gyY9w1ZY6ySRgPeaefZ
Expert confirmé https://www.developpez.com
Le 02/10/2019 à 18:01
Citation Envoyé par Anselme45 Voir le message
1. Asimov est peut-être un écrivain de science-fiction à succès mais j'ai toujours de la peine à voir certains prendre ses écrits pour paroles d'évangile. Les "3 lois de la robotique" ne sont qu'une oeuvre d'écrivain et pas le résultat de la réflexion d'un groupe d'experts en éthique, en philosophie ou tout autre "science" en lien avec la définition de ce qui doit être considéré comme bon ou mauvais.
Il reste que les lois d'Asimov sont un point de départ intelligent mais je te rejoins, il y en a qui s'énerve beaucoup trop sur les excellents livres d'Asimov. Ça reste de la bonne science-fiction mais pas des prédictions à la Nostradamus.

Citation Envoyé par marsupial Voir le message
Pour les robots-tueurs, une "simple guerre" suffirait à les développer.
Tu es optimiste : je pense que les plans traînent déjà dans les tiroirs de quelques puissances et qu'il doit bien y avoir quelques protos dans les voûtes...
5  0 
Avatar de Thorna
Membre éprouvé https://www.developpez.com
Le 03/10/2019 à 8:35
Un des buts de toute la série des Robots (et de l'opposition entre terriens et spatiens dans les romans initiaux), est justement de montrer que les lois en questions sont contournables de toutes les manières et ne servent plus leurs buts au bout de pas très longtemps...
Un pic est atteint quand les robots décident d'inventer une "Loi 0", qui a pour but de mieux protéger l'humanité (alors qu'à ce moment on doute déjà des 3 lois initiales), mais surtout lorsqu'Asimov regroupe sa série des Robots et celle de Fondation tout à la fin: les robots judicieusement bricolés reconnaissent comme "humains" des versions bien spécifiques et allègrement modifiées génétiquement, ce qui fait qu'ils ne reconnaissent pas comme "humains" les vrais humains et les attaquent sans difficulté.
Bref, la "vraie vie" du développement de l'IA aujourd'hui nous fait sauter 10 000 ans d'évolution asimovienne pour arriver directement au terme: un "robot avec IA" est potentiellementune arme, un outil, un truc ou un machin quelconque, et on peut le programmer (ou l'éduquer, ou l'élever, ou lui donner un apprentissage, ou le laisser se dém***er tout seul...) exactement et 100% comme on veut, pour qu'il devienne un peu n'importe quoi. Un peu comme un être humain.
4  0 
Avatar de Phiphi41
Membre habitué https://www.developpez.com
Le 03/10/2019 à 10:42
[Mode Humour]

La seule chose importante est : Etes-vous Sarah Connor ?

4  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 02/10/2019 à 16:37
1. Asimov est peut-être un écrivain de science-fiction à succès mais j'ai toujours de la peine à voir certains prendre ses écrits pour paroles d'évangile. Les "3 lois de la robotique" ne sont qu'une oeuvre d'écrivain et pas le résultat de la réflexion d'un groupe d'experts en éthique, en philosophie ou tout autre "science" en lien avec la définition de ce qui doit être considéré comme bon ou mauvais.

2. L'être humain peut le meilleur mais il s'ingénie toujours à faire le pire.

Donc... Oui les personnes concernées se "foutent" royalement des 3 lois de Asimov ainsi que de toute autre règle qui pourrait être défini par une quelconque organisation. La seule règle qui compte, c'est le fric!

Si il y a de l'argent à se faire, il y aura toujours des gugus pour s'essuyer les semelles sur les principes!
3  0 
Avatar de Steinvikel
Membre expérimenté https://www.developpez.com
Le 03/10/2019 à 11:56
Alerte au spoil :
on parle toujours des 3 lois d'Asimov, mais si on a lu l'oeuvre (les) jusqu'au bout on peut raisonablemant parler des 4 lois d'Asimov.

1) un robot ne peut agir contre l'intérêt de l'espèce humaine.

2) un robot ne peut faire de mal à un humain, sauf contradiction avec une lois "supérieure".

3) un robot doit obéir, , sauf contradiction avec une lois "supérieure".

4) un robot doit se préserver, sauf contradiction avec une lois "supérieure".
3  0 
Avatar de vxlan.is.top
Membre éprouvé https://www.developpez.com
Le 02/10/2019 à 15:44
Les lois d'Asimov ont été revisitées au fil du temps...
Sa 1ère loi, il l'avait énoncée dans Le Petit Robot Perdu qui date des années 50...

Perso, je trouve que les lois revisitées plus "abouties" sont celles de Stuart Russell. Les voici:

1. L'objectif de l'IA, c'est maximiser les valeurs humaines
Les robots doivent avoir pour seul objectif de maximiser la réalisation de valeurs humaines.

2. Humilité
Les valeurs humaines étant différentes d'un humain à l'autre, elles ne pourront jamais être complètement définies. Les IA auront besoin d'humilité pour comprendre qu'elles ne peuvent pas complètement intégrer quelles sont ces valeurs humaines qu'elles sont sensées maximiser. Cette posture forcera les IA à observer le comportement humain et à s'adapter. Ce process leur permettra d'accepter notre feedback si elles ne satisfont pas complètement nos désirs.

3. Utiliser le comportement comme source d'information des valeurs humaines
Les robots devront comprendre les motivations derrière les comportements humains, plutôt que de copier nos comportements de façon "psycho-rigide".

-VX
3  1 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 02/10/2019 à 15:54
Citation Envoyé par Stéphane le calme Voir le message
Que pensez-vous des lois de la robotique d'Isaac Asimov ? Des principes dépassés, une formulation poétique ou un idéal à atteindre ?
C'est juste un truc de roman de science-fiction...

Les lois ne sont pas respectées de toutes façon... Par exemple il existe quelque chose qui s'appelle "la convention de Genève" et elle est souvent violé.
Les violations des Conventions de Genève, du Yémen au Pakistan
Depuis 1949, les stratégies de guerre ont changé et les exemples récents de violations de ces textes ne manquent pas. Les médias évoquent souvent des "guerres de précision", des "frappes chirurgicales"... Derrière ces termes trompeurs se cachent des violations qui ravagent la vie des civils, du Yémen à la Syrie, en passant par l'Ukraine.
Est-ce que les lois ont empêchées certaines armées d'utiliser l'Agent Orange, le Napalm, le phosphore blanc, les munitions à l'uranium appauvri, les munitions DIME, etc ?
Dans le monde réel il y aura des robots tueurs, comme il y a des armes chimiques et biologiques...
2  0 
Avatar de Jon Shannow
Membre extrêmement actif https://www.developpez.com
Le 02/10/2019 à 16:03
Citation Envoyé par Stéphane le calme Voir le message
(l'adjectif qui pourra entraîner une violence voulue envers autrui).
heu ! Belliqueux, peut-être ?
2  0 
Avatar de vxlan.is.top
Membre éprouvé https://www.developpez.com
Le 02/10/2019 à 16:30
Citation Envoyé par 7gyY9w1ZY6ySRgPeaefZ Voir le message
Ouch... Rien que l'interprétation du terme valeur... Ça va prendre une équipe d'éthiciens, de philosophes... pour quelques décennies.
Tout à fait mon capitaine. L'OpenAI part du principe que le chemin vers une "IA sûre" doit mettre les sciences sociales dans la boucle.

https://openai.com/

-VX
2  0