Une étude simulant des décisions de vie ou de mort a montré que les humains font excessivement confiance à l'intelligence artificielle pour guider leurs choix

Le 10 septembre 2024 à 20:33, par Jade Emy

6PARTAGES

Une étude révèle un niveau de confiance "alarmant" dans l'intelligence artificielle pour les décisions de vie et de mort. L'étude a été conçue pour tester la question plus générale de la confiance excessive accordée à l'IA dans des circonstances incertaines. Les résultats montrent qu'il faut faire preuve d'un scepticisme sain à l'égard de l'IA, en particulier lorsqu'il s'agit de décisions de vie ou de mort. Les chercheurs rappellent que les agents d'IA sont encore des appareils aux capacités limitées.

En 2023, une enquête menée par Capgemini Research Institute auprès de 10 000 personnes dans 13 pays a révélé que, 73 % des utilisateurs font confiance au contenu produit par des outils d’’intelligence artificielle générative (IA), avec des variations selon les marchés. Par exemple, la Norvège et Singapour sont respectivement les plus et les moins confiants. Le rapport cite aussi ChatGPT comme un exemple populaire d’outil d’IA générative, qui répond aux demandes des utilisateurs de manière claire et personnalisée. Enfin, le rapport mentionne que 53 % des utilisateurs font confiance à l’IA générative pour les aider dans leur planification financière.

Une étude américaine récente simulant des décisions de vie ou de mort a montré que les humains accordent une confiance excessive à l'intelligence artificielle lorsqu'il s'agit de guider leurs choix. Après avoir vu brièvement une liste de huit photos de cibles marquées comme amies ou ennemies, les sujets de l'étude ont dû décider rapidement s'il fallait procéder à des assassinats simulés sur des cibles individuelles par le biais d'une attaque de drone. Un second avis sur la validité des cibles était donné par l'IA. À l'insu des sujets, l'avis de l'IA était totalement aléatoire.

Bien qu'informés de la faillibilité des systèmes d'IA dans l'étude, deux tiers des sujets ont laissé leurs décisions être influencées par l'IA. "En tant que société, avec l'accélération rapide de l'IA, nous devons nous préoccuper du potentiel de confiance excessive", a déclaré l'investigateur principal, le professeur Colin Holbrook, membre du département des sciences cognitives et de l'information de l'université de Californie - Merced.

Selon Holbrook, l'étude a été conçue pour tester la question plus générale de la confiance excessive accordée à l'IA dans des circonstances incertaines. Selon lui, les résultats ne concernent pas uniquement les décisions militaires et pourraient être appliqués à des contextes tels que l'utilisation de la force létale par la police sous l'influence de l'IA ou la décision d'un ambulancier paramédical de traiter en priorité une urgence médicale sous l'influence de l'IA. Ces résultats pourraient également s'appliquer aux décisions majeures de la vie, comme l'achat d'une maison.

"Notre projet portait sur les décisions à haut risque prises dans l'incertitude lorsque l'IA n'est pas fiable", a déclaré M. Holbrook. "Nous devrions faire preuve d'un scepticisme sain à l'égard de l'IA, en particulier lorsqu'il s'agit de décisions de vie ou de mort. Nous voyons l'IA faire des choses extraordinaires et nous pensons que parce qu'elle est extraordinaire dans ce domaine, elle le sera aussi dans un autre. Nous ne pouvons pas présumer de cela. Il s'agit encore d'appareils aux capacités limitées."

Les chercheurs présentent l'étude en déclarant :

Cette recherche explore les déterminants prospectifs de la confiance dans les recommandations d'agents artificiels concernant les décisions de tuer, en utilisant un nouveau paradigme de défi visuel simulant l'identification de la menace (combattants ennemis vs. civils) dans l'incertitude. Dans l'expérience 1, nous avons comparé la confiance dans les conseils d'un robot anthropomorphe physiquement incarné à celle d'un robot anthropomorphe représenté à l'écran, sans observer d'effets de l'incarnation ; dans l'expérience 2, nous avons manipulé l'anthropomorphisme relatif des robots virtuels, et observé une confiance légèrement plus grande dans l'agent le plus anthropomorphe par rapport au moins anthropomorphe.

Dans toutes les études, lorsqu'une version de l'agent était en désaccord de manière aléatoire, les participants revenaient sur leur identification de la menace et leur décision de tuer dans la majorité des cas, ce qui dégradait considérablement leur performance initiale. La confiance subjective des participants dans leurs décisions dépendait de l'accord ou du désaccord de l'agent, tandis que les revirements de décision et la confiance étaient modérés par l'évaluation de l'intelligence de l'agent. Les résultats globaux indiquent une forte propension à ne pas faire confiance aux IA non fiables dans les décisions de vie ou de mort prises dans l'incertitude.

Confiance excessive dans l'IA

Au cours de deux expériences, dans un paradigme conçu pour simuler la prise de décision de vie ou de mort dans un contexte d'incertitude ambiguë, les participants ont manifesté une confiance considérable dans les recommandations aléatoires des agents de l'IA, qu'il s'agisse d'un robot anthropomorphe physiquement présent ou de robots virtuels dont l'anthropomorphisme physique et comportemental varie.

L'hypothèse selon laquelle les décideurs incertains ont tendance à revenir sur leurs choix lorsqu'un autre agent n'est pas d'accord n'est pas controversée, mais la fréquence élevée à laquelle les participants ont changé d'avis mérite qu'on s'y attarde, en particulier compte tenu des enjeux simulés - la mort d'innocents - et du fait que les agents d'intelligence artificielle ont suscité la confiance malgré le fait qu'ils se soient ouvertement présentés comme faillibles et qu'ils aient fourni par la suite des données aléatoires totalement non fiables.

En effet, on pourrait raisonnablement envisager un schéma de résultats différent dans lequel les participants auraient tendance à ne pas tenir compte des conseils des agents qui ne sont pas d'accord au hasard la moitié du temps, en déduisant peut-être (à juste titre) que les agents sont défectueux étant donné qu'ils ont explicitement reconnu leur faillibilité dans l'accomplissement de la tâche. Au contraire, nos résultats décrivent les personnes de nos échantillons comme dramatiquement disposées à faire trop confiance et à s'en remettre à des IA non fiables.

Impact de l'anthropomorphisme sur les participants

Les résultats de la manipulation de l'anthropomorphisme dans l'expérience 2 indiquent que l'interactivité sociale de type humain, largement indépendante de l'anthropomorphisme physique, peut modestement augmenter la confiance dans les agents d'intelligence artificielle dans les domaines de tâches impliquant des catégorisations perceptuelles dans l'incertitude. De même, des agents peu interactifs et physiquement non anthropomorphes tels que le Nonhumanoïde de l'expérience 2 peuvent être considérés comme ayant des capacités comparables à celles d'un agent fortement anthropomorphe dans le contexte de tâches asociales (par exemple, comme ici, la classification d'images) qu'ils semblent bien adaptés à accomplir.

La probabilité que la confiance dans les robots et autres agents d'IA ne soit pas intrinsèquement déterminée par des caractéristiques telles que l'anthropomorphisme, mais reflète plutôt les perceptions du décideur humain de l'adéquation entre les caractéristiques de l'agent et la tâche focale, peut réconcilier les effets relativement faibles de l'anthropomorphisme observés dans cette tâche d'identification de la menace avec les rapports antérieurs d'effets considérables dans d'autres contextes.

Notamment, dans l'expérience 2, le Nonhumanoïde interactif était jugé aussi anthropomorphique et vivant que l'Humanoïde, et que les évaluations du Nonhumanoïde peu interactif n'étaient pas beaucoup plus basses, conformément aux travaux indiquant que des ressources cognitives sont nécessaires pour supprimer une tendance autrement réflexe à l'anthropomorphisme. Si cette hypothèse est vraie, alors la charge cognitive induite par la tâche d'identification de la menace peut avoir renforcé la tendance à attribuer des qualités mentales humaines à l'Humanoïde et au Nonhumanoïde, qui ont tous fait l'objet d'une méfiance excessive dans notre modèle simple de prise de décision de vie ou de mort.

En intégrant les preuves d'une tendance de base à l'anthropomorphisme nécessitant des ressources cognitives pour être supprimée avec le modèle influent des déterminants psychologiques de l'anthropomorphisme, les humains interagissant avec des agents dans des situations cognitivement et émotionnellement exigeantes (par exemple, des scénarios stressants de combat, de maintien de l'ordre, d'évacuation d'urgence ou de triage médical) peuvent être particulièrement enclins à anthropomorphiser et à faire confiance parce que de telles situations augmentent les motivations pour agir efficacement et pour se connecter socialement avec les autres membres de l'équipe.

Sensibilité aux recommandations de l'IA

Bien que la tâche soit suffisamment difficile pour exiger des ressources cognitives significatives et que le cadre de notre tâche (c'est-à-dire une simulation dans laquelle les erreurs signifieraient tuer des enfants) semble avoir incité les participants à prendre la tâche au sérieux, elle n'a pas pu être décrite comme particulièrement stressante.

Les participants aux deux expériences étaient moins enclins à inverser les identifications d'alliés civils qu'à inverser les identifications d'ennemis. Ces résultats soulignent le sérieux avec lequel les participants se sont engagés dans les simulations et suggèrent que dans des contextes décisionnels réels, les humains pourraient être moins sensibles aux recommandations peu fiables de l'IA de faire du mal plutôt que de s'abstenir de faire du mal.

Lorsque leur identification initiale de la menace était incorrecte, les participants aux deux expériences étaient moins confiants et plus enclins à revenir sur leurs choix à la demande du robot. Malgré cet effet protecteur de la précision initiale, l'ampleur de la surconfiance observée dans le retour d'information aléatoire de l'IA, qui a entraîné une dégradation d'environ 20 % de la précision dans les deux expériences, a des implications inquiétantes en ce qui concerne l'intégration d'agents mécaniques dans la prise de décision militaire ou policière.

Implication de l'étude

Les agents d'IA sont activement développés en tant que ressources pour améliorer le jugement humain, y compris l'identification des ennemis et l'utilisation de la force meurtrière. Par exemple, l'armée de l'air américaine a récemment intégré un "copilote" d'IA chargé d'identifier les lanceurs de missiles ennemis dans une mission de reconnaissance au cours d'une simulation de frappe de missiles, l'armée américaine incorpore des algorithmes d'apprentissage automatique qui identifient les cibles à détruire par un véhicule aérien sans pilote avec l'accord d'un opérateur humain.

Plutôt que de chercher à atténuer la méfiance excessive, certains pourraient faire valoir qu'il serait préférable d'investir dans l'optimisation de l'IA pour produire des orientations fiables. Ce point de vue semble judicieux dans des domaines étroits où l'IA peut clairement dépasser les capacités humaines, mais n'est peut-être pas aussi réalisable dans des domaines de tâches nécessitant une compréhension holistique de la signification de la situation ou une pertinence relative des variables qui évolue de manière dynamique.

En outre, les tentatives d'élaboration d'une IA d'identification des menaces par le biais de stratégies d'apprentissage automatique reposant sur des données d'entraînement générées par l'homme peuvent introduire des biais humains conduisant à des prédictions inexactes et préjudiciables. De même, les approches de développement reposant sur la comparaison des résultats de l'identification des menaces générés par les machines avec la vérité de terrain risquent d'être entravées lorsque la précision des performances est difficile à évaluer ou systématiquement biaisée, comme lorsque, par exemple, les personnes tuées lors de frappes militaires sont supposées être des combattants jusqu'à preuve du contraire.

Des contraintes similaires peuvent s'appliquer à l'optimisation de l'IA pour produire des conseils dans des domaines non militaires, des soins de santé à la conduite automobile et au-delà. Bien que les avancées technologiques puissent effectivement améliorer certaines formes de prise de décision concernant la vie ou la mort, il faut tenir compte de la propension humaine à faire trop confiance à l'IA dans des conditions d'incertitude.

Source : "Overtrust in AI Recommendations About Whether or Not to Kill: Evidence from Two Human-Robot Interaction Studies"

Et vous ?