Des chercheurs tirent la sonnette d'alarme sur un constat préoccupant : un grand nombre de personnes utilisant l'IA tombent dans un état de « reddition cognitive ». C'est un phénomène où les individus cessent d'utiliser leur propre logique pour accepter aveuglément les réponses générées par une machine. Une récente étude rapporte que la majorité des utilisateurs valident des informations erronées lorsque l'outil s'exprime de manière fluide et convaincante. L'étude révèle une vulnérabilité croissant face aux technologies qui imitent l'autorité intellectuelle. Elle fait écho à une étude selon laquelle l'IA rend la cognition humaine « atrophiée et non préparée ».Les personnes qui utilisent des outils d'IA se répartissent généralement en deux grandes catégories. D'un côté, ceux qui considèrent l'IA comme un outil puissant, mais faillible, dont les réponses appellent une supervision et une vérification humaines pour détecter les erreurs de raisonnement ou les inexactitudes factuelles dans les réponses. De l'autre côté, ceux qui délèguent leur esprit critique à ce qu'ils perçoivent comme une « machine omnisciente ».
Des experts ont élaboré un nouveau cadre psychologique pour ce deuxième groupe, qui se livre à « un abandon cognitif » face aux réponses faisant autorité de l'IA. Une équipe de scientifiques de l'Université de Pennsylvanie a mené une étude impliquant 1 372 participants et plus de 9 000 expériences. Selon le rapport de l'étude, l'introduction de l'IA a créé une troisième catégorie de prise de décision, que l'équipe a baptisée « cognition artificielle ».
Ce mode de fonctionnement s'ajoute aux deux systèmes traditionnels de la pensée humaine : le Système 1, qui est rapide et intuitif, et le Système 2, qui est lent et analytique. Ces recherches fournissent une analyse expérimentale permettant de déterminer quand et pourquoi les individus sont prêts à « déléguer leur esprit critique à l'IA », et comment des facteurs tels que la pression du temps et les incitations externes peuvent influencer cette décision.
L'émergence d'une nouvelle forme de « cognition artificielle »
Contrairement au « déchargement cognitif » classique, où un humain utilise un outil comme une calculatrice ou un GPS tout en supervisant le résultat, la reddition cognitive se caractérise par un engagement interne minimal. Selon le rapport dans ce scénario, l'utilisateur abdique son propre raisonnement et accepte les réponses de l'IA de manière globale, sans vérification ni scepticisme, surtout lorsque « la machine s'exprime avec confiance et fluidité ».
Les chercheurs ont utilisé des tests de réflexion cognitive conçus pour piéger la pensée intuitive. Ils ont fourni aux participants un agent conversationnel programmé pour donner des réponses incorrectes la moitié du temps. Les résultats de l'étude ont démontré que les sujets étaient massivement disposés à accepter les réponses de l'IA sans examen approfondi. Lorsque l'IA était exacte, les utilisateurs acceptaient son raisonnement dans 93 % des cas.
Même face à une IA manifestement défaillante, ils continuaient d'accepter ses conclusions erronées dans environ 80 % du temps. Sur plus de 9 500 essais, le taux d'acceptation des raisonnements fautifs s'est élevé à 73,2 %, prouvant que la simple présence de l'IA déplace souvent le raisonnement interne.
L'ajout d'incitations, comme des paiements, augmente la probabilité que les utilisateurs contredisent une IA défaillante, ce qui suggère que des conséquences tangibles peuvent encourager la vérification. En revanche, la pression temporelle réduit cette vigilance ; un simple chronomètre de 30 secondes diminue la tendance à corriger l'IA, car le cerveau dispose de moins de temps pour activer le signal d'alerte métacognitif nécessaire à la délibération.
Par ailleurs, le rapport indique également le profil psychologique joue un rôle : les personnes ayant un quotient intellectuel fluide élevé sont moins susceptibles de se laisser égarer, tandis que celles qui ont une confiance a priori très forte envers l'IA sont les plus vulnérables aux erreurs de la machine
Les conséquences d'une confiance aveugle dans la machine...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
à toutes et à tous,