Seulement 60 % des gens sont capables de différencier les bots des humains

Selon une étude d'AI21 Labs

Seulement 60 % des gens sont capables d'identifier les bots des humains, selon une étude d'AI21 Labs.

La rapidité des progrès observés dans le monde de l'IA a amené de nombreuses personnes à se demander si nous serons capables de faire la différence à l'avenir. Les grands modèles de langage tels que ChatGPT ont déjà commencé à adopter des comportements humains, et bien qu'il puisse sembler facile de dire si l'entité en face est une IA ou un être humain, la poursuite de l'innovation rendra certainement la tâche plus difficile qu'elle n'aurait pu l'être autrement.

L'un des principaux concurrents d'OpenAI, AI21 Labs, a récemment mené une expérience sociale baptisée "Human or Not", qui a révélé qu'environ 32 % des personnes ayant participé à cette expérience étaient incapables de faire la distinction entre une IA et un véritable être humain. Il s'agit peut-être du plus grand test de Turing réalisé à ce jour, et ses résultats révèlent qu'il est urgent de redoubler d'efforts pour marquer l'IA afin de permettre aux gens de l'identifier.

Il a été demandé aux participants d'avoir des conversations de deux minutes avec un bot d'IA qui utilisait des LLM provenant à la fois de ChatGPT-4 et de Jurassic 2, qui provient d'AI21 Labs. Ceci étant dit, il est important de noter que les participants ont été capables de déterminer si la personne était un être humain dans 73% des cas.

Malgré cela, lorsqu'il y avait un bot en face, le taux de réussite chutait à 60 %. Cela semble indiquer que 40 % des personnes interrogées ont été incapables de déterminer qu'elles parlaient à un bot, ce qui n'augure rien de bon pour l'avenir de l'IA et la manière dont elle peut être utilisée pour manipuler les autres.


Toutefois, les chercheurs à l'origine de cette expérience sociale ont pu glaner quelques informations utiles sur la manière dont les utilisateurs s'y prennent pour déterminer s'ils parlent à un bot ou à un être humain. La plupart de ces techniques reposent sur de fausses hypothèses, comme la notion selon laquelle les bots n'utilisent jamais de fautes de frappe ou de grammaire.

Conscients que ces tactiques pouvaient être utilisées, les chercheurs ont spécifiquement entraîné leurs bots à utiliser stratégiquement les fautes de frappe et autres formes d'erreurs de syntaxe et de grammaire pour donner l'impression qu'ils sont plus humains. Les questions personnelles ont également été utilisées assez fréquemment, les participants essayant d'amener les bots à parler de leurs expériences, en supposant que les bots ne seraient pas en mesure de répondre à de telles questions.

Une fois de plus, ces bots ont été formés sur des ensembles de données comprenant un large éventail d'histoires personnelles, ce qui leur a permis de répondre à ces questions d'une manière étonnamment similaire à celle des êtres humains. Ainsi, 32 % des participants n'ont pas réussi à identifier l'IA au cours de cette expérience, alors que tous les éléments avaient été pris en compte.

Il y a de fortes chances que cette expérience soit prise en compte lors des prochaines élections américaines, car c'est le genre de chose qui pourrait potentiellement conduire à la diffusion de fausses informations. Il sera intéressant de voir comment les États-Unis adapteront leur politique pour répondre à une IA de plus en plus humaine et à d'autres types de bots.


Source : AI21 Labs

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Êtes-vous capables d'identifier un bot ? Comment ?

Voir aussi :

« J'ai joué aux échecs contre ChatGPT-4 et j'ai perdu, cet outil d'IA va changer le monde »,
Un récit de Ville Kuosmanen, Ingénieur logiciel

Amazon annonce la création d'une plateforme d'IA appelée "Bedrock" afin de rivaliser avec OpenAI,
Elle offre un accès aux API des modèles d'IA des entreprises telles que Stability AI et Anthropic

Anthropic voudrait lever jusqu'à 5 milliards de dollars en deux ans pour affronter ChatGPT d'OpenAI
Prévoyant de développer un outil 10 fois plus puissant que les modèles d'IA actuels