GPT-4, la dernière itération des modèles de langage de OpenAI, est réputée avoir réussi le test de Turing. Selon les chercheurs, cette version améliorée peut imiter le langage humain à un niveau indiscernable des vraies interactions humaines.Nous interagissons avec l'intelligence artificielle (IA) en ligne non seulement plus que jamais, mais aussi plus que nous ne le pensons. Des chercheurs ont donc demandé à des personnes de converser avec quatre agents, dont un humain et trois types différents de modèles d'IA, pour voir si elles pouvaient faire la différence.
Le "test de Turing", proposé pour la première fois sous le nom de "jeu d'imitation" par l'informaticien Alan Turing en 1950, permet de déterminer si la capacité d'une machine à faire preuve d'intelligence est indiscernable de celle d'un être humain. Pour qu'une machine réussisse le test de Turing, elle doit être capable de parler à quelqu'un et de lui faire croire qu'elle est humaine.
Les scientifiques ont décidé de reproduire ce test en demandant à 500 personnes de parler avec quatre répondants, dont un humain et le programme d'IA des années 1960 ELIZA, ainsi que GPT-3.5 et GPT-4, l'IA qui alimente ChatGPT. Les conversations duraient cinq minutes, après quoi les participants devaient dire s'ils pensaient parler à un humain ou à une IA. Dans l'étude, publiée le 9 mai sur le serveur arXiv, les scientifiques ont constaté que les participants considéraient GPT-4 comme un humain dans 54 % des cas. ELIZA, un système préprogrammé avec des réponses mais sans grand modèle linguistique (LLM) ni architecture de réseau neuronal, a été jugé humain dans seulement 22 % des cas. GPT-3.5 a obtenu un score de 50 %, tandis que le participant humain a obtenu un score de 67 %.
« Les machines peuvent confabuler, rassembler des justifications plausibles a posteriori, comme le font les humains », a déclaré Nell Watson, chercheuse en IA à l'Institute of Electrical and Electronics Engineers (IEEE). « Elles peuvent être sujettes à des biais cognitifs, être embobinées et manipulées, et deviennent de plus en plus trompeuses. Tous ces éléments signifient que les systèmes d'IA expriment des faiblesses et des bizarreries semblables à celles de l'homme, ce qui les rend plus humains que les approches précédentes qui se limitaient à une liste de réponses préétablies ».
L'étude, qui s'appuie sur des décennies de tentatives pour faire passer le test de Turing à des agents d'IA, fait écho aux préoccupations communes selon lesquelles les systèmes d'IA considérés comme humains auront des « conséquences sociales et économiques généralisées ».
Un outil dépassé ?
Le test de Turing, développé par Alan Turing dans les années 1950, est un critère d’évaluation de l’intelligence d’une machine. Pour le réussir, un système doit être capable de mener une conversation avec un humain sans que celui-ci ne puisse distinguer s’il interagit avec une machine ou une autre personne.
Les scientifiques ont fait valoir qu'il existe des critiques valables concernant l'approche trop simpliste de ce test, en affirmant que « les facteurs stylistiques et socio-émotionnels jouent un rôle plus important dans la réussite du test de Turing que les notions traditionnelles d'intelligence ». Cela suggère que nous n'avons pas cherché l'intelligence des machines au bon endroit.
« L'intelligence brute ne suffit pas. Ce qui compte vraiment, c'est d'être suffisamment intelligent pour comprendre une situation, les compétences des autres et d'avoir l'empathie nécessaire pour relier ces éléments entre eux. Les capacités ne sont qu'une petite partie de la valeur de l'IA - sa capacité à comprendre les valeurs, les préférences et les limites des autres est également essentielle. Ce sont ces qualités qui permettront à l'IA de servir de concierge fidèle et fiable dans nos vies ».
Watson a ajouté que l'étude représentait un défi pour les futures interactions homme-machine et que nous deviendrons de plus en plus paranoïaques quant à la véritable nature des interactions, en particulier dans les domaines sensibles. Elle a ajouté que l'étude mettait en évidence l'évolution de l'IA au cours de l'ère des GPT.
« ELIZA était limité à des réponses toutes faites, ce qui limitait considérablement ses capacités. Il pouvait tromper quelqu'un pendant cinq minutes, mais ses limites devenaient rapidement évidentes », a-t-elle déclaré. « Les modèles de langages sont infiniment flexibles, capables de synthétiser des réponses à un large éventail de sujets, de s'exprimer dans des langues ou des sociolectes particuliers et de se présenter avec une personnalité...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.