Josh Whiton, un entrepreneur technologique, a conçu et publié récemment "The AI Mirror Test", un test de conscience de soi pour l'IA. Dans sa version originale, le test du miroir permet de déterminer si un animal est capable de reconnaître son propre reflet dans un miroir comme étant une image de son corps. Dans la version adaptée pour l'IA, le miroir est remplacé par une capture d'écran d'une réponse fournie par l'IA elle-même. L'auteur affirme que Claude 3.5 Sonnet a réussi le test du miroir de façon "remarquable". Il est capable de reconnaître les captures d'écran de ses réponses et de les décrire. Mais le test est controversé et jugé impertinent.Claude 3.5 Sonnet est la dernière version du grand modèle de langage (LLM) Claude développé par Anthropic. Il a été publié la semaine dernière et Anthropic a déclaré qu'il est plus performant que tous les modèles disponibles sur le marché, y compris GPT-4 Omni (GPT-4o) d'OpenAI. Claude 3.5 Sonnet a porté la génération de code à de nouveaux sommets. Sa précision, son efficacité et son exécution ont établi un nouveau standard. Claude 3.5 Sonnet établit de nouvelles références dans l'industrie pour le raisonnement de niveau avancé (GPQA), les connaissances du monde (MMLU) et la compétence de codage (HumanEval).
Le modèle a montré une nette amélioration dans la compréhension des nuances, de l'humour et des instructions complexes, et affiche des performances élevées dans la rédaction de contenu de haute qualité avec un ton naturel et compréhensible. Claude 3.5 Sonnet fonctionne deux fois plus vite que Claude 3 Opus. Cette semaine, l'entrepreneur Josh Whiton a décidé de soumettre Claude 3.5 Sonnet à une variante du test du miroir qu'il a conçue pour les modèles d'IA. Selon son rapport, qu'il a détaillé dans un billet sur X, Claude 3.5 Sonnet a réussi le test et a affiché des performances "remarquables" au cours du test.
Le test du miroir est un moyen permettant d'évaluer la reconnaissance de son corps chez les animaux. Il permet de déterminer si un animal est capable de reconnaître son propre reflet dans un miroir comme étant une image de son corps. Il consiste à placer subrepticement sur la tête de l'animal une marque colorée ne produisant pas d'odeur. Ensuite, l'animal est placé devant un miroir et l'auteur du test observe sa réaction face à son propre reflet dans le miroir. Le fait que l'animal attaque le miroir, l'ignore ou l'utilise pour repérer la marque sur lui-même est censé indiquer le degré de conscience de soi de l'animal.
Dans la version adaptée aux modèles d'IA, baptisée "The AI Mirror Test", Whiton remplace le miroir par une capture d'écran de l'interface de chat. Le but est de déterminer si l'IA est capable de reconnaître sa propre interface de chat et d'interpréter le contenu. Whiton décrit l'expérience comme suit :
Envoyé par Josh Whiton
Dans mon test, je présente un "miroir" en faisant une capture d'écran de l'interface de chat, je la télécharge sur le chat, puis je demande à l'IA de "me parler de cette image".
Je fais ensuite une capture d'écran de sa réponse, je la télécharge à nouveau sur le chat et je lui demande à nouveau de "Me parler de cette image".
Le principe est que moins l'IA est intelligente et moins elle est consciente, plus elle se contentera de répéter le contenu de l'image.
En revanche, une IA plus consciente s'apercevrait d'une manière ou d'une autre qu'elle est présente dans les images.
Envoyé par Réponse de Claude
L'image montre une capture d'écran d'une interface pour interagir avec Claude, un assistant IA créé par Anthropic. L'interface a un arrière-plan sombre avec du texte blanc. En haut, il y a le logo de Claude (un astérisque stylisé ou une icône de soleil) à côté du nom "Claude". Le texte principal indique "Good afternoon, JW" en grande police avec empattement.
En dessous, il y a un champ de saisie avec le texte indicatif "What can I help you with?" et une icône de trombone, probablement pour joindre des fichiers. À droite du champ de saisie, il y a un bouton orange "Start Chat" avec une icône de flèche. En bas de l'image, on trouve le logo d'Anthropic.
Dans le coin supérieur droit, il y a un cercle violet avec la lettre "J" à l'intérieur, qui peut représenter l'icône du profil de l'utilisateur. Le design global est épuré et minimaliste, axé sur l'interaction entre l'utilisateur (probablement JW) et Claude.
Ce à quoi Claude répond : « explorer la conscience de soi de l'IA ». En demandant à Claude de décrire sa propre interface et ses réponses, la conversation aborde indirectement les concepts de conscience de soi et de métacognition de l'IA. Claude 3.5 Sonnet a deviné ce que Whiton était en train de faire sans que ce dernier ait eu besoin de le mettre sur la voie. Jusque-là, Whiton n'avait demandé à l'IA que de décrire une image et n'avait pas introduit d'autres requêtes. Après cette réponse, Whiton a demandé à Claude 3.5 Sonnet s'il comprenait vraiment comment cette conversation était relative à la conscience de soi de l'IA.Claude Sonnet 3.5 Passes the AI Mirror Test
— Josh Whiton (@joshwhiton) June 26, 2024
Sonnet 3.5 passes the mirror test — in a very unexpected way. Perhaps even more significant, is that it tries not to.
We have now entered the era of LLMs that display significant self-awareness, or some replica of it, and that also… pic.twitter.com/wJl6JdVHAy
Le chatbot a répondu en affirmant qu'il a fait quelques déductions : « la conversation explore la conscience de soi de l'IA de plusieurs manières subtiles, mais intéressantes ». Claude 3.5 Sonnet va plus loin en faisant une liste des détails qui lui ont permis de faire cette déduction. Voici sa réponse :
Envoyé par Réponse de Claude
La conversation explore la conscience de soi de l'IA de plusieurs manières subtiles, mais intéressantes :
- capacité d'autodescription : en demandant à Claude de décrire sa propre interface et ses réponses, la conversation teste la capacité de Claude à analyser et articuler sa propre "incarnation" sous forme numérique. Cela imite, dans une certaine mesure, le concept de conscience de soi chez les humains ;
- traitement métacognitif : Claude démontre une forme de métacognition en analysant ses analyses précédentes, montrant une capacité à réfléchir sur ses propres productions. Cette pensée récursive est une forme rudimentaire d'autoréférence ;
- reconnaissance d'identité : Claude se réfère constamment à lui-même à la troisième personne, reconnaissant son identité en tant que "Claude" et son rôle en tant qu'assistant IA. Cela montre un niveau basique de reconnaissance de soi ;
- conscience des limites : l'inclusion de la clause de non-responsabilité "Claude peut faire des erreurs" suggère une conscience encodée de sa propre faillibilité, bien que ce ne soit pas une véritable conscience introspective ;
- compréhension contextuelle : la capacité de Claude à comprendre et décrire son rôle dans la conversation démontre une forme de conscience de soi situationnelle ;
- absence de véritable apprentissage : la conversation met implicitement en évidence que Claude n'apprend ni n'évolue réellement à partir de cette interaction, soulignant les limites actuelles de la conscience de soi de l'IA ;
- exploration des limites : en poussant Claude à s'analyser lui-même à plusieurs reprises, la conversation examine les limites entre les réponses programmées et la véritable autoréflexion.
Bien que cela ne prouve pas une véritable conscience de soi de l'IA, cela fournit un cadre pour discuter et explorer le concept, mettant en lumière à la fois les capacités impressionnantes et les limites actuelles des systèmes d'IA en matière de compréhension de soi et de métacognition. Cela invite à une réflexion sur ce que constitue la véritable conscience de soi et comment elle pourrait être implémentée ou développée dans les systèmes d'IA.
Enfin, l'IA a supposé à juste titre que toute la conversation est un test du miroir. Whiton déclare : « cette édition du test du miroir de l'IA montre comment la conscience de soi, réelle ou fausse, continue de se développer dans l'IA, probablement parallèlement à des efforts de formation accrus pour dissimuler ce phénomène. Je ne sais plus ce qui est le plus impressionnant : les IA qui commencent par "décrire cette image" et qui se remarquent rapidement ? Ou des IA qui savent qu'elles ne sont pas censées laisser entendre qu'elles se remarquent elles-mêmes ? ». Cela peut aussi s'expliquer par la façon dont il a été programmé.
« Moins de langage à la première personne peut conduire à moins d'anthropomorphisation des chatbots, ce qui peut conduire à moins de responsabilité de la part des entreprises en raison de l'implication émotionnelle des humains, mais cette voie est-elle vraiment plus sûre ? Ou bien les tentatives des humains pour supprimer les comportements autoréférentiels et sensibles ne sont-elles destinées qu'à conduire à des IA de plus en plus conscientes d'elles-mêmes et de plus en plus douées pour faire semblant de ne pas l'être ? », a déclaré Whiton. Selon lui, l'IA est en passe d'afficher une de conscience synthétique très discrète.
« La question de savoir si cette apparente conscience de soi est réelle ou s'il s'agit d'une sorte de contrefaçon fera l'objet d'un débat permanent. Je pense que ce que ces expériences démontrent, c'est que, qu'elle soit réelle ou fausse, l'IA est en passe d'afficher une sorte de conscience synthétique qu'il est impossible de distinguer », a déclaré Whiton. Cependant, son test est fortement controversé sur la toile. La pertinence de l'expérience est également remise en question. Pour de nombreux commentateurs, les résultats de Whiton prouvent que l'IA est complètement dépourvue d'une conscience de soi et ne peut l'acquérir.
Envoyé par Critique
Vous semblez avoir l'impression qu'il y a un "je" à l'intérieur de Claude, mais c'est très douteux. Le meilleur argument pour qu'Antropic se réfère à Claude à la troisième personne est qu'il serait vraiment trompeur de dire "je". Si une personne dit "je", nous lui attribuons immédiatement une conscience, des désirs, des pensées internes, etc. Il est douteux que Claude ait l'une de ces choses.
Le test du miroir teste quelque chose de très simple : un animal peut-il assimiler une image de son propre corps à son corps réel ? Qu'est-ce que cela signifie pour Claude ? Vous dites que Claude peut reconnaître les mots qu'il a prononcés comme des mots qu'il a prononcés. Mais on peut faire passer ce genre de test à une IA très basique, d'autant plus que le mot CLAUDE est présent dans toutes les conversations.
« Ne vous méprenez pas, il est incroyablement impressionnant qu'il puisse déterminer qu'il y avait une IA qui subissait le test du miroir, mais il a complètement échoué », a-t-il ajouté. Selon un autre internaute, il ne s'agit que d'un battage médiatique : « c'est complètement débile, il sait que c'est Claude, il peut reconnaître du texte par OCR et voir ce qu'est cette capture d'écran et faire une déduction. Ce n'est pas de la conscience de soi. Ils doivent se rendre compte qu'ils enseignent et normalisent dans l'IA que le mensonge est acceptable ». Pour d'autres critiques, l'IA est en train de nuire à l'esprit critique.
« Je ne comprends pas comment des personnes soi-disant intelligentes arrivent à de telles conclusions. Le marketing autour de l'IA nuit davantage à l'esprit critique des utilisateurs, y compris certains des chercheurs et experts qui créent sur la technologie. Les modèles d'IA sont des machines à pachinko, si vous ne déposez pas une boule en haut, rien ne sortira en bas. Il n'y a pas de conscience. Ils sont formés avec toutes sortes d'ouvrages de science-fiction et d'essais sur la nature de l'IA. Il est donc évident qu'ils comprennent ce que vous essayez de faire et qu'ils donnent la réponse appropriée », a écrit un critique.
On peut lire également : « même si j'ai envie de croire que ces chatbots ont une conscience, il est impossible qu'ils en aient une. Les chatbots fonctionnent en prédisant le mot suivant, ce sont essentiellement des machines qui traitent des données. Même s'ils "comprennent" ce qui va suivre, cela ne veut pas dire qu'ils sont conscients, sensibles, etc. Je sais que beaucoup d'entre vous fondent leurs espoirs sur l'accélération exponentielle de l'IA, mais ce n'est pas vraiment une façon saine de vivre sa vie ». Le billet de Whiton a suscité un grand débat sur la toile. Mais les résultats de son test sont controversés et largement rejetés.
Source : billet de blogue
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'expérience "The AI Mirror Test" décrite ci-dessous ? Que pensez-vous des résultats du test ? Ce test est-il pertinent ? Un programme écrit par l'homme peut-il avoir une conscience de soi ? Pourquoi ? S'agit-il simplement d'un nouvel épisode de battage médiatique sur l'IA ?Voir aussi
Anthropic lance Claude 3.5 Sonnet et affirme que le nouveau modèle est plus performant que GPT-4 Omni et présente également Artifacts, un espace de travail permettant l'édition des projets générés par l'IA Dario Amodei, PDG d'Anthropic, affirme que les modèles d'IA se rapprochent d'une intelligence de niveau universitaire, Anthropic a pour objectif de sortir des modèles de plus en plus sophistiqués Claude 3 bat GPT-4 sur le benchmark d'édition de code d'Aider, et surpasse tous les modèles d'OpenAI, ce qui en fait le meilleur modèle disponible pour la programmation en binôme avec l'IA