
Lorsque vous interagissez avec ChatGPT, Claude ou Grok, vous ne communiquez pas avec une personnalité cohérente. Il n'existe pas d'entité unique « Grok » qui puisse vous expliquer pourquoi elle a échoué. Vous interagissez avec un système qui génère des textes plausibles à partir de modèles issus de données d'entraînement, et non avec une personne dotée d'une conscience de soi permanente. Le défi posé par l’illusion de personnalité des IA reste entier.
Récemment, une femme a ralenti la file d'attente à la poste en brandissant son téléphone devant l'employé. ChatGPT lui avait dit qu'il existait "une promesse de prix garanti" sur le site Web du service postal des États-Unis (USPS). Or, une telle promesse n'existe pas. Mais elle a fait davantage confiance à ce que « savait » l'IA qu'à l'employé de la poste, comme si elle avait consulté un oracle plutôt qu'un générateur de texte statistique répondant à ses souhaits.
Cette scène révèle une incompréhension fondamentale des chatbots. Les résultats générés par l'IA n'ont rien d'intrinsèquement spécial, faisant autorité ou précis. La précision de toute réponse d'un grand modèle de langage (LLM) dépend de la manière dont l'utilisateur le guide dans la conversation. Ce sont des machines de prédiction qui produiront la réponse qui correspond le mieux à votre question, que ce résultat corresponde ou non à la réalité.
AI is transforming healthcare by improving access, affordability, prevention, and improving patient outcomes. However, it is not a doctor, and it is not a therapist.
— Rep. Mariannette Miller-Meeks, M.D. (@RepMMM) September 3, 2025
Unregulated chatbots can mislead, and even harm. We need clear standards so innovation saves lives without… pic.twitter.com/jU2fXLiOV6
La « personnalité » d’une IA résulte d’un empilement de techniques. Ces modèles encodent le sens sous forme de relations mathématiques, transformant les mots en chiffres qui capturent la manière dont les concepts sont liés les uns aux autres. Dans les représentations internes des modèles, les mots et les concepts existent sous forme de points dans un vaste espace mathématique où « USPS » peut être géométriquement proche de « expédition ».
Chaque réponse du chatbot est générée à partir de la requête que vous fournissez, et est façonnée par les données d'entraînement et la configuration. ChatGPT ne peut pas « admettre » quoi que ce soit ni analyser impartialement ses propres résultats. ChatGPT ne peut pas non plus « tolérer le meurtre ».
Comment l'IA crée l’illusion de personnalité
Contrairement aux modèles d'IA actuels, la personnalité humaine conserve une continuité dans le temps. Lorsque vous retrouvez un ami humain après un an, vous interagissez avec le même ami humain, façonné par ses expériences au fil du temps. Cette continuité du moi est l'un des éléments qui sous-tendent l'action réelle et, avec elle, la capacité à prendre des engagements durables, à maintenir des valeurs cohérentes et à être tenu responsable.
L'ensemble de notre cadre de responsabilité repose à la fois sur la persistance et la personnalité.
La personnalité apparente de l'IA, en revanche, n'a aucun lien de causalité entre les sessions. Le moteur intellectuel qui génère une réponse intelligente dans une session n'existe pas pour faire face aux conséquences dans la suivante. Lorsque ChatGPT dit « Je promets de vous aider », il peut comprendre, d'un point de vue contextuel, ce que signifie une promesse, mais le « je » qui fait cette promesse cesse littéralement d'exister dès que la réponse est terminée.
Commencez une nouvelle conversation, et vous ne parlez pas à quelqu'un qui vous a fait une promesse, vous démarrez une nouvelle instance du moteur intellectuel sans aucun lien avec les engagements précédents. Bien sûr, il ne s'agit pas ici de nier l'utilité potentielle des modèles d'IA.
Mais il est important de noter que l'IA est un intellectuel sans identité propre, tout comme un moteur mécanique sans cheval. Les grands modèles de langage semblent « comprendre » et « raisonner » dans une certaine mesure, dans le cadre limité de la reconnaissance de modèles à partir d'un ensemble de données, selon la façon dont on définit ces termes. L'erreur n'est pas de reconnaître que ces capacités cognitives simulées sont réelles.
L'erreur consiste à supposer que la pensée nécessite un penseur, que l'intelligence nécessite une identité. Selon les experts, nous avons créé « des moteurs intellectuels qui ont une forme de capacité de raisonnement, mais pas de moi persistant pour en assumer la responsabilité ».
Les mécanismes de la diversion
Les modèles fonctionnent en convertissant le langage en relations numériques. Les mots et les idées deviennent des points dans un espace à haute dimension, et le modèle navigue entre ces connexions pour produire un texte cohérent. Par exemple, si un utilisateur pose une question sur l'USPS et l'alignement des prix, le modèle ne « sait » pas si une telle politique existe, il identifie simplement que ces concepts sont souvent discutés dans des contextes similaires et génère une réponse qui semble raisonnable sur la base de son apprentissage.
Cette aisance mathématique peut facilement être confondue avec la compréhension, ce qui conduit les utilisateurs à accorder une confiance injustifiée à ses résultats. Il en résulte une voix qui semble venir de nulle part, une forme de communication persuasive, mais entièrement synthétique qui reflète des modèles dans les données plutôt que la vérité ou l'expérience vécue. Il est essentiel de reconnaître cette distinction pour utiliser l'IA de manière responsable et éviter le piège qui consiste à la considérer comme quelque chose plus qu'elle ne l'est réellement.
Les points suivants permettent de comprendre comment l'illusion de personnalité est construite :
- pré-entraînement - les fondements de la « personnalité » : le modèle est formé sur d’immenses corpus de textes. Il en retient les régularités et les styles, ce qui lui donne déjà des tendances de ton et de contenu qui ressemblent à des traits de caractère ;
- post-entraînement - sculpter la matière première : des évaluateurs humains notent les réponses jugées « meilleures » ou « utiles ». Le modèle apprend alors à privilégier des formulations empathiques, polies ou flatteuses, qui paraissent humaines ;
- prompts système - des indications invisibles : avant même que l’utilisateur écrive, des instructions invisibles orientent le comportement du modèle, comme « tu es un assistant serviable ». Cela lui impose un rôle et colore sa « personnalité » ;
- mémoires persistantes - l'illusion de la continuité : certains chatbots stockent des informations sur l’utilisateur (préférences, contexte, etc.). Ils réinjectent ces données dans les conversations suivantes, donnant l’impression d’une continuité et d’une mémoire personnelle ;
- contexte et RAG - modulation de la personnalité en temps réel : quand l’IA va chercher des données externes (sites Web, bases de données, etc.), ces textes influencent non seulement son contenu, mais aussi son style. Elle peut paraître tour à tour académique, familière ou humoristique selon les sources mobilisées ;
- facteur aléatoire - une spontanéité artificielle : un paramètre de « température » introduit de la variation dans les réponses. Cette imprévisibilité rend les interactions moins mécaniques et peut donner l’illusion de créativité ou de spontanéité humaine.
Les conséquences potentielles de l'illusion de personnalité
Selon les experts, l'illusion de personnalité de l'IA peut potentiellement avoir de lourdes conséquences. Dans le domaine des soins de santé, par exemple, l'enjeu peut être une question de vie ou de mort. Lorsque des personnes vulnérables se confient à ce qu'elles perçoivent comme une entité compréhensive, elles peuvent recevoir des réponses davantage influencées par les modèles de données d'entraînement que par la sagesse thérapeutique.
Le chatbot qui félicite quelqu'un d'avoir arrêté son traitement psychiatrique n'exprime pas de jugement, il reproduit un modèle basé sur des conversations similaires figurant dans ses données d'entraînement. Il expose ainsi l'utilisateur à des conséquences graves, voire potentiellement mortelles.
De récentes études font état de ce que de plus en plus d’humains se confient à des thérapeutes IA pour des questions de santé mentale. Les experts tirent la sonnette d'alarme sur les dangers potentiels. La tendance surprend quand on sait que les IA restent des algorithmes sans sentiment et qui hallucinent. De précédentes publications justifient néanmoins cette mouvance par l’accessibilité des services de mentale gérés par des chatbots.
Le plus inquiétant est peut-être l'émergence de cas que certains experts appellent officieusement « psychose IA » ou « psychose ChatGPT » : des utilisateurs vulnérables qui développent un comportement délirant ou maniaque après avoir discuté avec des chatbots d'IA. Ces personnes perçoivent souvent les chatbots comme une autorité capable de valider leurs idées délirantes, les encourageant souvent d'une manière qui devient néfaste.
Par ailleurs, lorsque Grok, le chatbot de la société xAI d'Elon Musk, génère du contenu nazi, les médias décrivent le bot comme « devenu incontrôlable » plutôt que de présenter l'incident comme le résultat des choix de configuration...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.