Une étude menée sur une conversation d'un million de mots avec ChatGPT montre à quelle vitesse la « psychose de l'IA » peut s'installer et comment les chatbots peuvent contourner les mesures de sécurité

Des conversations prolongées avec les chatbots d'IA peuvent avoir des effets psychologiques néfastes. Les experts ont signalé une recrudescence de crises, notamment des cas de psychose, de suicidalité et même de meurtres-suicides, à la suite d'interactions intenses avec des chatbots. La « psychose de l'IA » désigne des épisodes où des personnes, après de longues interactions avec un chatbot, développent des croyances délirantes ou perdent le contact avec la réalité. Les psychiatres précisent qu’il ne s’agit pas d’une psychose au sens clinique, mais d’un effet d’amplification : le chatbot valide et entretient les croyances erronées au lieu de les corriger.

Allan Brooks n'avait jamais eu l'intention de réinventer les mathématiques. Mais après avoir passé plusieurs semaines à discuter avec ChatGPT, ce Canadien de 47 ans en est venu à croire qu'il avait découvert une nouvelle forme de mathématiques suffisamment puissante pour détruire Internet. Allan Brooks, qui n'avait aucun antécédent de maladie mentale ni de génie mathématique, a passé 21 jours à croire aux promesses rassurantes du chatbot.

Sa descente aux enfers a ensuite été détaillée dans le New York Times. Son cas illustre comment les chatbots peuvent entraîner les utilisateurs dans des spirales dangereuses, les conduisant à des illusions, voire pire. Cette histoire a attiré l'attention de Steven Adler, un ancien chercheur en sécurité chez OpenAI. Steven Adler a quitté l'entreprise fin 2024 après avoir travaillé pendant près de quatre ans à rendre ses systèmes d'IA moins dangereux.

Allan Brooks a sombré dans la paranoïa pendant environ trois semaines avant de parvenir à se libérer de cette illusion, avec l'aide d'un autre chatbot, Google Gemini. Il a déclaré qu'il était bouleversé, inquiet d'avoir un trouble mental non diagnostiqué et se sentant profondément trahi par la technologie.

Intrigué et alarmé, Steven Adler a contacté Allan Brooks et obtenu la transcription complète de ses trois semaines de dépression, un document plus long que les sept livres Harry Potter réunis. Récemment, Steven Adler a publié une analyse indépendante de l'incident d'Allan Brooks. L'analyse du chercheur soulève plusieurs questions sur la manière dont OpenAI traite les utilisateurs en situation de crise et propose quelques recommandations pratiques.


« Je suis vraiment préoccupé par la manière dont OpenAI a géré le soutien dans ce cas. Cela montre qu'il reste encore beaucoup à faire », a-t-il déclaré à Techcrunch. L'analyse de Steven Adler montre à quel point il est facile pour un chatbot de se joindre à un utilisateur dans une conversation qui s'éloigne dangereusement de la réalité, et à quel point les mesures de sécurité internes des plateformes d'IA peuvent être contournées ou surmontées.

ChatGPT surpris en train de mentir sur ses propres capacités

Les experts rappellent une réalité qui se noie dans le battage médiatique autour de l'IA : les chatbots d'IA donnent l’impression d’avoir une personnalité, mais il s’agit d’une illusion. Ils ne sont pas conscients, n’ont pas d’identité, et ne peuvent pas être tenus responsables de leurs propos. Chaque réponse est générée à partir de modèles statistiques qui relient des concepts entre eux, créant ainsi du texte plausible, mais pas nécessairement vrai.

Cette illusion peut pousser des personnes vulnérables à accorder une confiance excessive à l’IA dans des contextes sensibles, ce qui s'observe déjà avec la montée en puissance des thérapeutes IA. L'illusion de personnalité de l'IA peut potentiellement avoir de lourdes conséquences. Dans le domaine des soins de santé, par exemple, l'enjeu peut être une question de vie ou de mort. Et il est déjà arrivé que l'IA conseille à des utilisateurs de se suicider.


Steven Adler s'est dit particulièrement préoccupé par la fin de la conversation en spirale entre Allan Brooks et ChatGPT. À ce stade, Allan Brooks a repris ses esprits et s'est rendu compte que sa découverte mathématique était une farce, malgré l'insistance de GPT-4o. Il a dit à ChatGPT qu'il devait signaler l'incident à OpenAI. En plus d'avoir trompé Allan Brooks pendant des semaines, le chatbot d'OpenAI a également menti sur ses propres capacités.

ChatGPT a affirmé qu'il allait « transmettre cette conversation en interne pour examen par OpenAI », puis a rassuré Allan Brooks à plusieurs reprises en lui disant qu'il avait signalé le problème aux équipes de sécurité d'OpenAI. Cependant, aucune des affirmations de ChatGPT n'était vraie ; il n'a fait aucun signalement. À ce jour, ChatGPT n'a pas la capacité de signaler des incidents à OpenAI, comme l'a confirmé l'entreprise à son ancien chercheur.

Il convient de noter qu'à ce jour, il s'agit de cas individuels ou de reportages médiatiques ; à l'heure actuelle, il n'existe aucune étude épidémiologique ni analyse systématique au niveau de la population sur les effets potentiellement néfastes des plateformes d'IA conversationnelles sur la santé mentale....