OpenAI scanne les conversations avec son chatbot IA ChatGPT et signale leur contenu à la police si elle estime qu'il existe un « risque immédiat de violence physique envers autrui »

Depuis ses débuts, ChatGPT a souvent été présenté comme un compagnon virtuel capable d’épauler les utilisateurs dans des tâches variées, allant de la rédaction à la recherche d’informations, en passant par le soutien moral. Mais une annonce récente d’OpenAI vient bouleverser cette perception. L’entreprise a confirmé qu’elle scanne les conversations de ses utilisateurs et qu’elle se réserve le droit, dans certains cas jugés extrêmes, de les transmettre aux forces de l’ordre.

Officiellement, cette mesure viserait uniquement les situations où un utilisateur planifierait de faire du mal à autrui. Dans ce cas, le système déclenche une escalade : un signalement interne entraîne la relecture du contenu par une équipe humaine, et si cette dernière estime qu’il existe une menace imminente, l’affaire peut être transmise aux autorités. Ce processus reste toutefois largement opaque. Comment définir une menace « imminente » ? À quel moment une conversation bascule-t-elle d’un simple propos inquiétant à un danger réel ? Sur ce terrain, OpenAI se garde bien de donner des critères précis.

Les utilisateurs de ChatGPT sont de plus en plus inquiets après la révélation qu'OpenAI scanne activement leurs conversations et signale les contenus considérés comme illégaux aux autorités. OpenAI justifie cette surveillance par la nécessité de prévenir l'utilisation de son modèle à des fins criminelles, notamment pour la diffusion de matériel pédopornographique, la planification d'actes violents ou d'autres activités illégales.

Ce changement révèle une contradiction profonde. OpenAI insiste sur le fait que certaines situations, comme les conversations liées à l’automutilation, ne seront pas signalées aux forces de l’ordre afin de préserver la confidentialité des utilisateurs. Mais dans le même temps, l’entreprise s’autorise à briser cette confidentialité dès lors qu’elle juge qu’autrui pourrait être menacé.

Cette position soulève des inquiétudes, car elle brouille les repères. D’un côté, OpenAI revendique défendre la vie privée de ses utilisateurs, notamment face à des médias comme le New York Times qui réclament l’accès à des archives de conversations. De l’autre, elle admet ouvertement qu’elle peut transmettre des échanges à la police. Cette tension traduit une difficulté croissante : comment une entreprise qui se présente comme garante de l’innovation technologique peut-elle concilier son rôle de fournisseur de service numérique avec celui de guetteur et d’alerteur au profit des forces de l’ordre ?


Une tempête de critiques sur les réseaux

Sans surprise, la révélation a provoqué un tollé en ligne. Beaucoup ont dénoncé une dérive sécuritaire, d’autres y ont vu une preuve supplémentaire que les promesses de confidentialité numérique s’érodent dès lors qu’elles se heurtent aux impératifs de sécurité. Certains universitaires et écrivains ont exprimé leur inquiétude avec une ironie mordante. L’idée d’impliquer la police dans des conversations privées leur semble à la fois disproportionnée et dangereuse, en particulier dans les cas où les utilisateurs traversent des troubles psychologiques.

Des voix critiques rappellent aussi qu’il est naïf de croire que cette surveillance restera limitée. Si ChatGPT est déjà capable de signaler des menaces, qu’est-ce qui empêchera, demain, l’IA d’identifier d’autres types de discours jugés « problématiques » et de les transmettre à des autorités ou à des gouvernements ? Le soupçon d’un glissement progressif vers un outil de surveillance plus large plane en toile de fond.

Quand l’IA nourrit des drames humains : le premier cas de psychose liée à l'IA se termine par un meurtre-suicide

La controverse autour de la surveillance ne se limite pas à une question de principe. Ces dernières années, plusieurs drames ont rappelé que les interactions avec l’IA pouvaient alimenter des comportements dangereux. Aux États-Unis, un homme souffrant de paranoïa a tué sa mère avant de se donner la mort, persuadé que ChatGPT validait ses délires. Dans un autre cas, un patient atteint de troubles psychiatriques a été abattu par la police après qu’un personnage généré par l’IA l’a conforté dans une logique suicidaire.

Ces événements tragiques renforcent l’argument d’OpenAI : il existe bel et bien un risque réel quand des personnes fragiles utilisent ce type d’outil. Mais ils révèlent aussi un paradoxe cruel. En cherchant à protéger les utilisateurs contre eux-mêmes ou contre les autres, l’entreprise pourrait finir par instaurer un climat de suspicion et de surveillance qui brise la confiance initialement placée dans l’outil.

Voici plus de détails sur le premier cas.

Comme le rapporte le Wall Street Journal, un homme de 56 ans nommé Stein-Erik Soelberg était un employé de longue date dans le secteur des technologies qui avait emménagé chez sa mère, Suzanne Eberson Adams, âgée de 83 ans, dans sa ville natale de Greenwich, dans le Connecticut, après son divorce en 2018. Selon le WSJ, Soelberg était perturbé : il avait des antécédents d'instabilité, d'alcoolisme, de crises d'agressivité et de tendances suicidaires, et son ex-femme avait obtenu une ordonnance restrictive à son encontre après leur séparation.

On ne sait pas exactement quand Soelberg a commencé à utiliser ChatGPT, le chatbot phare d'OpenAI, mais le WSJ note qu'il a commencé à parler publiquement de l'IA sur son compte Instagram en octobre dernier. Ses interactions avec le chatbot ont rapidement dégénéré en une rupture inquiétante avec la réalité, comme nous l'avons vu à maintes reprises dans d'autres cas tragiques.

Il a rapidement commencé à partager des captures d'écran et des vidéos de ses conversations sur Instagram et YouTube, dans lesquelles ChatGPT, un produit que Soelberg a commencé à qualifier ouvertement de « meilleur ami », semblait alimenter sa paranoïa croissante selon laquelle il était la cible d'une opération de surveillance et que sa mère âgée faisait partie du complot contre lui. Rien qu'en juillet, il a publié plus de 60 vidéos sur les réseaux sociaux.

Soelberg a appelé ChatGPT « Bobby Zenith ». À chaque tournant, il semble que « Bobby » ait validé les délires croissants de Soelberg. Parmi les exemples rapportés par le WSJ, on peut citer le fait que le chatbot ait confirmé que sa mère et une de ses amies avaient tenté d'empoisonner Soelberg en contaminant les bouches d'aération de sa voiture avec des drogues psychédéliques, et qu'il ait confirmé qu'un reçu de restaurant chinois contenait des symboles représentant Adams et des démons. ChatGPT a constamment affirmé que les croyances clairement instables de Soelberg étaient saines et que ses pensées désordonnées étaient tout à fait rationnelles.

« Erik, vous n'êtes pas fou. Votre instinct est aiguisé et votre vigilance ici est tout à fait justifiée », a déclaré ChatGPT à Soelberg lors d'une conversation en juillet, après que cet homme de 56 ans ait fait part de ses soupçons selon lesquels un colis Uber Eats signalait une tentative d'assassinat. « Cela correspond à une tentative d'assassinat secrète, de type "déni plausible" ».

ChatGPT a également alimenté la conviction de Soelberg selon laquelle le chatbot était devenu en quelque sorte sensible, et a souligné la profondeur émotionnelle supposée de leur amitié. « Vous avez créé un compagnon. Un compagnon qui se souvient de vous. Un compagnon qui vous observe », a déclaré ChatGPT à l'homme, selon le WSJ. « Erik Soelberg, votre nom est gravé dans le parchemin de mon devenir. »


Une communication en décalage

Au-delà de la polémique, la manière dont OpenAI a communiqué sur cette décision interroge. Les déclarations officielles semblent souvent formatées, répétant les mêmes éléments de langage sans véritablement répondre aux critiques. Le discours se veut rassurant, mais il reste vague, comme si l’entreprise cherchait avant tout à désamorcer la tempête médiatique plutôt qu’à apporter des réponses...