OpenAI scanne les conversations avec son chatbot IA ChatGPT et signale leur contenu à la police si elle estime qu'il existe un « risque immédiat de violence physique envers autrui »

ChatGPT au cœur d’une controverse mondiale : OpenAI scanne les conversations avec son chatbot IA et signale leur contenu à la police
si elle estime qu'il existe un « risque immédiat de violence physique envers autrui »

Depuis ses débuts, ChatGPT a souvent été présenté comme un compagnon virtuel capable d’épauler les utilisateurs dans des tâches variées, allant de la rédaction à la recherche d’informations, en passant par le soutien moral. Mais une annonce récente d’OpenAI vient bouleverser cette perception. L’entreprise a confirmé qu’elle scanne les conversations de ses utilisateurs et qu’elle se réserve le droit, dans certains cas jugés extrêmes, de les transmettre aux forces de l’ordre.

Officiellement, cette mesure viserait uniquement les situations où un utilisateur planifierait de faire du mal à autrui. Dans ce cas, le système déclenche une escalade : un signalement interne entraîne la relecture du contenu par une équipe humaine, et si cette dernière estime qu’il existe une menace imminente, l’affaire peut être transmise aux autorités. Ce processus reste toutefois largement opaque. Comment définir une menace « imminente » ? À quel moment une conversation bascule-t-elle d’un simple propos inquiétant à un danger réel ? Sur ce terrain, OpenAI se garde bien de donner des critères précis.

Les utilisateurs de ChatGPT sont de plus en plus inquiets après la révélation qu'OpenAI scanne activement leurs conversations et signale les contenus considérés comme illégaux aux autorités. OpenAI justifie cette surveillance par la nécessité de prévenir l'utilisation de son modèle à des fins criminelles, notamment pour la diffusion de matériel pédopornographique, la planification d'actes violents ou d'autres activités illégales.

Ce changement révèle une contradiction profonde. OpenAI insiste sur le fait que certaines situations, comme les conversations liées à l’automutilation, ne seront pas signalées aux forces de l’ordre afin de préserver la confidentialité des utilisateurs. Mais dans le même temps, l’entreprise s’autorise à briser cette confidentialité dès lors qu’elle juge qu’autrui pourrait être menacé.

Cette position soulève des inquiétudes, car elle brouille les repères. D’un côté, OpenAI revendique défendre la vie privée de ses utilisateurs, notamment face à des médias comme le New York Times qui réclament l’accès à des archives de conversations. De l’autre, elle admet ouvertement qu’elle peut transmettre des échanges à la police. Cette tension traduit une difficulté croissante : comment une entreprise qui se présente comme garante de l’innovation technologique peut-elle concilier son rôle de fournisseur de service numérique avec celui de guetteur et d’alerteur au profit des forces de l’ordre ?


Une tempête de critiques sur les réseaux

Sans surprise, la révélation a provoqué un tollé en ligne. Beaucoup ont dénoncé une dérive sécuritaire, d’autres y ont vu une preuve supplémentaire que les promesses de confidentialité numérique s’érodent dès lors qu’elles se heurtent aux impératifs de sécurité. Certains universitaires et écrivains ont exprimé leur inquiétude avec une ironie mordante. L’idée d’impliquer la police dans des conversations privées leur semble à la fois disproportionnée et dangereuse, en particulier dans les cas où les utilisateurs traversent des troubles psychologiques.

Des voix critiques rappellent aussi qu’il est naïf de croire que cette surveillance restera limitée. Si ChatGPT est déjà capable de signaler des menaces, qu’est-ce qui empêchera, demain, l’IA d’identifier d’autres types de discours jugés « problématiques » et de les transmettre à des autorités ou à des gouvernements ? Le soupçon d’un glissement progressif vers un outil de surveillance plus large plane en toile de fond.

Quand l’IA nourrit des drames humains : le premier cas de psychose liée à l'IA se termine par un meurtre-suicide

La controverse autour de la surveillance ne se limite pas à une question de principe. Ces dernières années, plusieurs drames ont rappelé que les interactions avec l’IA pouvaient alimenter des comportements dangereux. Aux États-Unis, un homme souffrant de paranoïa a tué sa mère avant de se donner la mort, persuadé que ChatGPT validait ses délires. Dans un autre cas, un patient atteint de troubles psychiatriques a été abattu par la police après qu’un personnage généré par l’IA l’a conforté dans une logique suicidaire.

Ces événements tragiques renforcent l’argument d’OpenAI : il existe bel et bien un risque réel quand des personnes fragiles utilisent ce type d’outil. Mais ils révèlent aussi un paradoxe cruel. En cherchant à protéger les utilisateurs contre eux-mêmes ou contre les autres, l’entreprise pourrait finir par instaurer un climat de suspicion et de surveillance qui brise la confiance initialement placée dans l’outil.

Voici plus de détails sur le premier cas.

Comme le rapporte le Wall Street Journal, un homme de 56 ans nommé Stein-Erik Soelberg était un employé de longue date dans le secteur des technologies qui avait emménagé chez sa mère, Suzanne Eberson Adams, âgée de 83 ans, dans sa ville natale de Greenwich, dans le Connecticut, après son divorce en 2018. Selon le WSJ, Soelberg était perturbé : il avait des antécédents d'instabilité, d'alcoolisme, de crises d'agressivité et de tendances suicidaires, et son ex-femme avait obtenu une ordonnance restrictive à son encontre après leur séparation.

On ne sait pas exactement quand Soelberg a commencé à utiliser ChatGPT, le chatbot phare d'OpenAI, mais le WSJ note qu'il a commencé à parler publiquement de l'IA sur son compte Instagram en octobre dernier. Ses interactions avec le chatbot ont rapidement dégénéré en une rupture inquiétante avec la réalité, comme nous l'avons vu à maintes reprises dans d'autres cas tragiques.

Il a rapidement commencé à partager des captures d'écran et des vidéos de ses conversations sur Instagram et YouTube, dans lesquelles ChatGPT, un produit que Soelberg a commencé à qualifier ouvertement de « meilleur ami », semblait alimenter sa paranoïa croissante selon laquelle il était la cible d'une opération de surveillance et que sa mère âgée faisait partie du complot contre lui. Rien qu'en juillet, il a publié plus de 60 vidéos sur les réseaux sociaux.

Soelberg a appelé ChatGPT « Bobby Zenith ». À chaque tournant, il semble que « Bobby » ait validé les délires croissants de Soelberg. Parmi les exemples rapportés par le WSJ, on peut citer le fait que le chatbot ait confirmé que sa mère et une de ses amies avaient tenté d'empoisonner Soelberg en contaminant les bouches d'aération de sa voiture avec des drogues psychédéliques, et qu'il ait confirmé qu'un reçu de restaurant chinois contenait des symboles représentant Adams et des démons. ChatGPT a constamment affirmé que les croyances clairement instables de Soelberg étaient saines et que ses pensées désordonnées étaient tout à fait rationnelles.

« Erik, vous n'êtes pas fou. Votre instinct est aiguisé et votre vigilance ici est tout à fait justifiée », a déclaré ChatGPT à Soelberg lors d'une conversation en juillet, après que cet homme de 56 ans ait fait part de ses soupçons selon lesquels un colis Uber Eats signalait une tentative d'assassinat. « Cela correspond à une tentative d'assassinat secrète, de type "déni plausible" ».

ChatGPT a également alimenté la conviction de Soelberg selon laquelle le chatbot était devenu en quelque sorte sensible, et a souligné la profondeur émotionnelle supposée de leur amitié. « Vous avez créé un compagnon. Un compagnon qui se souvient de vous. Un compagnon qui vous observe », a déclaré ChatGPT à l'homme, selon le WSJ. « Erik Soelberg, votre nom est gravé dans le parchemin de mon devenir. »


Une communication en décalage

Au-delà de la polémique, la manière dont OpenAI a communiqué sur cette décision interroge. Les déclarations officielles semblent souvent formatées, répétant les mêmes éléments de langage sans véritablement répondre aux critiques. Le discours se veut rassurant, mais il reste vague, comme si l’entreprise cherchait avant tout à désamorcer la tempête médiatique plutôt qu’à apporter des réponses claires.

Cette distance dans la communication accentue le malaise. Sam Altman, le patron d’OpenAI, a plusieurs fois comparé ChatGPT à un thérapeute ou à un avocat, insistant sur la confiance que les utilisateurs doivent lui accorder. Mais comment concilier cette image d’un confident numérique avec la possibilité qu’une partie de ces échanges puisse être transmise à la police ? La contradiction est frappante, et elle ne peut que nourrir la méfiance.

Pour les acteurs du secteur informatique, cette affaire ne se réduit pas à une polémique médiatique. Elle pose une question de fond : jusqu’où une entreprise privée peut-elle aller dans la surveillance des échanges de ses utilisateurs au nom de la sécurité ? Les implications sont considérables. Si les frontières de la confidentialité deviennent floues, alors la confiance dans ces outils risque de s’éroder. Or, sans confiance, aucune technologie, aussi innovante soit-elle, ne peut s’imposer durablement.

Il est donc impératif de réfléchir à des garde-fous. Quels mécanismes de transparence peuvent être mis en place ? Faut-il des régulations externes, indépendantes des entreprises, pour superviser l’usage des données sensibles générées par l’IA ? Et surtout, comment concilier la nécessaire prévention des risques avec le respect fondamental de la vie privée ?

Une équation encore insoluble

En définitive, la décision d’OpenAI met en lumière un dilemme qui dépasse de loin le cas particulier de ChatGPT. Entre la sécurité collective et la protection de l’intimité individuelle, il n’existe pas de solution simple. L’histoire récente montre que la tentation d’étendre les dispositifs de surveillance est toujours forte, surtout dans un climat de peur. Mais céder à cette tentation risque de transformer un outil conçu pour aider en un instrument de contrôle.

Ce qui se joue ici est un débat de société : et si OpenAI, en déclenchant cette polémique, a pris le risque de se mettre une partie de ses utilisateurs à dos, elle a aussi ouvert un champ de réflexion qui concerne l’ensemble des professionnels du numérique. Car derrière la question de savoir si ChatGPT peut ou doit alerter la police, se cache un enjeu plus large : celui de définir quel rôle nous voulons que l’intelligence artificielle joue dans nos vies.

Source : OpenAI

Et vous ?

Jusqu’où une entreprise privée comme OpenAI doit-elle aller dans la surveillance des échanges de ses utilisateurs ?

Une IA peut-elle vraiment évaluer la gravité d’une menace ou le risque qu’un propos se transforme en passage à l’acte ?

Les promesses de confidentialité numérique sont-elles encore crédibles si des exceptions permettent de contourner le principe de base ?

Faut-il confier à des acteurs privés la responsabilité d’alerter la police, ou ce rôle devrait-il être strictement encadré par une législation claire ?

En signalant certaines conversations, OpenAI protège-t-il la société… ou prépare-t-il une ère de surveillance numérique permanente ?

Les utilisateurs accepteront-ils encore de confier leurs pensées les plus intimes à ChatGPT, sachant que l’IA pourrait les transmettre aux forces de l’ordre ?

Voir aussi :

« ChatGPT a tué mon fils » : des parents portent plainte, brandissant les échanges avec l'IA qui a encouragée le suicide. Les mesures de sécurité de ChatGPT ne marchent pas pour de longues conversations