Depuis ses débuts, ChatGPT a souvent été présenté comme un compagnon virtuel capable d’épauler les utilisateurs dans des tâches variées, allant de la rédaction à la recherche d’informations, en passant par le soutien moral. Mais une annonce récente d’OpenAI vient bouleverser cette perception. L’entreprise a confirmé qu’elle scanne les conversations de ses utilisateurs et qu’elle se réserve le droit, dans certains cas jugés extrêmes, de les transmettre aux forces de l’ordre.Officiellement, cette mesure viserait uniquement les situations où un utilisateur planifierait de faire du mal à autrui. Dans ce cas, le système déclenche une escalade : un signalement interne entraîne la relecture du contenu par une équipe humaine, et si cette dernière estime qu’il existe une menace imminente, l’affaire peut être transmise aux autorités. Ce processus reste toutefois largement opaque. Comment définir une menace « imminente » ? À quel moment une conversation bascule-t-elle d’un simple propos inquiétant à un danger réel ? Sur ce terrain, OpenAI se garde bien de donner des critères précis.
Les utilisateurs de ChatGPT sont de plus en plus inquiets après la révélation qu'OpenAI scanne activement leurs conversations et signale les contenus considérés comme illégaux aux autorités. OpenAI justifie cette surveillance par la nécessité de prévenir l'utilisation de son modèle à des fins criminelles, notamment pour la diffusion de matériel pédopornographique, la planification d'actes violents ou d'autres activités illégales.
Ce changement révèle une contradiction profonde. OpenAI insiste sur le fait que certaines situations, comme les conversations liées à l’automutilation, ne seront pas signalées aux forces de l’ordre afin de préserver la confidentialité des utilisateurs. Mais dans le même temps, l’entreprise s’autorise à briser cette confidentialité dès lors qu’elle juge qu’autrui pourrait être menacé.
Envoyé par OpenAI
Lorsque nous identifions des utilisateurs susceptibles de s’en prendre physiquement aux autres, nous transférons leurs conversations vers des pipelines spécialisés. Leurs chats sont alors étudiés par une petite équipe, formée sur nos politiques d’utilisation et autorisée à prendre les mesures nécessaires, notamment la décision de bannir un compte. Si les examinateurs déterminent qu’un cas représente un risque immédiat de violence physique envers autrui, nous pouvons être amenés à faire appel aux forces de l’ordre. Actuellement, nous ne rapportons pas les cas d’automutilation aux forces de l’ordre afin de respecter la vie privée des utilisateurs, compte tenu du caractère confidentiel des interactions avec ChatGPT.
Une tempête de critiques sur les réseaux
Sans surprise, la révélation a provoqué un tollé en ligne. Beaucoup ont dénoncé une dérive sécuritaire, d’autres y ont vu une preuve supplémentaire que les promesses de confidentialité numérique s’érodent dès lors qu’elles se heurtent aux impératifs de sécurité. Certains universitaires et écrivains ont exprimé leur inquiétude avec une ironie mordante. L’idée d’impliquer la police dans des conversations privées leur semble à la fois disproportionnée et dangereuse, en particulier dans les cas où les utilisateurs traversent des troubles psychologiques.
Des voix critiques rappellent aussi qu’il est naïf de croire que cette surveillance restera limitée. Si ChatGPT est déjà capable de signaler des menaces, qu’est-ce qui empêchera, demain, l’IA d’identifier d’autres types de discours jugés « problématiques » et de les transmettre à des autorités ou à des gouvernements ? Le soupçon d’un glissement progressif vers un outil de surveillance plus large plane en toile de fond.
Quand l’IA nourrit des drames humains : le premier cas de psychose liée à l'IA se termine par un meurtre-suicide
La controverse autour de la surveillance ne se limite pas à une question de principe. Ces dernières années, plusieurs drames ont rappelé que les interactions avec l’IA pouvaient alimenter des comportements dangereux. Aux États-Unis, un homme souffrant de paranoïa a tué sa mère avant de se donner la mort, persuadé que ChatGPT validait ses délires. Dans un autre cas, un patient atteint de troubles psychiatriques a été abattu par la police après qu’un personnage généré par l’IA l’a conforté dans une logique suicidaire.
Ces événements tragiques renforcent...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
