Anthropic envisage d'intégrer un marquage sémantique invisible dans les textes générés par son modèle d'IA Claude. Cette technique, appelée « stéganographie », influence subtilement le choix des mots en privilégiant certaines probabilités, ce qui, selon les critiques, dégrade la précision et la qualité de l'écriture au profit de la traçabilité. Le programmeur américain John Gruber qualifie cette pratique de « perversion de l'écriture », soulignant que même des synonymes proches modifient le sens profond d'une œuvre. De nombreux utilisateurs de Claude ont résilié leurs abonnements, mais Anthropic a déclaré n'avoir pas constaté de pic de résiliation.Anthropic a récemment publié un article de blogue annonçant qu’il allait modifier la manière dont son modèle d’IA Claude générait du texte. Cette mesure vise à se conformer au règlement sur l’intelligence artificielle (AI Act) de l’Union européenne. Entré en vigueur le 1er août 2024 et s'appliquant de façon progressive, ce cadre juridique vise à garantir le développement d'une IA sûre, éthique et respectueuse des droits fondamentaux au sein de l'UE.
Parmi les exigences de cette législation, l'UE dispose que « tout fournisseur d'un système d'IA générant du contenu synthétique (texte, image, audio, vidéo) doit faire en sorte que les sorties soient marquées dans un format lisible par machine et détectables comme étant générées ou manipulées par l'IA ».
Pour se conformer, Anthropic va ajouter des filigranes invisibles dans les textes produits par Claude. La société marquera systématiquement tous les textes générés (ou traités) par ses modèles de langage. De plus, l'entreprise a choisi de déployer ces filigranes invisibles de manière globale sur tous ses nouveaux modèles à l'échelle internationale, et non pas uniquement au sein de l'UE. Mais cette décision a déclenché un tollé parmi les utilisateurs.
Le mécontentement du blogueur technologique John Gruber
Anthropic a déclaré que ces modifications seraient apportées au niveau granulaire et aléatoire auquel ses modèles génèrent du texte, et qu’elles seraient indétectables pour le lecteur lambda. Il a également expliqué que cela n’affecte pas la qualité des sorties de Claude et qu'il n’emploie pas de caractères invisibles. Selon l'entreprise, l’empreinte repose sur une légère modification des choix de mots afin de constituer un motif statistique détectable.
Anthropic précise également que ces ajustements se limitent à des termes interchangeables dans le contexte. Ainsi, après « Le temps aujourd’hui était froid et… », Claude pourrait choisir « gris » ou « nuageux » sans altérer matériellement le sens de la phrase. Mais John Gruber, le célèbre blogueur à l’origine du site Daring Fireball, conteste vivement ces déclarations. John Gruber est aussi programmeur, et un des cocréateurs du langage Markdown.
Dans un article de blogue publié le 16 août, John Gruber a qualifié le projet de filigrane d'Anthropic de « perversion de l’écriture ». Sa principale critique : « Claude devrait choisir les mots parce qu’ils sont les mieux adaptés à l’utilisateur, et non parce qu’ils permettent de rendre le texte généré identifiable ». John Gruber a fait valoir que le filigrane limiterait Claude, le contraignant à faire des choix lexicaux globalement moins bons et moins précis.
Envoyé par John Gruber
Toute cette entreprise constitue une dénaturation perverse de ce que signifie écrire... Le choix précis des mots que nous utilisons lorsque nous écrivons a son importance. Je veux que tout LLM que j’utilise choisisse les mots les meilleurs et les plus précis à chaque étape de la prise de décision. Une contrainte évidente que j’accepte est celle du temps et de la puissance de calcul. Dans les limites imposées par la nécessité d’exécuter rapidement l’inférence, et à un certain coût par token, je veux les meilleurs mots. L’idée que quoi que ce soit d’autre que mes besoins puisse entrer en ligne de compte dans la génération de texte à mon intention est manifestement choquante.
Steven Murdoch, professeur d’informatique à l’University College London, ne partage pas l'avis de John Gruber, estimant que « ce changement n’aurait probablement aucun impact notable ». « Il y a déjà une part d’aléatoire dans tous ces grands modèles de langage. C’est un élément essentiel de leur fonctionnement. Sans cet aléatoire, ils se retrouveraient pris dans des boucles et commenceraient à répéter sans cesse la même chose ».
Une altération sémantique perçue comme nuisible à tous
John Gruber considère comme offensant que le fait que des critères extérieurs aux besoins de l'utilisateur final viennent altérer la qualité de la génération de texte. Il trace un parallèle avec le système SynthID de Google, déjà utilisé pour l'application Gemini. Il tourne en dérision les explications de Google selon lesquelles les utilisateurs ne remarqueront pas de différence sémantique, par exemple en remplaçant arbitrairement des termes similaires.
Bien que Google ait publié une étude pour démontrer que l'impact sur la qualité est négligeable selon les retours des utilisateurs, John Gruber conteste la validité de cette étude, soulignant que les simples boutons d'évaluation positive ou négative ne permettent pas d'apprécier la perte de précision sémantique d'un texte.
D'après le programmeur, l'altération sémantique de SynthID explique en partie pourquoi la prose de Gemini est souvent perçue comme inférieure à celle de ses concurrents. Sur les plateformes communautaires telles que Reddit ou Hacker News, des critiques dénoncent également « une altération sémantique nuisible à tous ». Des dizaines d’abonnés à Claude sur X (ex-Twitter) ont annoncé avoir résilié leurs abonnements en guise de protestation.
« Qui va se faire prendre ? Vous. L’étudiant qui a utilisé Claude pour réorganiser un paragraphe. Le journaliste qui a demandé à l’IA de résumer une transcription de deux cents pages. L’écrivain en panne d’inspiration qui a demandé des synonymes. Ces personnes ressortent de ce processus avec un tatouage numérique sur le front. Ce changement ruine l'utilité de Claude et pose de nombreux problèmes éthiques », a écrit un utilisateur sur Reddit.
Enfin, John Gruber critique également le choix d'Anthropic d'appliquer ce filigrane à l'échelle mondiale sous prétexte de ne pas disposer de moyen durable pour limiter techniquement cette mesure à l'Europe. Le blogueur américain trouve inacceptable qu'une entreprise valorisée à près de deux mille milliards de dollars en vue de son introduction en bourse prétende être incapable de restreindre géographiquement une conformité légale.
Des utilisateurs dénoncent l'absurdité de la réglementation
De nombreux utilisateurs, dont John Gruber, ont qualifié la réglementation européenne sur l'IA de « non-sens bureaucratique » et de « chimère irréalisable ». Cette polémique coïncide avec la décision d’Anthropic de ne pas commercialiser son système expérimental « Model 2 », qui, selon l’entreprise, a montré « une amélioration notable » par rapport à Mythos, son système phare actuel, sur de nombreuses tâches pertinentes pour un usage interne.
John Gruber ajoute que ce règlement n'aura aucun effet sur les utilisateurs malveillants, qui pourront facilement contourner la détection en reformulant leurs textes à l'aide d'autres outils non conformes. En revanche, elle pénalisera les utilisateurs honnêtes : le filigrane s'applique également lorsque Claude est utilisé pour corriger ou reformuler un texte rédigé par un humain. D'autres perçoivent ce changement comme un outil de collecte de données.
Envoyé par Critique
Ma principale préoccupation est que la vérification de la présence de filigranes dans un texte nécessite d’envoyer l’intégralité de ce dernier à Anthropic. Et même cela ne suffit pas, car le texte pourrait avoir été généré par ChatGPT, Gemini, Grok, Mistral, etc. Ainsi, chaque vérification nécessite d’envoyer le texte à tous les fournisseurs d’IA proposant une API de détection de filigranes, dont la quasi-totalité a des antécédents très douteux en matière d’obtention de données d’entraînement par des moyens illicites.
Toute université utilisant la détection par IA dans son processus de soumission, ainsi que les avocats, les éditorialistes et les relecteurs qui recherchent des traces d’IA, enverront des quantités importantes de textes (tels que des travaux de recherche non publiés, des livres, voire des documents internes et bien d’autres encore, dont la plupart sont des textes de grande qualité rédigés par des humains) à des dizaines d’entreprises d’IA, avec une confiance aveugle dans le fait qu’elles n’utiliseront pas ces données pour entraîner leurs modèles.
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.