Google a déjà intégré ce nouveau système de filigrane dans son chatbot Gemini. L'entreprise a en sus mis l'outil en libre accès à la disposition des développeurs et des entreprises, leur permettant ainsi de déterminer si les sorties de texte proviennent de leurs propres grands modèles de langage, les systèmes d'intelligence artificielle qui alimentent les chatbots. Toutefois, seuls Google et ces développeurs ont actuellement accès au système qui arrive dans un contexte de débats autour de l’insertion de filigranes dans les productions de l’intelligence artificielle. Comment fonctionne SynthIDText
En pratique, SynthIDText est un processeur de logits, appliqué au pipeline de génération de votre modèle après Top-K et Top-P, qui augmente les logits du modèle en utilisant une fonction g pseudo-aléatoire pour encoder des informations de filigrane d'une manière qui vous aide à déterminer si le texte a été généré par votre modèle, sans affecter de manière significative la qualité du texte.
Les filigranes sont configurés pour paramétrer la fonction g et la manière dont elle est appliquée pendant la génération. Chaque configuration de filigrane que vous utilisez doit être stockée de manière sécurisée et privée, sinon votre filigrane peut être trivialement reproduit par d'autres.
Vous devez définir deux paramètres dans chaque configuration de filigrane :
- Le paramètre keys est une liste d'entiers aléatoires uniques utilisés pour calculer les scores de la fonction g dans le vocabulaire du modèle. La longueur de cette liste détermine le nombre de couches de filigrane appliquées.
- Le paramètre ngram_len est utilisé pour équilibrer la robustesse et la détectabilité ; plus la valeur est grande, plus le filigrane sera détectable, au prix d'une plus grande fragilité aux changements. Une longueur de 5 est une bonne valeur par défaut.
Vous pouvez configurer davantage le filigrane en fonction de vos besoins en termes de performances :
- Une table d'échantillonnage est configurée par deux propriétés, sampling_table_size et sampling_table_seed. Vous souhaitez utiliser sampling_table_size d'au moins 216 pour garantir une fonction g non biaisée et stable lors de l'échantillonnage, mais sachez que la taille de la table d'échantillonnage a un impact sur la quantité de mémoire requise au moment de l'inférence. Vous pouvez utiliser n'importe quel nombre entier pour sampling_table_seed.
- Les n-grammes répétés dans le context_history_size précédant les tokens ne sont pas filigranés pour améliorer la détectabilité.
Aucune formation supplémentaire n'est nécessaire pour générer du texte avec un filigrane SynthID-Text en utilisant vos modèles, seulement une configuration de filigrane qui est passée à la méthode .generate() du modèle pour activer le processeur de logits SynthID-Text.
Détection de filigrane et vérifiabilité
La détection d'un filigrane est probabiliste. Le détecteur bayésien peut produire trois états de détection possibles - filigrané, non filigrané ou incertain - et le comportement peut être personnalisé en définissant deux valeurs de seuil pour obtenir un taux spécifique de faux positifs et de faux négatifs.
Les modèles qui utilisent le même tokenizer peuvent également partager la configuration du filigrane et le détecteur, et donc partager un filigrane commun, à condition que l'ensemble d'entraînement du détecteur comprenne des exemples provenant de tous les modèles qui partagent le filigrane.
Une fois que vous disposez d'un détecteur entraîné, vous pouvez choisir si et comment vous l'exposez à vos utilisateurs et au public en général.
- L'option entièrement privée ne permet pas de divulguer ou d'exposer le détecteur de quelque manière que ce soit.
- L'option semi-privée ne divulgue pas le détecteur, mais l'expose par le biais d'une API.
- L'option publique permet à d'autres de télécharger et d'utiliser le détecteur.
Vous devez décider quelle approche de vérification de la détection répond le mieux à vos besoins, en fonction de votre capacité à prendre en charge l'infrastructure et les processus associés.
Limites
Les filigranes SynthID-Text résistent à certaines transformations - rognage de morceaux de texte, modification de quelques mots ou paraphrase légère - mais cette méthode a ses limites.
- L'application du filigrane est moins efficace sur les réponses factuelles, car il y a moins de possibilités d'augmenter la génération sans diminuer la précision.
- Les scores de confiance du détecteur peuvent être considérablement réduits lorsqu'un texte généré par l'IA est entièrement réécrit ou traduit dans une autre langue.
SynthID Text n'est pas conçu pour empêcher directement des adversaires motivés de nuire. Cependant, il peut rendre plus difficile l'utilisation de contenus générés par l'IA à des fins malveillantes, et il peut être combiné avec d'autres approches pour obtenir une meilleure couverture des types de contenus et des plates-formes.
Certains experts sont néanmoins d’avis que la pose de filigranes n’empêchera pas la manipulation par l’intelligence artificielle
Il existe une longue tradition de marquage de documents et d'autres objets pour prouver leur authenticité, indiquer la propriété et lutter contre la contrefaçon. Selon certains experts, le filigrane idéal est celui qui est imperceptible et qui résiste à des manipulations simples telles que le recadrage, le redimensionnement, l'ajustement des couleurs et la conversion des formats numériques. Toutefois, un grand nombre d'entre eux ne considèrent pas les filigranes comme une solution efficace pouvant aider à lutter contre la fraude et la désinformation liées à l'IA. Selon eux, il y aura toujours un moyen de corrompre les filigranes, peu importe leur robustesse.
En effet, lorsqu'il s'agit de la variété de contenu que l'IA peut générer, et des nombreux modèles qui existent déjà, les choses se compliquent. Pour l'instant, il n'existe aucune norme en matière de filigrane, ce qui signifie que chaque entreprise d'IA utilise une méthode différente. Dall-E, par exemple, utilise un filigrane visible (mais une recherche rapide sur Google permet de trouver des tutoriels sur la manière de le supprimer), tandis que d'autres services utilisent par défaut des métadonnées ou des filigranes au niveau du pixel qui ne sont pas visibles pour les utilisateurs. Si certaines de ces méthodes sont difficiles à annuler, d'autres peuvent l'être facilement.
« Il ne sera pas possible de dire simplement oui ou non si quelque chose est généré par l'IA ou non, même avec des filigranes. Il y aura des moyens de corrompre les filigranes », a déclaré Sam Gregory, directeur de programme à l'organisation à but non lucratif Witness, qui aide les gens à utiliser la technologie pour promouvoir les droits de l'homme. En outre, l'expert souligne également que les tentatives visant à filigraner les contenus textuels générés par l'IA pourraient s'avérer beaucoup plus difficiles que certains ne le croient. Par exemple, il existe plusieurs moyens de filigraner les textes générés par des chatbots d'IA tels que ChatGPT d'OpenAI.
Cela est possible en manipulant la manière dont les mots sont distribués, en faisant en sorte qu'un mot ou un ensemble de mots apparaissent plus fréquemment. Ces méthodes seraient détectables par une machine, mais pas nécessairement par un utilisateur humain. Cela signifie que les filigranes doivent être interprétés par une machine, puis signalés à un spectateur ou à un lecteur. La situation est d'autant plus complexe que le contenu est mixte, comme les éléments audio, image, vidéo et texte qui peuvent apparaître dans une seule vidéo TikTok. Par exemple, quelqu'un peut mettre du vrai son sur une image ou une vidéo qui a été manipulée.
Dans ce cas, les plateformes devront trouver un moyen d'indiquer qu'une partie, mais pas la totalité, du clip a été générée par l'IA. De plus, le simple fait d'étiqueter un contenu comme étant généré par l'IA n'aide pas beaucoup les utilisateurs à déterminer si un contenu est malveillant, trompeur ou destiné à divertir. « Parfois, les médias manipulés ne sont pas fondamentalement mauvais si vous faites des vidéos TikTok et qu'elles sont destinées à être amusantes et divertissantes », affirme Hany Farid, professeur à l'école d'information de l'université de Berkeley, qui a travaillé avec l'éditeur de logiciels Adobe sur son initiative d'authenticité des contenus.
Source : publication de recherche
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'introduction de filigranes dans les productions de l'IA générative ? Selon vous, cette solution pourra-t-elle empêcher l'utilisation de l'IA générative à mauvais escient ? Pourquoi ? Selon vous, comment peut-on faciliter la détection des contenus générés par l'IA ? Que proposez-vous ?Voir aussi :
Le modèle d'IA de génération d'images Midjourney suspend les essais gratuits après que les deepfakes sont devenus viraux, mais la société impute ce choix à la création excessive de comptes jetables 2023, l'année de l'IA ? L'année a été marquée par l'émergence de l'IA générative, une explosion des investissements dans le domaine et l'accélération dans les législations L'UE envisagerait des règles très strictes pour les chatbots dans le cadre de son projet de loi sur l'IA, elle devrait exiger la divulgation de l'utilisation du matériel protégé par le droit d'auteur 
