Une étude menée par les chercheurs de l'institut Human-Centered Artificial Intelligence de l'université de Stanford (Stanford HAI) a révélé que les gens parviennent à détecter avec précision les textes générés par l'IA seulement dans 50 à 52 % des cas. Cela correspond à peu près au hasard d'un tirage à pile ou face. Dans le même temps, une autre étude réalisée par des chercheurs de l'université du Maryland indique que les systèmes de détection existants les plus performants ne peuvent pas détecter de manière fiable les sorties des modèles d'IA de génération de texte dans des scénarios pratiques. Ils estiment que cela pourrait être dangereux pour Internet à l'avenir.Les textes générés par l'IA font de plus en plus partie de notre vie quotidienne. L'autocomplétions dans les courriels et le contenu généré par ChatGPT se généralisent, laissant les humains vulnérables à la tromperie et à la désinformation. Même dans les contextes où l'on s'attend à converser avec un autre être humain, comme les rencontres en ligne, l'utilisation de textes générés par l'IA est en augmentation. Une enquête de McAfee indique que 31 % des adultes prévoient d'utiliser ou utilisent déjà l'IA dans leurs profils de rencontres. Certains des modèles de langage les plus en vogue sont : ChatGPT d'OpenAI, Bard de Google et LLaMA de Meta.
Alors, quels sont les implications et les risques liés à l'utilisation de textes générés par l'IA, en particulier dans les rencontres en ligne, les situations professionnelles et l'hôtellerie, domaines dans lesquels la façon dont nous nous représentons est d'une importance cruciale pour la manière dont nous sommes perçus ? « Est-ce que je veux embaucher cette personne ? Est-ce que je veux sortir avec cette personne ? Est-ce que je veux rester dans la maison de cette personne ? Ce sont des choses profondément personnelles que nous faisons assez régulièrement », explique Jeff Hancock, membre de l'institut Stanford HAI, dans le rapport d'étude.
Jeff Hancock, qui est également professeur de communication à la Stanford School of Humanities and Sciences et directeur fondateur du Stanford Social Media Lab, et ses collaborateurs ont entrepris d'explorer cet espace problématique en examinant dans quelle mesure les internautes parviennent à différencier les textes générés par l'homme de ceux générés par l'IA sur OkCupid, AirBNB et Guru.com. Lui et son équipe rapportent : « les participants à l'étude ne pouvaient faire la différence entre un texte humain et un texte généré par l'IA qu'avec une précision de 50 à 52 %, ce qui correspond à peu près au hasard d'un tirage à pile ou face ».
Expert dans le domaine de la détection de la tromperie, Hancock souhaitait utiliser ses connaissances dans ce domaine pour traiter les textes générés par l'IA. « Nous savions déjà que les gens sont généralement incapables de détecter la tromperie parce qu'ils font confiance par défaut. Pour cette étude, nous étions curieux de savoir ce qui se passe lorsque nous appliquons cette idée de détection de la tromperie à l'IA générative, pour voir s'il existe des parallèles avec d'autres documents sur la tromperie et la confiance". Dans le cadre de l'étude, l'équipe a présenté aux participants des échantillons de textes sur les trois plateformes numériques.
En outre, cinq chercheurs - Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang et Soheil Feizi - de l'université du Maryland, aux États-Unis, se sont également récemment penchés sur la détection de textes générés par les modèles d'IA. Ils ont présenté leurs conclusions dans un document intitulé "Can AI-Generated Text be Reliably Detected ?". Citant plusieurs prétendus détecteurs de texte généré par l'IA, les experts notent dans leur rapport : « nous montrons à la fois théoriquement et empiriquement que ces détecteurs de pointe ne peuvent pas détecter de manière fiable les textes générés par l'IA dans des scénarios pratiques ».
La détection des textes générés par l'IA, tout comme les énigmes CAPTCHA, semble donc vouée à l'échec puisque les modèles d'apprentissage automatique continuent de s'améliorer et deviennent capables d'imiter les productions humaines. Les experts affirment que l'utilisation non réglementée de ces modèles - qui sont désormais intégrés dans des applications largement utilisées par les grandes entreprises technologiques - pourrait avoir des conséquences indésirables, telles que des spams sophistiqués, des infox manipulatrices, des résumés inexacts de documents et du plagiat. Internet pourrait alors devenir plus toxique qu'il ne l'est déjà.
Il s'avère que le simple fait de paraphraser le texte d'une IA - ce qui peut être fait avec un programme de substitution de mots - est souvent suffisant pour échapper à la détection. La précision d'un détecteur peut ainsi passer d'un niveau de base de 97 % à un niveau compris entre 80 % et 57 %, ce qui n'est guère mieux qu'un jeu de pile ou face. Les experts affirment qu'avec un modèle d'IA suffisamment bon, même le meilleur détecteur possible ne peut être que marginalement plus performant qu'un classificateur aléatoire. Interrogé sur l'existence d'une méthode plus fiable de détection des textes générés par l'IA, ils ont répondu par la négative.
« Empiriquement, nous montrons que les attaques de paraphrase, où un paraphraseur léger est appliqué sur un modèle d'IA génératif, peuvent briser toute une série de détecteurs, y compris ceux qui utilisent les schémas de filigrane ainsi que les détecteurs basés sur les réseaux neuronaux et les classificateurs à zéro coup », ont déclaré les chercheurs de l'université du Maryland dans leur article. Ils estiment que les problèmes de détection de textes générés par l'IA sont impossibles à résoudre dans la pratique. De leur côté, Hancock et son équipe affirment que ces problèmes vont entraîner une augmentation significative des infox sur la toile à l'avenir.
« Le volume de contenu généré par l'IA pourrait dépasser le contenu généré par l'homme en quelques années, ce qui pourrait réellement perturber notre écosystème de l'information. Lorsque cela se produit, la confiance par défaut est ébranlée, ce qui peut diminuer la confiance mutuelle », expliquent-ils. Alors, comment pouvons-nous mieux faire la différence entre l'IA et le texte généré par l'homme ? « Nous devons tous participer à la recherche d'une solution », affirme Hancock. L'une des idées proposées par les chercheurs de Stanford est de donner à l'IA un accent reconnaissable, ce qui permettrait facilement de détecter ses productions.
« Lorsque vous allez en Angleterre, vous pouvez dire d'où viennent les gens, et même aux États-Unis, vous pouvez dire si une personne vient de la côte est, de Los Angeles ou du Midwest. Cela ne demande aucun effort cognitif. On le sait, c'est tout », explique l'équipe. Selon elle, l'accent pourrait même être associé à une solution plus technique, comme le filigrane d'IA. Hancock suggère également que dans les scénarios à fort enjeu où l'authentification est précieuse, les machines à divulgation automatique pourraient devenir la norme. L'universitaire ajoute qu'on a des années de retard dans l'enseignement aux jeunes des risques liés aux médias sociaux.
Sources : article des chercheurs de l'université de Stanford, rapport de l'étude des chercheurs de l'université du Maryland
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la difficulté pour détecter les textes générés par l'IA ? Que pensez-vous des conclusions de l'étude des chercheurs de l'université du Maryland ? Selon vous, comment peut-on détecter de manière fiable les textes générés par l'IA ? Selon vous, l'IA générative va-t-elle créer plus de problèmes qu'elle n'en résoudra ? Quels impacts l'IA générative pourrait-elle avoir sur Internet dans les prochaines années ?Voir aussi
OpenAI sur l'impact économique du GPT-4: « 80% des travailleurs auront au moins 10% de leurs tâches touchées », l'entreprise affirme que ses produits vont automatiser une vaste gamme de tâches pros Comment utilisez-vous ChatGPT, l'outil d'IA développé par OpenAI. Désormais, il est basé sur GPT-4 et disponible pour les abonnés à ChatGPT+ Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars, mais l'ont rapidement mis hors ligne en raison de ses "hallucinations" 
Envoyé par Stéphane le calme
