Les détecteurs de texte généré par l'IA ne sont pas aussi précis que certains le prétendent

Selon une évaluation de la robustesse des détecteurs sur le benchmark partagé RAID

Des chercheurs présentent RAID, un ensemble de données de référence vaste et difficile pour la détection de textes générés par l'IA. Les résultats de leurs évaluations démontrent que les détecteurs de texte généré par l'IA ne sont pas aussi précis que certains le prétendent. Malgré cela, des détecteurs ont affiché des signes prometteurs d'amélioration.

Les textes générés par l'IA font de plus en plus parti de notre vie quotidienne. L'auto-complétion dans les courriels et le contenu généré par ChatGPT se généralisent, laissant les humains vulnérables à la tromperie et à la désinformation. Même dans les contextes où l'on s'attend à converser avec un autre être humain, comme les rencontres en ligne, l'utilisation de textes générés par l'IA est en augmentation. Une enquête de McAfee indique que 31 % des adultes prévoient d'utiliser ou utilisent déjà l'IA dans leurs profils de rencontres. Certains des modèles de langage les plus en vogue sont : ChatGPT d'OpenAI, Bard de Google et LLaMA de Meta.

Une étude menée par les chercheurs de l'institut Human-Centered Artificial Intelligence de l'université de Stanford (Stanford HAI) a révélé que les gens parviennent à détecter avec précision les textes générés par l'IA seulement dans 50 à 52 % des cas. Cela correspond à peu près au hasard d'un tirage à pile ou face.

Dans le même temps, une autre étude réalisée par des chercheurs de l'université du Maryland indique que les systèmes de détection existants les plus performants ne peuvent pas détecter de manière fiable les sorties des modèles d'IA de génération de texte dans des scénarios pratiques. Ils estiment que cela pourrait être dangereux pour Internet à l'avenir.

Récemment, une étude réalisée par des chercheurs de l'université de Pennsylvanie révèle que les détecteurs de texte d'IA ne sont pas aussi fiables qu'on le pense. Les détecteurs de texte d'IA sont utilisés pour analyser si un texte est généré par l'IA ou non. Mais ces détecteurs de texte IA sont développés de telle sorte qu'ils ne recherchent que certains signes spécifiques qui peuvent facilement être écrits par des humains également.


Les détecteurs de texte généré par l'IA ne sont pas aussi précis que certains le prétendent

Parfois, les détecteurs d'IA trouvent facilement le texte généré par l'IA, mais ils n'obtiennent pas de bons résultats lorsqu'ils sont confrontés à des textes spécifiques tels que des articles d'actualité. Parfois, ces détecteurs de texte d'IA identifient également des textes entièrement rédigés par des humains comme étant des contenus générés par l'IA.

Les chercheurs de l'étude ont proposé une nouvelle façon de généraliser un texte écrit par une IA en donnant à ces détecteurs un ensemble de données de 10 millions de documents, allant d'articles d'actualité à des blogs et des recettes, et en les comparant.

Un tableau de classement public permettra ensuite de classer les détecteurs d'IA en fonction de leurs performances sur la base de ces ensembles de données. La société a expliqué qu'elle essayait de comparer les détecteurs d'IA afin que, "si quelqu'un propose une nouvelle idée, nous puissions valider que son texte est bien écrit par un être humain."

Depuis la publication de GPT-2 en 2019 et de GPT-3 en 2022, il y a eu de nombreux problèmes concernant les textes produits par les générateurs de textes d'IA. De nombreux enseignants ont également fait part de leurs inquiétudes quant à l'utilisation de LLM par leurs étudiants pour rédiger leurs devoirs et travaux universitaires. De nombreux détecteurs d'IA revendiquent une précision de 99 %, ce qui est trop beau pour être vrai. Certains prétendent même que l'IA est difficile à détecter.

Les chercheurs affirment que les détecteurs d'IA sont faciles à tromper si l'on remplace certains mots et si l'on ajoute des orthographes britanniques aux mots. Certains détecteurs fonctionnent également mieux avec les modèles de texte d'IA sur lesquels ils ont été formés, de sorte qu'ils ne peuvent parfois pas détecter avec précision les textes écrits par des modèles tels que Claude d'Anthropic.

Certains détecteurs d'IA spécialement conçus pour détecter les nouvelles peuvent également éprouver des difficultés avec les recettes de cuisine. Dans l'ensemble, alors que les LLM s...