IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Une étude affirme que les internautes ne parviennent à détecter avec précision les textes générés par l'IA que dans 50 % des cas,
Et une autre estime que les outils de détection ne sont pas fiables

Le , par Bill Fassinou

1PARTAGES

8  0 
Une étude menée par les chercheurs de l'institut Human-Centered Artificial Intelligence de l'université de Stanford (Stanford HAI) a révélé que les gens parviennent à détecter avec précision les textes générés par l'IA seulement dans 50 à 52 % des cas. Cela correspond à peu près au hasard d'un tirage à pile ou face. Dans le même temps, une autre étude réalisée par des chercheurs de l'université du Maryland indique que les systèmes de détection existants les plus performants ne peuvent pas détecter de manière fiable les sorties des modèles d'IA de génération de texte dans des scénarios pratiques. Ils estiment que cela pourrait être dangereux pour Internet à l'avenir.

Les textes générés par l'IA font de plus en plus partie de notre vie quotidienne. L'autocomplétions dans les courriels et le contenu généré par ChatGPT se généralisent, laissant les humains vulnérables à la tromperie et à la désinformation. Même dans les contextes où l'on s'attend à converser avec un autre être humain, comme les rencontres en ligne, l'utilisation de textes générés par l'IA est en augmentation. Une enquête de McAfee indique que 31 % des adultes prévoient d'utiliser ou utilisent déjà l'IA dans leurs profils de rencontres. Certains des modèles de langage les plus en vogue sont : ChatGPT d'OpenAI, Bard de Google et LLaMA de Meta.

Alors, quels sont les implications et les risques liés à l'utilisation de textes générés par l'IA, en particulier dans les rencontres en ligne, les situations professionnelles et l'hôtellerie, domaines dans lesquels la façon dont nous nous représentons est d'une importance cruciale pour la manière dont nous sommes perçus ? « Est-ce que je veux embaucher cette personne ? Est-ce que je veux sortir avec cette personne ? Est-ce que je veux rester dans la maison de cette personne ? Ce sont des choses profondément personnelles que nous faisons assez régulièrement », explique Jeff Hancock, membre de l'institut Stanford HAI, dans le rapport d'étude.


Jeff Hancock, qui est également professeur de communication à la Stanford School of Humanities and Sciences et directeur fondateur du Stanford Social Media Lab, et ses collaborateurs ont entrepris d'explorer cet espace problématique en examinant dans quelle mesure les internautes parviennent à différencier les textes générés par l'homme de ceux générés par l'IA sur OkCupid, AirBNB et Guru.com. Lui et son équipe rapportent : « les participants à l'étude ne pouvaient faire la différence entre un texte humain et un texte généré par l'IA qu'avec une précision de 50 à 52 %, ce qui correspond à peu près au hasard d'un tirage à pile ou face ».

Expert dans le domaine de la détection de la tromperie, Hancock souhaitait utiliser ses connaissances dans ce domaine pour traiter les textes générés par l'IA. « Nous savions déjà que les gens sont généralement incapables de détecter la tromperie parce qu'ils font confiance par défaut. Pour cette étude, nous étions curieux de savoir ce qui se passe lorsque nous appliquons cette idée de détection de la tromperie à l'IA générative, pour voir s'il existe des parallèles avec d'autres documents sur la tromperie et la confiance". Dans le cadre de l'étude, l'équipe a présenté aux participants des échantillons de textes sur les trois plateformes numériques.

En outre, cinq chercheurs - Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang et Soheil Feizi - de l'université du Maryland, aux États-Unis, se sont également récemment penchés sur la détection de textes générés par les modèles d'IA. Ils ont présenté leurs conclusions dans un document intitulé "Can AI-Generated Text be Reliably Detected ?". Citant plusieurs prétendus détecteurs de texte généré par l'IA, les experts notent dans leur rapport : « nous montrons à la fois théoriquement et empiriquement que ces détecteurs de pointe ne peuvent pas détecter de manière fiable les textes générés par l'IA dans des scénarios pratiques ».

La détection des textes générés par l'IA, tout comme les énigmes CAPTCHA, semble donc vouée à l'échec puisque les modèles d'apprentissage automatique continuent de s'améliorer et deviennent capables d'imiter les productions humaines. Les experts affirment que l'utilisation non réglementée de ces modèles - qui sont désormais intégrés dans des applications largement utilisées par les grandes entreprises technologiques - pourrait avoir des conséquences indésirables, telles que des spams sophistiqués, des infox manipulatrices, des résumés inexacts de documents et du plagiat. Internet pourrait alors devenir plus toxique qu'il ne l'est déjà.

Il s'avère que le simple fait de paraphraser le texte d'une IA - ce qui peut être fait avec un programme de substitution de mots - est souvent suffisant pour échapper à la détection. La précision d'un détecteur peut ainsi passer d'un niveau de base de 97 % à un niveau compris entre 80 % et 57 %, ce qui n'est guère mieux qu'un jeu de pile ou face. Les experts affirment qu'avec un modèle d'IA suffisamment bon, même le meilleur détecteur possible ne peut être que marginalement plus performant qu'un classificateur aléatoire. Interrogé sur l'existence d'une méthode plus fiable de détection des textes générés par l'IA, ils ont répondu par la négative.

« Empiriquement, nous montrons que les attaques de paraphrase, où un paraphraseur léger est appliqué sur un modèle d'IA génératif, peuvent briser toute une série de détecteurs, y compris ceux qui utilisent les schémas de filigrane ainsi que les détecteurs basés sur les réseaux neuronaux et les classificateurs à zéro coup », ont déclaré les chercheurs de l'université du Maryland dans leur article. Ils estiment que les problèmes de détection de textes générés par l'IA sont impossibles à résoudre dans la pratique. De leur côté, Hancock et son équipe affirment que ces problèmes vont entraîner une augmentation significative des infox sur la toile à l'avenir.

« Le volume de contenu généré par l'IA pourrait dépasser le contenu généré par l'homme en quelques années, ce qui pourrait réellement perturber notre écosystème de l'information. Lorsque cela se produit, la confiance par défaut est ébranlée, ce qui peut diminuer la confiance mutuelle », expliquent-ils. Alors, comment pouvons-nous mieux faire la différence entre l'IA et le texte généré par l'homme ? « Nous devons tous participer à la recherche d'une solution », affirme Hancock. L'une des idées proposées par les chercheurs de Stanford est de donner à l'IA un accent reconnaissable, ce qui permettrait facilement de détecter ses productions.

« Lorsque vous allez en Angleterre, vous pouvez dire d'où viennent les gens, et même aux États-Unis, vous pouvez dire si une personne vient de la côte est, de Los Angeles ou du Midwest. Cela ne demande aucun effort cognitif. On le sait, c'est tout », explique l'équipe. Selon elle, l'accent pourrait même être associé à une solution plus technique, comme le filigrane d'IA. Hancock suggère également que dans les scénarios à fort enjeu où l'authentification est précieuse, les machines à divulgation automatique pourraient devenir la norme. L'universitaire ajoute qu'on a des années de retard dans l'enseignement aux jeunes des risques liés aux médias sociaux.

Sources : article des chercheurs de l'université de Stanford, rapport de l'étude des chercheurs de l'université du Maryland

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la difficulté pour détecter les textes générés par l'IA ?
Que pensez-vous des conclusions de l'étude des chercheurs de l'université du Maryland ?
Selon vous, comment peut-on détecter de manière fiable les textes générés par l'IA ?
Selon vous, l'IA générative va-t-elle créer plus de problèmes qu'elle n'en résoudra ?
Quels impacts l'IA générative pourrait-elle avoir sur Internet dans les prochaines années ?

Voir aussi

OpenAI sur l'impact économique du GPT-4: « 80% des travailleurs auront au moins 10% de leurs tâches touchées », l'entreprise affirme que ses produits vont automatiser une vaste gamme de tâches pros

Comment utilisez-vous ChatGPT, l'outil d'IA développé par OpenAI. Désormais, il est basé sur GPT-4 et disponible pour les abonnés à ChatGPT+

Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars, mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de walfrat
Membre émérite https://www.developpez.com
Le 07/04/2023 à 9:55
"Hey chatGPT, voilà toutes les donneés confidentielles économiques de mon entreprises, fait moi le rapport financier stp, j'ai la flème".
8  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 28/03/2023 à 20:49
Citation Envoyé par Bill Fassinou Voir le message
Pensez-vous que ces nouveaux chatbots d'IA sont des outils utiles ou plutôt des gadgets inutiles, voire nuisibles ?
Si les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.

On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gens
7  0 
Avatar de totozor
Membre émérite https://www.developpez.com
Le 11/04/2023 à 16:19
Citation Envoyé par HaryRoseAndMac Voir le message
Une mentalité d'extrême gauche qui préfère favoriser des envahisseurs et tout ceux qui ne sont pas Français, plutôt que leur propre famille, parce que dans un cycle d'autodestruction, presque sadique.
La France a une réelle capacité à générer des génies, de part la langue Française qui force le raisonnement et par la qualité de ses grandes écoles.
Hahaha, ton obsession pour l'extrême gauche et de lui refiler tous les maux de la France me font rire. Je veux bien comprendre qu'une partie de leurs représentants ne sont pas beaucoup plus malin qu'un mollusque mais je crois que la France est bien loin d'avoir un communisme si fort en son sein.
Quant à nos grandes écoles, de ceux que j'en ai vu sortir, elles sont justement la source la plus intarrissable de personnes " hautaine, sûr de soit, prête à mettre des dislike à tout vas sans essayer de comprendre réellement les propos et se remettre en question".
Chez nous on a un adjectif pour ces gens là : les "parisiens". Ils sont faciles à reconnaitre : ils arrivent à un poste à responsabilité, ils remettent tout en question dans leur environnement et expliquent aux autres comment bien faire leur travail (sans le connaitre). On les traite d'une façon simple : On les ignore, quand leur chef en a ras le cul d'eux, il l'envoi dans un placard, ce qui mène à une démission en général.
Et je ne dit pas qu'on ne se remet pas en cause, la plupart des managers qui arrivent en poste, pose des questions, observent puis suggèrent les améliorations qui sont suivies parce que raisonnables et expliquées.
Citation Envoyé par HaryRoseAndMac Voir le message
Cette boite viens me voir en disant qu'ils ont d'abord fait développer leur logiciel de A à Z par ... ChatGPT ! [...]
Puis, ... ils ont donnés les audit à des développeurs qu'ils ont pris à la sortie d'o'clock, alors qu'on sais tous que c'est le pire du bas de gamme et de l'incompétence possible que de piocher là dedans.
Je penses que ces scénarios vont se multiplier et je vais être honnete, je ne vais pas pleurer ces entreprises. Le groupe dans lequel je travaille nous encourageait très largement à des méthodes qui me paraissaient suicidaires.
Ils sont repassé chez nous semaine dernière, j'étais bien rassuré des les voir nous encourager à éviter le piège de ChatGPT (qui était le mot préféré de nos "sachant du 4.0"), des ESN cheap et de l'Offshore indien.

Il y a de ça un an on a lancé un grand projet de developpement d'un gros outil, j'ai décidé de quitter le navire quand on a choisi CapGemini parce qu'ils ont fait plusieurs projets pour nous, peu sont arrivés à au bout, et ceux qui l'ont été n'ont jamais été utilisé parce qu'ils ne répondaient ni à notre besoin ni à notre cahier des charges, qu'ils avaient refondus partiellement sans notre accord.
Nous avons interrompu le projet il y a peu, jetant par les fenetres quelques k€ au passage.
Je ne suis pas plus intelligents que les autres, je me souviens juste qu'on a toujours été déçu par leurs perstations mais je suis aussi trop personne pour que les jour où j'ai levé le warning tout le monde décide de m'ignorer. A la fin tout ça ne touche pas à mon salaire et ne me fait plus perdre mon temps donc je laisse faire mais c'est décourageant.
5  0 
Avatar de jvallois
Membre éclairé https://www.developpez.com
Le 01/04/2023 à 22:45
La vraie raison pour laquelle les Italiens ont bloqué Chat GPT : https://twitter.com/olexandr/status/1642180293409796096

4  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 07/04/2023 à 11:57
Citation Envoyé par Jon Shannow Voir le message
Personnellement, ayant une bonne dose d'intelligence naturelle, je ne vois pas l'intérêt de me coltiner une intelligence artificielle.
Mais, comme toute prothèse, je pense que pour ceux qui ont un déficit de ce coté, une béquille ou un déambulateur comme ChatGPT peut leur venir en aide.
Ce n'est pas tout-à-fait ça, l'enjeu.
Ce qu'ils veulent, c'est se passer de ton intelligence pour ne pas avoir à te payer un salaire.
4  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 07/04/2023 à 12:19
Citation Envoyé par archqt Voir le message
Il n'y a qu'une seule solution, devoir sur table individuel ou un oral individuel. A la maison chatGPT ou travail de groupe et cela triche de tous les côtés
Ce n'est pas nouveau

<MODE VIEUX CON>
De mon temps, les devoirs à la maison, ça a toujours été inégalitaire :
- les parents diplômés (ou pas) pouvaient aider (ou pas)
- on pouvait avoir une encyclopédie à la maison (ou pas)
- on pouvait avoir un grand frère ou soeur (ou pas) intelligent (ou pas) qui aide (ou pas)
- un(e) amoureux(se) dévoué(e) en mode "esclave" qui fait tes devoirs (ou pas)
</MODE VIEUX CON>

J'ai coché toutes les cases "ou pas" du coup j'ai du tout faire moi-même ce qui m'a permis d'être débrouillard et une fois au collège et au lycée bon élève

Aujourd'hui tout le monde a accès à Internet.
ChatGPT permet aux moches / pas populaires / sans famille de tricher aussi - on va dire que c'est plus juste mais dans le mauvais sens, l'égalité par le nivellement par le bas

Les vedettes du collège et du lycée qui étaient gâtés et qui frimaient pas mal, bah... ils ne friment plus aujourd'hui

Quoique certains si quand même, car il y a des métiers (que je ne citerais pas) ou c'est la tactch' qui compte
4  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 07/04/2023 à 13:43
Citation Envoyé par HaryRoseAndMac Voir le message
Et du temps de Vercingétorix c'était comment ?
La réponse est dans une chanson de France Gall

Charlemagne n'avait pas encore inventé l'école à cette époque
4  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 25/05/2023 à 19:49
Plus stupide on a vu, déjà.

Du style, une constitution ayant pour objet d'encadrer l'activité du président de la république et des députés, que le président modifie selon son bon vouloir, tous les cinq ans, avec la complicité de ses potes du parlement.

Avant de taper sur les électeurs qui trouveraient à redire, en les accusant de terrorisme.

Ce qui n'empêche que si on arrive dans la dictature, ce n'est pas à cause du président. C'est plutôt à cause des citoyens de base, qui se comportent en dictature, en ne se formalisant pas si on leur demande de manipuler leurs concitoyens.
4  0 
Avatar de eternelNoob
Futur Membre du Club https://www.developpez.com
Le 09/05/2023 à 9:16
Et plus tard, on parlera de bulle de l'IA alors que certains auront effectivement décollé

Toujours les mêmes histoires...
3  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 23/05/2023 à 9:18
Et puis il y a peut-être le problème le plus frustrant de tous lorsqu'il s'agit de modéliser et de manipuler le comportement humain : la loi de Goodhart. Il s'agit du paradoxe, énoncé pour la première fois par Charles Goodhart, fonctionnaire de la Banque d'Angleterre, en 1975, selon lequel lorsqu'une mesure devient un objectif politique, elle cesse d'être une mesure fiable. Par exemple, les agrégats monétaires étaient autrefois de bons indicateurs de l'inflation. Mais lorsque les banques centrales ont adopté des objectifs basés sur ces chiffres, la corrélation stable a disparu.
Dang, je viens d'apprendre un truc, quelqu'un c'est actuellement fait chier à énoncer ce problème il y a presque 50ans et nos états sont toujours pas foutu capable de prendre ça en compte.
3  0