IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

OpenAI met discrètement hors service son outil de détection des contenus générés par l'IA en raison d'un faible taux de précision,
L'échec d'OpenAI suscite des inquiétudes dans le milieu scolaire

Le , par Mathis Lucas

11PARTAGES

4  0 
OpenAI, créateur du chatbot populaire ChatGPT, a discrètement supprimé son outil de détection des contenus générés par l'IA moins de six mois après l'avoir lancé. L'outil, baptisé "AI Classifier", était censé sauver le monde - ou du moins, préserver la santé mentale des enseignants et autres professionnels - en détectant les contenus générés par l'IA. Ce retrait signifie que l'outil a échoué et l'entreprise a annoncé l'avoir débranché en raison d'un faible taux de précision. Cette nouvelle pourrait raviver les inquiétudes quant à la capacité des entreprises à l'origine d'une nouvelle génération d'outils d'IA très performants à mettre en place des mesures de protection.

OpenAI a publié l'outil AI Classifier en février dernier pour identifier les textes écrits par l'IA. Il s'agit d'un modèle GPT (Generative Pre-trained Transformer) affiné qui prédit la probabilité qu'un contenu textuel ait été généré par l'IA. Le modèle peut être utilisé pour détecter les contenus générés par les chatbots tels que ChatGPT et le plagiat par l'IA. Mais depuis son lancement, l'outil n'a jamais fait état d'une grande fiabilité, car selon les propres déclarations d'OpenAI, il est très difficile de savoir si un texte est généré par un humain ou par une machine. Lors du lancement, OpenAI a annoncé que l'outil pouvait atteindre un taux de précision de 26 %.

« Notre classificateur n'est pas totalement fiable. Lors de nos évaluations sur un ensemble de défis de textes en anglais, notre classificateur identifie correctement 26 % des textes écrits par l'IA (vrais positifs) comme étant probablement écrits par l'IA, tout en étiquetant incorrectement des textes écrits par des humains comme étant écrits par l'IA dans 9 % des cas (faux positifs). La fiabilité de notre classificateur s'améliore généralement à mesure que la longueur du texte d'entrée augmente », a déclaré OpenAI lors du lancement de son outil en février. Cinq mois après, l'entreprise n'a pas réussi à faire mieux et a finalement décidé de débrancher l'outil.


Cela a été fait discrètement la semaine dernière et l'entreprise a confirmé que la raison était le faible taux de précision. La notification ne figure pas dans une nouvelle annonce, mais dans une note ajoutée à l'article de blogue qui annonçait l'outil pour la première fois. Le lien vers le classificateur d'OpenAI n'est plus disponible. « Nous nous efforçons d'intégrer les commentaires et recherchons actuellement des techniques de provenance plus efficaces pour le texte, et nous nous sommes engagés à développer et à déployer des mécanismes permettant aux utilisateurs de comprendre si le contenu audio ou visuel est généré par l'IA », explique OpenAI.

OpenAI a déclaré que les limites du classificateur d'IA comprennent le manque de fiabilité sur les textes de moins de 1 000 caractères, l'étiquetage incorrect de textes écrits par l'homme comme étant généré par l'IA, et les classificateurs basés sur des réseaux neuronaux qui donnent de mauvais résultats en dehors de leurs données d'entraînement. Selon les analystes, l'échec d'OpenAI à détecter avec une précision suffisante les textes générés par son propre chatbot d'IA laisse entrevoir l'ampleur du désastre que sera le Web dans un avenir très proche. Mais les problèmes vont bien au-delà du Web, s'étendant notamment à l'éducation et à la finance.

L'éducation est un secteur qui s'intéresse de près à la détection précise du contenu généré par l'IA. Depuis le lancement de ChatGPT en novembre, les éducateurs ont tiré la sonnette d'alarme lorsque des étudiants ont commencé à utiliser le chatbot pour rédiger leurs dissertations. « Nous reconnaissons que l'identification du texte écrit par l'IA a été un point de discussion important parmi les éducateurs, et il est tout aussi important de reconnaître les limites et les impacts des classificateurs de texte générés par l'IA dans la salle de classe », a déclaré OpenAI, ajoutant que l'entreprise continuera à élargir la portée au fur et à mesure qu'elle apprend.

De nouvelles plateformes permettant l'utilisation d'une IA de plus en plus sophistiquée sont mises en ligne presque quotidiennement et ont donné naissance à une industrie artisanale de détecteurs d'IA. Cette nouvelle pourrait raviver les inquiétudes quant à la capacité des entreprises à l'origine d'une nouvelle génération d'outils d'IA générative à mettre en place des mesures de protection. Elle survient en outre au moment où les éducateurs se préparent à la première année scolaire complète avec des outils tels que ChatGPT accessibles au public. Pour l'instant, les écoles et les enseignants semblent livrés à eux-mêmes et manquent de solution.

Ainsi, certaines écoles ont décidé de bannir ChatGPT et les outils d'IA similaires. En France, par exemple, le Directeur de la formation et de la recherche de Sciences Po a interdit aux étudiants d'utiliser ChatGPT ou des outils similaires dans le cadre de leurs études. Le recours aux chatbots d'IA est autorisé uniquement dans le cadre d'un usage pédagogique encadré par un enseignant. Aux États-Unis, les écoles publiques de New York et de Seattle ont interdit aux élèves et aux enseignants d'utiliser ChatGPT sur les réseaux et les appareils du district. Des enseignants ont réagi avec une rapidité remarquable en repensant leurs devoirs en réponse à ChatGPT.

Néanmoins, l'on ignore à quel point l'utilisation de ChatGPT est répandue parmi les élèves et à quel point il peut réellement nuire à l'apprentissage. Un autre domaine très impacté par ChatGPT est la recherche scientifique. Seulement quelques semaines après le lancement de ChatGPT, plusieurs rapports ont signalé que les résumés d'articles générés par le chatbot parvenaient à duper des scientifiques. Ces derniers n'étaient pas en mesure de faire la différence entre les résumés générés par l'IA et les résumés originaux. « Je suis très inquiète », déclare Sandra Wachter, qui étudie la technologie et la réglementation à l'Université d'Oxford, au Royaume-Uni.

En raison de cela, Springer Nature, le plus grand éditeur universitaire du monde, a annoncé début janvier que ChatGPT - ou tout outil similaire de génération de texte - ne peut pas être crédité en tant qu'auteur dans les articles publiés dans ses revues. L'éditeur ne voit aucun problème au fait que l'IA soit utilisée pour aider à rédiger des recherches, mais elle exige que son utilisation soit correctement divulguée. Cette annonce de Springer Nature a ravivé le débat public sur la question de savoir si l'on peut attribuer la paternité d'une œuvre à une IA. Beaucoup s'opposent à cette idée, affirmant que l'IA générative ne fait que plagier les œuvres humaines.

Bien qu'OpenAI puisse mettre son outil au placard pour l'instant, il existe quelques alternatives sur le marché. D'autres entreprises, telles que Turnitin, ont également mis en place des outils d'IA qui sont censés aider les enseignants à détecter les travaux générés par l'IA. Edward Tuan, étudiant à Princeton, a quant à lui présenté un outil de détection similaire, baptisé ZeroGPT. D'autres sont en développement, mais l'échec d'OpenAI démontre la difficulté de la tâche.

Source : OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'abandon de l'outil AI Classifier par OpenAI ?
Que représente cette nouvelle pour l'éducation et les autres secteurs concernés ?

Voir aussi

L'éditeur du chatbot ChatGPT lance un outil « imparfait » pour détecter les textes générés par cette IA et ainsi apporter réponse aux préoccupations des écoles en matière de plagiat

Les résumés d'articles générés par ChatGPT parviennent à duper des scientifiques, ils ne peuvent pas toujours faire la différence entre les résumés générés par l'IA et les résumés originaux

Le plus grand éditeur universitaire du monde affirme que ChatGPT ne peut pas être crédité en tant qu'auteur, il peut servir pour rédiger des recherches, mais sa contribution doit être divulguée

Le Directeur de la formation et de la recherche de Sciences Po interdit aux étudiants d'utiliser le chatbot ChatGPT à l'exception d'un usage pédagogique encadré par un enseignant

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de GLDavid
Expert confirmé https://www.developpez.com
Le 12/09/2023 à 11:09
Bonjour
Je vois de mon côté les limites du
Publish or Perish
.
La recherche veut publier tout et n'importe quoi. Tant qu'on a un papier soumis, ça fait rentrer de l'argent pour le labo.
Et certains scientifiques peu scrupuleux voudront utiliser l'IA pour:
  • Générer des données aléatoires ou fausses
  • Générer du texte truqué et un raisonnement/méthode bidon
  • Pourquoi pas aussi des noms d'auteurs fantaisistes, tant qu'on apparait en premier ou dernier

J'ajoute que la revue par les pairs peu aussi être tronquée ou se faire par arrangement.
Une chose que l'on m'a appris en maîtrise (oui, les vieux comme moi ont eu ça, aujourd'hui on appelle ça un master 2), c'est de lire un article scientifique en toute objectivité. Décortiquer un article et y déceler des failles, c'est tout un art.
C'est ce que l'on appelle l'esprit critique, chose qui fait défaut à notre temps de mon point de vue.

@++
4  0 
Avatar de chrtophe
Responsable Systèmes https://www.developpez.com
Le 08/08/2023 à 20:36
[cinisme]

Le petit personnel se rebelle maintenant ? Dans quel monde on est. Déjà qu'il sont payés...

[/cinisme]

Encore heureux qu'ils réagissent. Malheureusement, je pense qu'ils ont peu de chance d'obtenir quelque chose, c'est ce qui a probablement motivé le choix du Kenya.
3  0 
Avatar de Nym4x
Membre averti https://www.developpez.com
Le 20/08/2023 à 8:07
Passer le test de codage de google ne vaut rien car il est bien connu et l’ia a été entraînée dessus... Développer demande de la logique afin de trouver une solution à un problème spécifique pas de pisser du code pour faire du crud où il existe déjà des générateurs de code d’ailleurs. Et moi au niveau des tests de chat gpt cela n’est pas concluant:
- exemple 1: je lui donne une suite de nombre suivant une logique et lui demande de me donner les termes suivants. Échec total et même en lui donnant la logique, chatgpt à du s’y reprendre à 3 fois
Code : Sélectionner tout
1
2
3
Moi: (1,2,3),(3,4,7),(5,6,11) qu’elle est la suite logique?
ChatGPT: La suite semble suivre un modèle où chaque terme est la somme des deux termes précédents. En suivant ce modèle, la prochaine valeur serait 6 + 11 = 17. Donc, la suite logique serait : 1, 2, 3, 3, 4, 7, 5, 6, 11, 17.
- exemple 2: trouver l’intrus avec une liste d’animaux() incluant un seul animal non mammifère. Idem échec de chatgpt.

Code : Sélectionner tout
1
2
3
Moi: Quel est l’intrus: chat, vache, dauphin, baleine, truite
ChatGPT: L'intrus dans la liste est "chat". Les autres animaux mentionnés sont tous des mammifères marins, tandis que le chat est un mammifère terrestre.
Par contre chatgpt apprend et les jours suivants il donnait les bonnes réponses…
Moralité : en utilisant et corrigeant les réponses de chatgpt vous travaillez gratuitement pour openai et transférez vos connaissances voir celle de votre entreprise à openai
3  0 
Avatar de Jon Shannow
Membre extrêmement actif https://www.developpez.com
Le 04/09/2023 à 9:12
Citation Envoyé par calvaire Voir le message
il existe une probabilité non nuls que des ia comme chatgpt remplace une partie (pas la totalités, mais au moins facile 30%) des devs, des comptables, des rh, des profs, des chef de projet, des pdg, des commerciaux bref tous les métiers de bureaux....
Quand je lis ceci, ça me fait penser à toutes les prédictions que j'ai entendu pendant ma carrière (c'est l'apanage des vieux).

J'ai débuter en informatique en 1986, à cette époque un de mes profs nous avait expliquer que les comptables étaient un métier qui allait être remplacé par les ordinateurs dans les années à venir. Bon, il me semble qu'il y ait toujours des comptables...
Et, puis, après, ce fut le célèbre : "avec l'informatique on va vers le zéro papier"... Quand je vois les montagnes de papier que l'on utilise encore aujourd'hui, je rigole.
Ensuite on a prédit : Linux, c'est la fin de Windows ! Bon, ben, encore raté.
etc, etc, etc.

Bref, il y a toujours des gens pour faire des prédictions sur l'avenir dès qu'une technologie apparait, mais, ces prédictions ne valent que ce qu'elles sont, des prédictions sans réels fondements, juste sur un sentiment, une impression et plus souvent encore, un engouement pour la nouveauté.

Aujourd'hui, c'est l'IA qui va remplacer : les comptables (tiens, encore eux), les développeurs, les banquiers, les avocats, les chauffeurs de taxi, les routiers, ... mais aussi les profs, et pourquoi pas les élèves ?
Pour moi, l'IA est juste un logiciel de brassage de données à grande échelle. Le I de IA est galvaudé. Il n'y a aucune intelligence derrière tout ça, mais surtout, il y a beaucoup de connerie devant cette appellation.
Je dirais simplement : Wait & See.
3  0 
Avatar de GLDavid
Expert confirmé https://www.developpez.com
Le 12/09/2023 à 11:38
Citation Envoyé par Prox_13 Voir le message
C'est quand même dommage, techniquement les études sont des sources d'informations; Je pense que l'homme est plus à même de transmettre des nouvelles connaissances qu'une IA de prédiction de mot, non ?
C'est en effet le sel de la recherche: te baser sur les travaux des autres pour mener les tiens. Ce que Newton avait décrit par
Si j'ai pû voir si loin, c'est parce que je suis monté sur les épaules des géants
.
Les articles en ce moment, c'est plus du sensationnalisme ou de la production de papiers alimentaires. Encore une fois, c'est le système Publish Or Perish qui mène à une telle corruption de la Science.

@++
3  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 09/08/2023 à 20:19
Citation Envoyé par totozor Voir le message
Ce qui est dramatique est que cette affaire n'est pas la première, elles sortent régulièrement mais rien ne change.
Tous les grands outils démocratisés ont eu leur/s scandale/s.
Mais rien ne change, ces gens sont du consommables, s'ils ne sont pas riches ils doivent être forts.
Oui, en France nous sommes particulièrement bien placés pour dire ça. Nous avons un président qui, sur le peu que ses prédécesseurs n'ont pas cassé, a pas mal œuvré, il aurait difficilement pu faire plus pour empêcher qu'on réforme les retraites, et quand il s'est agi de prolonger son mandat, 60% de l'électorat a fait le déplacement.

Après ça, histoire d'être cohérent, on va faire des manifs dans les rues et on se fait taper dessus, éborgner, mutiler. Macron s'est déclaré en guerre, quelques-uns ont cru que c'était contre un virus, force est de constater que non.
1  0 
Avatar de PomFritz
Membre confirmé https://www.developpez.com
Le 19/08/2023 à 3:00
On attend impatiemment une étude pour savoir vers qu'elle religion penche l'IA. Il faut être vraiment déséspéré pour discuter politique avec une IA Plus besoin de se déplacer au bistrot, le bistrot viens chez vous! Encore faut-il voir la conversation avec leur IA.
1  0 
Avatar de commandantFred
Membre actif https://www.developpez.com
Le 21/08/2023 à 10:25
Citation Envoyé par Gluups Voir le message
Avec l'intelligence artificielle on peut créer des jeux sans avoir besoin de comprendre ce qu'on fait, mais on ne peut pas traduire correctement la documentation Microsoft ? Comment c'est possible, ça ?
Si ladite documentation est sur le web, pourquoi ne pas faire un click droit sous chrome et choisir "Traduire en français" ?
La qualité de traduction Google dépasse tout ce que j'ai vu jusqu'ici. Les interfaces langage naturel et autres voix de synthèse de Redmond piquent un peu.
1  0 
Avatar de Axel Mattauch
Membre actif https://www.developpez.com
Le 30/08/2023 à 11:55
Citation Envoyé par Nym4x Voir le message
...
Par contre chatgpt apprend et les jours suivants il donnait les bonnes réponses…
Moralité : en utilisant et corrigeant les réponses de chatgpt vous travaillez gratuitement pour openai et transférez vos connaissances voir celle de votre entreprise à openai
C'est le principe même de l'IA. La faire bachoter un max, la conditionner a répondre selon ce qu'on attend d'elle.
Une variante du chien de Pavlov.
Les cadors vous dirons qu'il est possible d'éviter les biais. Je suis convaincu que cela fait rarement partie des objectifs.

Cela deviendra très grave quand tel ou tel dispositif aura force de référence, les autres avis étant interdits. Ça me rappelle certains régimes...
1  0 
Avatar de floyer
Membre averti https://www.developpez.com
Le 02/09/2023 à 17:26
J'ai essayé l'exemple... 8 bytes étaient émis (9 avec le NUL). 20 semble suffisant. Même "%e" avec un double retourne 12 charactères (+1). Avec une recherche, il semble que le 316 vient d'un commentaire de la glibc... est-ce portable ?

La façon propre est de tester la taille avec un snprintf bridé à 0 octets... et récupérer le resultat pour un malloc...
1  0