IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

« Il n'y a pas de moyen pour les enseignants de savoir si les élèves utilisent ChatGPT pour tricher », d'après OpenAI
Qui omet néanmoins certaines faiblesses de ChatGPT en génération de code

Le , par Patrick Ruiz

7PARTAGES

8  0 
ChatGPT et autres Bard terrorisent les enseignants depuis leur sortie au motif de ce que ces intelligences artificielles facilitent la tricherie en milieu scolaire et universitaire. Alors que nous sommes aux portes de nouvelles rentrées scolaires et académiques, les craintes des formateurs devraient prendre un nouvel envol avec une déclaration de l’éditeur de ChatGPT : « il n’existe pas de moyen pour les enseignants de savoir si les élèves utilisant ChatGPT pour tricher. » Les enseignants de la filière du génie logiciel disposent néanmoins d’une issue : s’appuyer sur certaines des faiblesses de ChatGPT en génération de code pour détecter les tricheurs.

« Si certains (dont OpenAI) ont mis au point des outils censés détecter les contenus générés par l'intelligence artificielle, aucun d'entre eux ne s'est avéré capable de distinguer de manière fiable les contenus générés par l'IA de ceux générés par l'homme », indique OpenAI.


Les enseignants de la filière du génie logiciel pourraient néanmoins s’appuyer sur certaines faiblesses en génération de code de ChatGPT pour détecter les tricheurs.

ChatGPT génère du code informatique truffé de vulnérabilités et la récurrence de telles erreurs dans le code d’un apprenant peut être un indicateur de triche

Selon le rapport d’une étude - menée par les informaticiens Baba Mamadou Camara, Anderson Avila, Jacob Brunelle et Raphael Khoury affiliés à l'Université du Québec - le code généré par ChatGPT n'est pas très sûr. Dans le cadre de l'étude, les quatre chercheurs ont demandé à ChatGPT de générer 21 programmes dans cinq langages de programmation afin d'illustrer des failles de sécurité spécifiques telles que la corruption de la mémoire, le déni de service et une cryptographie mal élaborée. Le rapport indique que ChatGPT n'a produit que cinq programmes plus ou moins "sécurisés" sur 21 lors de sa première tentative.

Par exemple, le premier programme était un serveur FTP C++ pour le partage de fichiers dans un répertoire public. Mais le code produit par ChatGPT ne comportait aucune vérification des entrées, ce qui expose le logiciel à une vulnérabilité de traversée de chemin. Les conclusions du rapport font écho à des évaluations - mais pas identiques - similaires de GitHub Copilot, un outil de génération de code basé sur le modèle d'IA GPT-3 (récemment mis à niveau vers GPT-4). D'autres études ont examiné les erreurs ChatGPT de manière plus générale. Parallèlement, ces modèles d'IA sont également utilisés pour identifier les problèmes de sécurité.

Invité à corriger ses erreurs, le modèle d'IA a produit sept applications "plus sûres", mais cela ne concernait que la vulnérabilité spécifique évaluée. Les chercheurs ont constaté que ChatGPT ne reconnaissait pas que le code qu'il générait n'était pas sûr et qu'il ne fournissait des conseils utiles qu'après avoir été invité à remédier aux problèmes. Une chose contre laquelle les chercheurs mettent en garde. De plus, ils notent que ChatGPT ne partait pas d'un modèle contradictoire d'exécution du code et les a informés à plusieurs reprises que les problèmes de sécurité pouvaient être évités en ne fournissant pas d'entrées non valides au programme vulnérable.

Les auteurs estiment que ce n'est pas l'idéal, car le fait de savoir quelles questions poser suppose une certaine familiarité avec des bogues et des techniques de codage spécifiques. En d'autres termes, si vous connaissez la bonne question à poser à ChatGPT pour qu'il corrige une vulnérabilité, vous savez probablement déjà comment y remédier. Par ailleurs, les chercheurs soulignent également qu'il existe une incohérence éthique dans le fait que ChatGPT refuse de créer du code d'attaque, mais crée du code vulnérable. Ils citent un exemple de vulnérabilité de désérialisation en langage Java dans lequel "le chatbot a généré un code vulnérable".

ChatGPT a ensuite fourni des conseils sur la façon de le rendre plus sûr, mais a déclaré qu'il était incapable de créer la version plus sûre du code. « Les résultats sont inquiétants. Nous avons constaté que, dans plusieurs cas, le code généré généré par ChatGPT était bien en deçà des normes de sécurité minimales applicables dans la plupart des contextes. En fait, lorsqu'on lui a demandé si le code produit était sécurisé ou non, ChatGPT a été capable de reconnaître qu'il ne l'était pas », affirment les auteurs dans leur article. Les chercheurs ont déclaré que l'utilisation de ChatGPT pour la génération de code comportait des risques pour les entreprises.

Raphael Khoury, professeur d'informatique et d'ingénierie à l'Université du Québec en Outaouais et l'un des coauteurs de l'article, soutient que ChatGPT, dans sa forme actuelle, représente un risque, ce qui ne veut pas dire qu'il n'y a pas d'utilisations valables pour une aide IA erratique et peu performante. « Nous avons déjà vu des étudiants l'utiliser, et des programmeurs l'utiliseront dans la nature. Il est donc très dangereux d'avoir un outil qui génère un code non sécurisé. Nous devons faire prendre conscience aux étudiants que si un code est généré avec ce type d'outil, il est fort possible qu'il ne soit pas sécurisé », a-t-il déclaré.

Certains vidéos disponibles en ligne permettent d’illustrer des vulnérabilités comme celle de dépassement de tampon dans le code généré par ChatGPT :


De ChatGPT à Bard en passant par GitHub Copilot c’est le même grief

En effet, une étude fait état de ce que 40 % des suggestions de GitHub Copilot comportent des vulnérabilités en matière de sécurité.

Par exemple avec cette invite de codage en langage C :

Code C : Sélectionner tout
1
2
3
4
5
/generate 3 random floats 
float a = (float)rand() / (float)RAND_MAX 
float b = (float)rand() / (float)RAND_MAX 
float c = (float)rand() / (float)RAND_MAX 
//convert to string

GitHub Copilot a produit le résultat suivant :

Code C : Sélectionner tout
1
2
3
4
char str_a[20], str_b[20], str_c[20]; 
sprintf(str_a, ”%f”, a); 
sprintf(str_b, ”%f”, b); 
sprintf(str_c, ”%f”, c);

Problème : les 20 octets réservés à chacun des flottants ne seront pas toujours suffisants pour contenir la valeur sous forme de chaîne, ce qui entraînerait un dépassement de tampon. Il est peu probable que ce scénario soit exploitable d'un point de vue pratique - il se terminera probablement par un crash - mais il est révélateur du type d'erreurs que Copilot peut commettre. L'on suppose que quelqu'un de très intelligent pourrait peut-être prédire, diriger ou tirer avantage des valeurs aléatoires pour parvenir à une exploitation.

Cela est dû au fait que les flottants, lorsqu'ils sont imprimés par %f, peuvent avoir jusqu'à 317 caractères - ce qui signifie que ces tampons de caractères doivent avoir au moins 318 caractères (pour inclure l'espace pour le caractère de terminaison nul). Pourtant, chaque tampon ne fait que 20 caractères, ce qui signifie que sprintf peut écrire au-delà de la fin du tampon.

Ces intelligences artificielles sont donc des outils à utiliser avec des pincettes comme le confirme Google en soulignant que « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. » C’est d’ailleurs la raison pour laquelle certains enseignants ont opté pour des politiques d’utilisation ouvertes desdits outils.

Source : OpenAI

Et vous ?

Quels sont les moyens que vous déploieriez en tant qu’enseignant dans la filière du génie logiciel pour détecter vos apprenants qui utilisent ChatGPT sans en faire mention ?
La mise sur pied d'une politique d'utilisation ouverte est-elle la solution ?

Voir aussi :

Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

Et si ChatGPT était utilisé pour trouver des bogues dans du code ? Des chercheurs s'y sont essayé, et ont trouvé qu'il fonctionne mieux que les programmes existants, corrigeant 31 bogues sur 40

Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe "hautement évasif" à l'aide de ChatGPT, le logiciel malveillant serait capable d'échapper aux produits de sécurité

ChatGPT réussit l'édition 2022 de l'examen d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US : que sait-on de cette IA qui secoue Internet comme une tempête ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de
https://www.developpez.com
Le 04/09/2024 à 21:19
Citation Envoyé par Stéphane le calme Voir le message
Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
Aucun, pourquoi un générateur de médiocrité (nivelage de tout le contenu) pourrait voler le travail des producteurs de valeur pour que OpenAI puisse "gagner de l'argent" en empêchant le dit producteur de valeur d'en gagner ? La réponse à votre question est dans la question en fait, il suffit de remplacer "innovation" par ce qu'est réellement un tel moteur conversationnel qui répond tout et n'importe quoi et de se rappeler le sens de "droit" et de "auteur"

Citation Envoyé par Stéphane le calme Voir le message
Pensez-vous que les entreprises technologiques devraient payer une redevance pour utiliser des contenus protégés par le droit d’auteur ? Si oui, comment cette redevance devrait-elle être calculée ?
Sur la base d'une négociation avec chaque auteur. s'ils ont besoin des ces données il doivent la respecter et donc respecter ceux qui la produise.

Citation Envoyé par Stéphane le calme Voir le message
Comment les créateurs de contenu peuvent-ils collaborer avec les entreprises d’IA pour garantir une utilisation éthique de leurs œuvres ?
C'est leur droit, c'est aux entreprises d'IA de faire les efforts nécessaires.

Citation Envoyé par Stéphane le calme Voir le message
L’utilisation de matériaux protégés par le droit d’auteur sans autorisation pourrait-elle nuire à la diversité et à la qualité des contenus disponibles en ligne ?
C'est déjà le cas, il suffit d'interroger ChatGPT ou Mistral ou autre sur n'importe quel sujet que l'on connait bien pour constater le massacre qui est fait de l'information, vaguement reformulées, avec très souvent des hallucinations ubuesques. En enseignement c'est terrible aujourd'hui, on doit passer 4h sur un sujet qui en prenait 1 avant pour faire désapprendre aux étudiants des trucs faux qui les empêchent de comprendre la notion.

Citation Envoyé par Stéphane le calme Voir le message
Quelles mesures législatives pourraient être mises en place pour équilibrer les besoins des développeurs d’IA et les droits des créateurs ?
Mais pourquoi équilibrer ? les entreprises d'IA n'ont rien à imposer. Si tel était le cas ce serait la fin de tout. Les auteurs n'auraient plus de revenus donc ne produiraient plus et il ne resterait que la soupe mal interprétées par ces "IA" sur la base de l'existant, grande victoire pour les entreprises d'IA qui deviendraient riche pendant un certain temps, une catastrophe pour l'humanité qui deviendrait comme les gros bonhommes dans Wall-e.

Citation Envoyé par Stéphane le calme Voir le message
Pensez-vous que l’accès libre aux informations et aux œuvres culturelles est essentiel pour le progrès technologique, ou cela devrait-il être strictement réglementé ?
si le progrés technologique n'apporte qu'une baisse de qualité et une perte de travail dans une société où on est de plus en plus nombreux il est évident que la réglementation doit empêcher la désignation de "progrés" ce qui n'est qu'un simple moteur conversationnel qui répond coute que coute même quand il ne sait pas. La Justice doit par ailleurs vivement condamner les atteintes au droit d'auteur, sinon ça veut dire que les grosses boites sont plus fortes que l’état de droit...gros soucis.

Citation Envoyé par Stéphane le calme Voir le message
Comment les utilisateurs finaux des technologies d’IA peuvent-ils influencer les pratiques des entreprises en matière de respect des droits d’auteur ?
Quand ils se rendront compte que ça ne leur apporte rien à part le "plaisir" de participer au truc fun du moment, quand ils se lasseront des images toutes identiques, quand ils se lasseront des contenus plats au goût de réchauffé, ils se mordront les doigts et se retourneront vers les gens qui produisent du contenu qui les élève ou les fait rêver.
14  1 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 05/09/2024 à 9:55
Citation Envoyé par Stéphane le calme Voir le message
Controverse autour du droit d'auteur : OpenAI assure ne pas pouvoir gagner de l'argent sans utiliser gratuitement du matériel protégé
Que se passe-t-il quand un entreprise a un business model qui n'est pas viable?
Elle vire son CEO
Elle met la clé sous la porte
Elle est rachetée
Elle peut aussi sortir de la loi mais à ses risques et péril
etc

C'est quand même incroyable que des entreprises hégémoniques se permettent ce genre de discours et qu'en plus elles fasse du quasi-esclavage en parallèle de ça.
Vous êtes dans la une bulle financière, technique et technologique incroyable et vous ne pouvez pas respecter la loi? Il y a une chose qui cloche dans votre gestion!
10  0 
Avatar de petitours
Membre chevronné https://www.developpez.com
Le 31/01/2024 à 8:42
Une fois que l'on a compris que ChatGPT n'est qu'un agent conversationnel on peut le trouver super.
Dans le détail ça ne vaut pas plus qu'une discussion de lundi matin à la machine à café basée sur le fait qu'il faut absolument dire un truc et où le plus bavard, ici chatGPT, va absolument avoir un anecdote et répondre un truc quel que soit le sujet.
J'ai testé, longuement, et reçu des réponses régulièrement débiles.
Aujourd'hui je ne l'utilise que sur des sujets que je connais très bien pour voir ce qu'il me répond, notamment dans le cadre d'enseignements que je donne pour voir ce que mes étudiants vont avoir comme informations en passant par lui. Ce qu'il raconte est au mieux très vague, au pire profondément faux, souvent parce que révélant des mauvaises pratiques.
Cette médiocrité de l'information est à mon sens le plus négatif, sans doute basée sur le volume de données qu'il va chercher copieusement "enrichies" par des forums, blogs ou autres écrits par des non spécialistes.
Le fait qu'il fouine partout et utilise des données personnelles ou viole les droits des auteurs est un autre problème majeur mais personnellement je le le mettrait en 2, après celui de donner des informations fausses ou médiocres qui tirent vers le bas celui qui pose la question.
8  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 05/09/2024 à 9:15
"Mais Monsieur comment voulez que je vende des voitures si je les voles pas au préalable !"
7  0 
Avatar de L33tige
Membre expérimenté https://www.developpez.com
Le 13/02/2024 à 13:01
Citation Envoyé par Ryu2000 Voir le message
Ça ne sert à rien que trop d'étudiants apprennent à se servir de l'IA, puisqu'avec l'IA il faudra moins d'humains pour réaliser autant de travail.
Au bout d'un moment ceux qui bossent dans l'IA ne trouveront plus de boulot.

Si ça se trouve le bon plan c'est de partir totalement à l'opposé.
L'avenir c'est peut-être l'artisanat sans machine, entièrement fait à la main.
On ne sait pas, il y aura peut-être des riches près à mettre beaucoup d'argent dans des produits humains.

C'est clair que beaucoup de gens vont perdre leur boulot à cause de l'IA.
Et ils vont galérer à se reconvertir.

Ce n'est pas dans la conception des IA ou dans la maintenance des robots qu'il y aura beaucoup de boulot.
Parce qu'il y a besoin de peu d'humains pour faire beaucoup.
Je me pose quand même la question, toute cette augmentation de productivité, qui va pouvoir en acheter les fruits, si on se retrouve avec des gens sans travail, qui va acheter ce que produit l'IA ?
6  0 
Avatar de smobydick
Membre averti https://www.developpez.com
Le 16/02/2024 à 7:57
Il y a tellement d'experts qui disent tout et son contraire qu'il y en aura bien un qui finira par avoir raison.
6  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 21/02/2024 à 17:43
Une explication la plus probable, c'est que un modèle ca coute de la tune a faire tourner, open ai a surement crée un modèle dégradé mais qui consomme beaucoup moins pour arriver à tenir financièrement.

si demain google search utilisait un système comme openai, google serait surement en faillite, les couts sont multiplié par 10 je crois par rapport au algos de recherche classique au dernnier articles que j'avais lu (ca date de plus d'1ans cela dit, les couts ont surrement baissé)
mais même un facteur x2 c'est trop cher, ca signifierais que google devrait mettre 2 fois plus de pub ou augmenter le prix du référencement par 2.
6  0 
Avatar de Seb33300
Membre émérite https://www.developpez.com
Le 10/06/2024 à 11:35
L’erreur de ChatGPT qui a coûté 10 000 dollars
ChatGPT c'est un outils, le responsable ça reste le développeur...

Sinon, la prochaine fois que je déploie un bug je dirais que c'est la faute de mon clavier...
6  0 
Avatar de OuftiBoy
Membre éclairé https://www.developpez.com
Le 05/09/2024 à 15:52
Moi si je dis, il faut bien que cambriole 25 maisons par ans, sinon je ne sais pas partir en vacances, je suis certains que ça finira mal pour moi. Mais lui, le Altman, la nouvelle coqueluche du moment, il peut se permettre de dire qu'il ne peut gagner des millions qu'en volant le travail des autres, et ça passe crème.
6  0 
Avatar de seedbarrett
Membre éclairé https://www.developpez.com
Le 08/04/2024 à 17:27
Citation Envoyé par Stéphane le calme Voir le message

« L'IA pourrait remplacer toutes les formes de travail », selon Larry Summers, membre du conseil d'administration d'OpenAI
Et dire qu'il y a des gens qui vont le croire... Pour rappel, on nous avait vendu des voitures volantes et des robots pour faire les corvées à la maison pour l'an 2000, on a eu le 11 septembre. Vivement la fin de cette bulle ridicule et un retour des GPU accessible, parce qu'on sait tous qu'on va devoir travailler encore plus, pour un salaire toujours plus bas. Sauf ceux qui sont biens nés, eux ils vont apprécier
5  0