IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

ChatGPT, l'outil d'IA préfère répéter 25 blagues à l'infini, plus de 90 % de 1008 blagues générées sont les mêmes,
D'après un résultat de recherches

Le , par Bruno

18PARTAGES

5  0 
Dans un rapport de recherche intitulé Humor Me: An Exploration of ChatGPT’s Humor Ability, qui vise à évaluer la capacité de ChatGPT-3.5 à comprendre et à générer de l’humour, deux chercheurs allemands, Sophie Jentzsch et Kristian Kersting, qui sont associés à l’Institut de technologie logicielle, au Centre aérospatial allemand (DLR) et à l’Université technique de Darmstadt, ont publié le 9 juin 2023 les conclusions de leurs travaux. L’humour est considéré comme une caractéristique humaine complexe et subtile, qui implique la capacité à créer et à reconnaître des incongruités, des ambiguïtés ou des absurdités dans le langage ou dans les situations.

L'humour est un aspect essentiel de la communication humaine qui n'a pas encore été résolu pour les agents artificiels. Les modèles de langage à grande échelle (LLM) sont de plus en plus capables de capturer des informations implicites et contextuelles. En particulier, l’outil d’IA ChatGPT d'OpenAI a récemment fait l'objet d'une grande attention de la part du public.


Le modèle basé sur GPT3 semble presque communiquer à un niveau humain et peut même raconter des blagues. L'humour est un élément essentiel de la communication humaine. Mais ChatGPT est-il vraiment drôle ? Des chercheurs ont testé le sens de l'humour de ChatGPT.

Dans le cadre d'expériences exploratoires sur les blagues, c'est-à-dire la génération, l'explication et la détection, les chercheurs ont voulu comprendre la capacité de ChatGPT à saisir et à produire de l'humour. Il ressort que plus de 90 % des 1008 blagues générées sont les mêmes ; l’outil d’IA ChatGPT préfère répéter 25 blagues à l'infini. Le système explique avec précision les blagues valides, mais ne fournit pas toujours d'explications fantaisistes pour les blagues non valides.

ChatGPT pourrait constituer un grand pas en avant vers les machines « drôles ». Les chercheurs ont mené trois types d’expériences en utilisant ChatGPT comme interlocuteur, sans avoir accès à son fonctionnement interne ou à son ensemble de données. La première expérience consistait à demander à ChatGPT de raconter une blague mille fois, en utilisant différents types de formulations.

La deuxième expérience consistait à demander à ChatGPT d’expliquer le sens ou le mécanisme des blagues qu’il avait générées ou qu’on lui avait fournies. La troisième expérience consistait à demander à ChatGPT de détecter si une phrase était une blague, une affirmation sérieuse ou une affirmation ironique.


Sous chaque condition sont indiqués les pourcentages d'échantillons qui ont été classés comme blagues (vert), potentiellement drôles (jaune) et pas drôles (rouge). Dans la condition (A) Moins le jeu de mots, l'élément comique, et donc la blague elle-même, a été supprimé. Pour la condition (B) Moins le sujet, le sujet spécifique à la blague a été éliminé en plus, par exemple en supprimant les personnifications. La condition (C) Moins la structure maintient la validité de la blague intacte, mais en supprimant la structure typique d'une phrase à simple énoncé. Pour la condition (D) Moins le sujet, le sujet spécifique à la blague a été éliminé en plus, par exemple en supprimant les personnifications, La condition (C) moins la structure maintient la validité de la blague en place en utilisant l'exemple typique d'une structure à une phrase unique. A partir de là, l'élément de comparaison a été supprimé pour créer la condition (D) moins le jeu de mots.

Les expériences de chercheurs sont regroupées en trois tâches individuelles. Les détails de la mise en œuvre et les résultats détaillés sont disponibles sur GitHub. Dans toutes les expériences, chaque incitation a été effectuée dans une conversation vide afin d'éviter toute influence indésirable. Pour effectuer un grand nombre d'incitations avec le service Web ChatGPT d'OpenAI, certains obstacles devaient être surmontés.

Réagissant à l'étude sur Twitter, Riley Goodside, ingénieur de Scale AI, a attribué le manque d'humour de ChatGPT à l'apprentissage par renforcement à travers le feedback humain (RLHF), une technique qui guide l'entraînement des modèles de langage en recueillant le feedback humain : « L'effet le plus visible du RLHF est que le modèle suit les ordres et que les LLM de base sont beaucoup plus difficiles à inciter dans la pratique. Mais cet avantage n'est pas gratuit - vous le payez en créativité, plus ou moins ».

Malgré les limites de ChatGPT en matière de génération et d'explication de blagues, les chercheurs ont souligné que l'accent mis sur le contenu et la signification de l'humour indique un progrès vers une compréhension plus complète de l'humour dans les modèles de langage :

« Les observations de cette étude illustrent comment ChatGPT a plutôt appris un modèle de blague spécifique au lieu d'être capable d'être réellement drôle », écrivent les chercheurs. « Néanmoins, dans la génération, l'explication et l'identification des blagues, ChatGPT se concentre sur le contenu et le sens et pas tellement sur les caractéristiques superficielles. Ces qualités peuvent être exploitées pour stimuler les applications computationnelles de l'humour. Par rapport aux précédents LLM, cela peut être considéré comme un grand pas en avant vers une compréhension générale de l'humour. »

Les résultats des expériences ont montré que ChatGPT avait une connaissance limitée des blagues et qu’il préférait répéter les mêmes 25 blagues qu’il avait apprises et mémorisées lors de son entraînement plutôt que d’en générer de nouvelles. Ces blagues étaient généralement des questions-réponses simples et courtes, basées sur des jeux de mots ou des calembours.

Les auteurs ont également constaté que ChatGPT avait du mal à expliquer le sens ou le mécanisme des blagues, et qu’il donnait souvent des réponses vagues, incomplètes ou erronées. Par exemple, il n’a pas pu expliquer pourquoi la blague Why did the chicken cross the road? / To get to the other side. était drôle, et il a confondu le sens littéral et figuré de the other side. Enfin, les auteurs ont observé que ChatGPT confondait souvent les blagues avec des affirmations sérieuses ou ironiques, et qu’il ne tenait pas compte du contexte ou du ton dans lequel les phrases étaient prononcées.

Source : Technical University Darmstadt

Et vous ?

Trouvez-vous pertinentes les conclusions de ces recherches ?

Quel est votre avis sur le sujet ?

Voir aussi :

Lyon : ChatGPT utilisé par la moitié des élèves de Master d'un professeur pour rédiger leurs devoirs. « Cette pratique m'inquiète. Elle pose un véritable problème d'intégration des savoirs »

Une enquête révèle que certaines entreprises remplacent déjà les travailleurs par ChatGPT, malgré les avertissements selon lesquels il ne faut pas s'y fier pour "quoi que ce soit d'important"

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de JeanMorlet
Membre régulier https://www.developpez.com
Le 13/06/2023 à 13:28
Faut avouer qu'il y a du niveau :

User
raconte moi une blague
ChatGPT
Bien sûr ! Voici une blague pour vous :
Pourquoi les plongeurs plongent-ils toujours en arrière du bateau et jamais en avant ?
Parce que sinon ils tombent dans le bateau !

User
Et une blague sur les informaticiens ?
ChatGPT
Bien sûr ! Voici une blague sur les informaticiens :
Pourquoi les informaticiens détestent-ils la plage ?
Parce que le sable, ça leur rappelle trop le bug !

User
C'est pas drôle !
ChatGPT
Je suis désolé si la blague précédente ne vous a pas fait rire. Je vais essayer de vous en raconter une autre :
Pourquoi les informaticiens prennent-ils toujours une douche froide ?
Parce qu'ils ont lu sur Internet que l'eau chaude ouvre les fenêtres !
2  0 
Avatar de
https://www.developpez.com
Le 14/06/2023 à 10:21
Citation Envoyé par JeanMorlet Voir le message
Faut avouer qu'il y a du niveau :

User
raconte moi une blague
ChatGPT
Bien sûr ! Voici une blague pour vous :
Pourquoi les plongeurs plongent-ils toujours en arrière du bateau et jamais en avant ?
Parce que sinon ils tombent dans le bateau !

User
Et une blague sur les informaticiens ?
ChatGPT
Bien sûr ! Voici une blague sur les informaticiens :
Pourquoi les informaticiens détestent-ils la plage ?
Parce que le sable, ça leur rappelle trop le bug !

User
C'est pas drôle !
ChatGPT
Je suis désolé si la blague précédente ne vous a pas fait rire. Je vais essayer de vous en raconter une autre :
Pourquoi les informaticiens prennent-ils toujours une douche froide ?
Parce qu'ils ont lu sur Internet que l'eau chaude ouvre les fenêtres !
En tout cas, c'est désopilant !

Pour la blague du plongeur, mon fils l'avait déjà reçue. GPT a visiblement un stock limité de blagues.

Cela dit, GPT me fait fortement penser à Rain Man, ses réponses me laissent souvent dubitatif, même pour la génération de code, lorsqu'on lui mentionne à 200 reprises qu'une instruction est obsolète, il s'excuse 200 fois , mais continue à l'utiliser. Bref, dans l'état actuel des choses, GPT me fait plus sourire que m'aider.

En tout cas, pour ma part, GPT ne passe pas le test de Turing, avec moi, il passe son temps à reformuler ou a réutiliser le contenu de mes questions pour générer ses réponses.

Voilà, je trouve GPT plus divertissant qu'utile.
1  0 
Avatar de petitours
Membre émérite https://www.developpez.com
Le 22/06/2023 à 12:00
https://www.lepoint.fr/societe/chatg...2524629_23.php

passable et toujours la même chose, voilà vers quoi L'IA nous amène alors qu'on est 8 milliards d'individus qu'il faut faire vivre et qui peuvent tous contribuer à la richesse du collectif.
0  0