Les hallucinations de ChatGPT trouvent une utilité dans le jeu Donjons & Dragons

Des chercheurs en IA testent des limites de la génération de texte dans le domaine du jeu de rôle

Les LLM sont polyvalents et peuvent être utilisés dans de nombreux domaines de la vie, y compris le jeu de rôle Dungeon & Dragons. Ici, ils aident les maîtres du jeu à créer des mondes de jeu plus immersifs. Mais ils inventent aussi de nouveaux détails qui ne respectent pas les règles. Les chercheurs en intelligence artificielle ont trouvé un rôle pour les chatbots IA où les hallucinations habituelles ne sont pas nécessairement un handicap.

D&D est apparu pour la première fois en 1974 sous la forme d'un jeu de rôle (RPG) dans lequel les joueurs incarnaient des héros médiévaux aventuriers et incarnaient ces personnalités dans le cadre d'un scénario dirigé par un maître de donjon (nous l’appellerons MD) ou un maître de jeu (nous l'appellerons MJ). Les conditions préalables étaient un ensemble de règles, des dés polyédriques, un crayon, du papier, ainsi qu’un engagement commun en faveur d’une narration interactive et d’une théâtralité modeste. Les collations, techniquement facultatives, doivent être prises en compte.

Parallèlement à ces jeux de rôle sur table, la prolifération des ordinateurs personnels dans les années 1980 a conduit à diverses versions informatisées, à la fois en termes de jeu assisté par ordinateur et de simulations entièrement électroniques (comme le récent Baldur's Gate 3), pour ne citer qu'un parmi des centaines de titres inspirés par D&D et autres RPG.


ChatGPT, quant à lui, est un modèle de génération de texte basé sur le Transformer. Il est capable de produire des réponses cohérentes et engageantes à partir d’un contexte donné.

Passez suffisamment de temps avec ChatGPT et d'autres chatbots d'intelligence artificielle et il ne leur faudra pas longtemps pour débiter des mensonges.

Décrit comme une hallucination, une confabulation ou simplement une invention, c'est maintenant un problème pour chaque entreprise, organisation et lycéen essayant d'obtenir d'un système d'IA générative de la documentation pour un travail donné. Certains l'utilisent pour des tâches pouvant avoir des conséquences importantes, de la psychothérapie à la recherche et à la rédaction de mémoires juridiques.

Les hallucinations sont le résultat du fonctionnement de ChatGPT, qui consiste à prédire des chaînes de mots qui correspondent le mieux à la requête de l’utilisateur, sans tenir compte de la logique ou des incohérences factuelles. En d’autres termes, l’IA peut parfois dérailler en essayant de satisfaire l’utilisateur. Par exemple, ChatGPT peut affirmer que la capitale de la France est Berlin, ou que le président des États-Unis est Donald Trump, sans vérifier la véracité de ces informations.

L'IA s'invite dans le jeu

Que se passe-t-il lorsque ChatGPT commence à halluciner et à se prendre pour un personnage de Dungeons & Dragons (D&D), le célèbre jeu de rôle fantastique ? C’est la question à laquelle un groupe de chercheurs en intelligence artificielle a voulu répondre.

Dans un article, des chercheurs de l'Université de Pennsylvanie et de l'Université du Maryland, comté de Baltimore, ont présenté CALYPSO, une interface LLM basée sur GPT-3 et ChatGPT, pour aider les maîtres de jeux D&D dans trois catégories :

1. Compréhension de la rencontre : une méthode pour créer une configuration précise pour une partie (GPT-3).
2. Brainstorming ciblé : une méthode de chat permettant aux modérateurs de poser des questions complémentaires sur des rencontres ou d'affiner le résumé d'une confrontation (ChatGPT).
3. Base de discussion en domaine ouvert : une interface de discussion sans accent sur les rencontres (ChatGPT) qui répond aux questions générales sur D&D à la manière d'un personnage fictif.

L'idée est que Calypso inspire le maître du jeu, qui peut alors décider quelles informations donner aux joueurs, et sous quelle forme. Le modèle est destiné à être utilisé pendant le jeu. Les chercheurs l’appellent un co-maître du jeu.

Aucune formation particulière n'était requise pour ce rôle : selon les chercheurs, les modèles de langage avaient déjà absorbé suffisamment d'informations sur le jeu et ses manuels lors de leur formation de base et avaient acquis des connaissances de base approfondies sur Donjons & Dragons.

CALYPSO est disponible en tant qu'implémentation de bot Discord basée sur le bot Discord en ligne D&D Avrae. Dans Discord, l’équipe de recherche a également testé le système en pratique avec 71 joueurs. Ils ont surtout trouvé CALYPSO utile, en particulier la méthode « Compréhension abstraite », où GPT-3 explique aux joueurs une confrontation et les créatures impliquées.

Nous pouvons lire par exemple dans l'article :

Calypso étend involontairement l'univers D&D avec des hallucinations

Comme toutes les applications LLM, le système CALYPSO souffre d'hallucinations fréquentes. Les modèles de langage inventent des détails du monde du jeu qui ne sont pas décrits dans les règles officielles, comme une araignée géante dotée de capacités télépathiques ou une salamandre des glaces dotée d'ailes.

Certaines de ces hallucinations sont complètement fausses, tandis que d’autres sont utiles, car elles décrivent des détails non inclus dans les documents officiels. Certaines courses ou situations peuvent également activer les directives intégrées et le modèle refusera de répondre.

Pour les auteurs, cependant, CALYPSO est un outil précieux qui peut aider le MJ humain à surmonter le blocage de l'écrivain. En fin de compte, le MJ décide quelles suggestions prendre en compte et lesquelles ne pas suivre.

« Les idées fondamentales de l'article (selon lesquelles les LLM sont capables d'agir en tant que co-MD d'une manière qui aide à inspirer le MD humain sans prendre le contrôle créatif du jeu) s'appliquent à D&D et à d'autres jeux de table, quelle que soit la modalité. Mais il y a il reste encore quelques défis à relever avant d'appliquer la technologie aux jeux en personne », a déclaré Zhu.

Zhu et ses collègues se sont concentrés sur les jeux Discord play-by-post (PBP) pour plusieurs raisons. Premièrement, « le PBP basé sur Discord est déjà basé sur du texte, nous n'avons donc pas à passer du temps à transcrire la parole en texte pour un LLM », a-t-il expliqué.

La configuration en ligne permet également au DM de visualiser les résultats générés par LLM en privé et libère le MD de devoir taper ou dicter dans une interface.

La société D&D Wizards of the Coast n'a pas encore commenté le fait que son matériel protégé par le droit d'auteur faisait partie de la formation de l'IA et que des histoires D&D peuvent ainsi être générées sans accès aux documents officiels. Récemment, l'éditeur a interdit à ses artistes d'utiliser des images générées par l'IA dans les produits officiels de D&D.

Conclusion

Les chercheurs ont conclu que les LLM comme ChatGPT sont capables de s’adapter à un genre littéraire différent de celui sur lequel ils ont été entraînés, et qu’ils peuvent générer des réponses originales et divertissantes. Ils ont toutefois souligné les limites des modèles, qui ne possèdent pas de mémoire à long terme ni de cohérence interne.

Ils ont publié leur étude dans une revue scientifique, et ont partagé les transcriptions de leurs parties avec ChatGPT sur un site web. Ils espèrent que leur expérience inspirera d’autres chercheurs et amateurs à explorer les possibilités offertes par les modèles de génération de texte dans le domaine du jeu de rôle.

Source : étude

Et vous ?

Quelle lecture faites-vous de leur expérience ?
Les hallucinations des LLM peuvent-elles être bénéfiques dans des cas comme celui-là ? Pourquoi ?