Jim Fan, chercheur principal chez Nvidia, pense que l'IA a le potentiel de remodeler radicalement les jeux vidéo. Il estime que les progrès rapides dans le domaine de l'IA ouvrent une nouvelle frontière pour les jeux vidéo : des mondes ouverts à l'infini, un contenu unique, un dialogue dynamique avec les personnages non joueurs (PNJ) et la possibilité d'accélérer le développement des jeux. Il a ajouté que l'IA et les jeux sont nés l'un pour l'autre et que leur mariage heureux ne fait que commencer. Nvidia a présenté au début de l'année une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables.Jim Fan est chercheur en IA et ses recherches portent sur les modèles multimodaux de base, l'apprentissage par renforcement, la vision par ordinateur et les systèmes à grande échelle. Il est chercheur principal chez Nvidia et responsable de l'initiative de l'entreprise sur les agents d'IA. Il a déclaré que sa mission consiste à construire des agents habiles et compétents dans les mondes physiques (robotique) et virtuels (jeux, simulation). Il a obtenu un doctorat au Stanford Vision Lab et a effectué un stage à l'OpenAI (avec Ilya Sutskever et Andrej Karpathy), mais également au Baidu AI Labs et à l'Institut québécois d'IA (MILA) fondée par Yoshua Bengio.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Before we have a million robots in the physical world, we will first see a billion embodied agents in virtual worlds. Gaming is the second major area I'm dedicated to in 2024. AI and Gaming are born for each other, and their happy marriage is just getting started.<br><br>On one hand,… <a href="https://t.co/60ofChrbov">pic.twitter.com/60ofChrbov</a></p>— Jim Fan (@DrJimFan) <a href="https://twitter.com/DrJimFan/status/1740422792695382067?ref_src=twsrc%5Etfw">December 28, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Fan est convaincu que les récents progrès dans le domaine de l'IA, notamment les grands modèles de langage (LLM) et l'IA générative, permettront aux jeux vidéo d'entrer dans une nouvelle ère. Il a été le fer de lance de Voyager (le premier agent d'IA qui joue à Minecraft de manière efficace et développe ses capacités en permanence), MineDojo (un agent ouvert qui apprend en regardant des centaines de milliers de vidéos Minecraft sur YouTube), Eureka (une main de robot à cinq doigts qui effectue des tâches extrêmement dextres comme tourner un stylo) et VIMA (l'un des premiers modèles multimodaux de base pour la manipulation des robots).
Dans un billet publié jeudi sur X, Fan a déclaré que 2024 sera un point d'inflexion pour l'industrie du jeu vidéo. Il affirme que les efforts en cours pour intégrer les LLM aux jeux vidéo transformeront l'industrie une fois pour toutes et rendront les personnages non jouables "vivants", et que ces derniers interagiront de manière beaucoup plus fluide et cohérente avec les humains. Voici ci-dessous les prédictions de Fan pour 2024 et sur l'avenir du jeu vidéo :
Envoyé par Jim Fan
Avant d'avoir un million de robots dans le monde physique, nous verrons d'abord un milliard d'agents incarnés dans les mondes virtuels. Le jeu est le deuxième grand domaine auquel je me consacrerai en 2024. L'IA et les jeux sont nés l'un pour l'autre, et leur mariage heureux ne fait que commencer.
D'une part, les jeux ouverts constituent une "soupe primordiale" pour l'émergence d'une IA généraliste. Les capacités d'un agent sont limitées par la complexité du monde dans lequel il vit. Minecraft en est un excellent exemple. En 2023, nous avons assisté à une explosion de nouveaux algorithmes rendus possibles par Minecraft. Pour n'en citer que quelques-uns :
- MineCLIP (issu du framework open source MineDojo de notre équipe) : apprendre les fonctions de récompense en regardant 100 000 vidéos de jouabilité (gameplay) sur YouTube.
- VPT (OpenAI) : imite le comportement en pseudo-étiquetant des actions sur YouTube.
- Voyager : apprentissage tout au long de la vie en contexte avec une bibliothèque de compétences explicite de code.
- STEVE-1 : guide l'acteur pour qu'il suive des commandes dans l'espace latent de MineCLIP, inspiré par DALLE-2.
- Et bien d'autres encore : DEPS, Jarvis-1, DreamerV3…
Outre Minecraft, il existe de nombreux autres jeux qui requièrent une perception, une agilité, une exploration, un raisonnement et une planification extrêmement avancés. Nous ne faisons qu'effleurer la surface.
Je pense que les jeux (et la simulation en général) fourniront les prochains billions de jetons de haute qualité pour entraîner nos modèles de base. Ce qui est génial, c'est que ces jetons sont activement sélectionnés par l'agent lui-même par le biais de l'exploration. Il peut choisir d'expérimenter des choses qui réduisent au maximum ses incertitudes internes - un peu comme la curiosité humaine.
D'autre part, l'IA entraînera un changement de paradigme dans le secteur des jeux. Cette année, nous constatons un regain d'intérêt de la part de la communauté pour Stanford Smallville, où 25 agents d'IA habitent une ville numérique. Ils vont au travail, cancanent, organisent des activités sociales, se font de nouveaux amis et tombent même amoureux.
C'est une expérience passionnante, mais nous n'avons pas encore ressenti d'impact sur les jeux réels. C'est parce que nos LLM sont trop ennuyeux et trop chers. Si vous jetez un coup d'œil au journal de discussion de Smallville, vous constaterez que les conversations ne sont pas du tout amusantes. Aucun parent ne parle à ses enfants de manière aussi polie. L'économie d'unité que représente le déploiement d'un si grand nombre d'agents n'a pas non plus de sens à l'échelle.
Ceci étant dit, je pense que 2024 est un point d'inflexion. Le monde numérique de Westworld arrive et va transformer l'industrie une fois pour toutes. Les jeux seront vraiment vivants. Les personnages interagiront avec les humains et entre eux, noueront des relations, entreprendront des actions cohérentes tout au long de leur vie et réagiront de manière humaine. Chaque jeu aura une valeur de relecture infinie et chaque joueur vivra une expérience unique et personnalisée.
Cela permet aux développeurs de jeux d'utiliser l'IA pour lire le dialogue des PNJ, plutôt que d'embaucher un comédien humain pour la voix. Toutefois, Julian Togelius, professeur associé à l'université de New York, a déclaré que l'utilisation de PNJ générés par l'IA comporte un risque : les éditeurs de jeux pourraient perdre le contrôle de la narration du jeu. Togelius mène des recherches sur l'IA et les jeux à l'université de New York. Il affirme : « les PNJ peuvent dire des choses qui brisent le jeu, qui sont impolies ou qui rompent l'immersion ». Il a également déclaré que la création de PNJ pilotés par l'IA pourrait s'avérer plus compliquée qu'on ne le pense.
Selon lui, créer de "bons" PNJ générés par l'IA qui aident le joueur est également beaucoup plus difficile que de créer des ennemis qui se battent contre vous. « Nous n'avons pas vu beaucoup d'avancées dans l'IA qui anime les autres personnages des jeux, qui essaie de modéliser le joueur ou qui essaie de générer le monde. Nous allons donc voir beaucoup de progrès dans ces directions », a-t-il déclaré. En outre, certains critiques affirment que l'intégration de l'IA générative dans les jeux vidéo pourrait avoir un impact négatif sur une grande partie des jeux multijoueurs, en rendant les niveaux injouables ou en s'écartant du scénario du jeu.
Les jeux à monde ouvert, comme "Grand Theft Auto", "Skyrim" et "Elden Ring", abordent la jouabilité avec des quêtes et des histoires non linéaires. L'IA générative a donc le potentiel de remodeler l'expérience de jeu. Togelius imagine un "immense jeu ouvert" avec des possibilités infinies, de nouvelles villes, de nouvelles personnes et de nouveaux paysages, chacun avec sa propre histoire et ses propres éléments interactifs. Selon lui, en utilisant les données recueillies sur le joueur lors des parties précédentes, l'IA générative pourrait être en mesure de créer des scénarios uniques et des quêtes sur mesure pour les joueurs situés au bon niveau.
Cependant, si les développeurs gardent le contrôle sur le contenu généré de manière procédurale, l'IA générative a le potentiel de développer des niveaux injouables ou de s'écarter de manière involontaire de la narration du jeu. « Les jeux ont des contraintes fonctionnelles : les niveaux doivent pouvoir être complétés et les PNJ ne doivent pas mentir dans l'univers du jeu », affirme Togelius. Selon d'autres critiques, l'hallucination des modèles d'IA pourrait également constituer un véritable casse-tête pour les développeurs de jeux vidéo. Cela pourrait pousser les PNJ à s'écarter du scénario du jeu et contribuer ainsi à dégrader l'expérience du joueur.
Source : Jim Fan
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'intégration de l'IA générative dans les jeux vidéo ? Selon vous, quels sont les risques liés à l'intégration de l'IA générative dans les jeux vidéo ?Voir aussi
Nvidia présente une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables L'IA vous permet désormais d'avoir de vraies conversations avec les PNJ dans les jeux vidéo : le cas de Matrix Awakens. Cette évolution pourrait donner lieu à une multitude de scénarios possibles La révolution de l'IA générative dans l'industrie des jeux : une voie vers une créativité sans limites, avec 20 % des professionnels envisageant une réduction des coûts