« Avant d'avoir un million de robots dans le monde physique, nous verrons d'abord un milliard d'agents incarnés dans les univers virtuels »,

Affirme un scientifique de Nvidia

Jim Fan, chercheur principal chez Nvidia, pense que l'IA a le potentiel de remodeler radicalement les jeux vidéo. Il estime que les progrès rapides dans le domaine de l'IA ouvrent une nouvelle frontière pour les jeux vidéo : des mondes ouverts à l'infini, un contenu unique, un dialogue dynamique avec les personnages non joueurs (PNJ) et la possibilité d'accélérer le développement des jeux. Il a ajouté que l'IA et les jeux sont nés l'un pour l'autre et que leur mariage heureux ne fait que commencer. Nvidia a présenté au début de l'année une plateforme d'IA appelée "Avatar Cloud Engine for Games" qui permet aux joueurs de converser avec les personnages non jouables.

Jim Fan est chercheur en IA et ses recherches portent sur les modèles multimodaux de base, l'apprentissage par renforcement, la vision par ordinateur et les systèmes à grande échelle. Il est chercheur principal chez Nvidia et responsable de l'initiative de l'entreprise sur les agents d'IA. Il a déclaré que sa mission consiste à construire des agents habiles et compétents dans les mondes physiques (robotique) et virtuels (jeux, simulation). Il a obtenu un doctorat au Stanford Vision Lab et a effectué un stage à l'OpenAI (avec Ilya Sutskever et Andrej Karpathy), mais également au Baidu AI Labs et à l'Institut québécois d'IA (MILA) fondée par Yoshua Bengio.

Before we have a million robots in the physical world, we will first see a billion embodied agents in virtual worlds. Gaming is the second major area I'm dedicated to in 2024. AI and Gaming are born for each other, and their happy marriage is just getting started.

On one hand,… pic.twitter.com/60ofChrbov

— Jim Fan (@DrJimFan) December 28, 2023

Fan est convaincu que les récents progrès dans le domaine de l'IA, notamment les grands modèles de langage (LLM) et l'IA générative, permettront aux jeux vidéo d'entrer dans une nouvelle ère. Il a été le fer de lance de Voyager (le premier agent d'IA qui joue à Minecraft de manière efficace et développe ses capacités en permanence), MineDojo (un agent ouvert qui apprend en regardant des centaines de milliers de vidéos Minecraft sur YouTube), Eureka (une main de robot à cinq doigts qui effectue des tâches extrêmement dextres comme tourner un stylo) et VIMA (l'un des premiers modèles multimodaux de base pour la manipulation des robots).

Dans un billet publié jeudi sur X, Fan a déclaré que 2024 sera un point d'inflexion pour l'industrie du jeu vidéo. Il affirme que les efforts en cours pour intégrer les LLM aux jeux vidéo transformeront l'industrie une fois pour toutes et rendront les personnages non jouables "vivants", et que ces derniers interagiront de manière beaucoup plus fluide et cohérente avec les humains. Voici ci-dessous les prédictions de Fan pour 2024 et sur l'avenir du jeu vidéo :