Nvidia vient de présenter les capacités de sa nouvelle plateforme "Avatar Cloud Engine (ACE) for Games" et l'une d'elles a particulièrement attiré l'attention : la plateforme tire parti de l'IA pour permettre aux joueurs de parler naturellement aux personnages non jouables (PNJ) et de recevoir des réponses appropriées. La société a révélé cette technologie lors de l'événement Computex 2023, en montrant une démo appelée Kairos avec un joueur (humain) parlant à un PNJ nommé Jin dans un magasin de Ramen à l'allure dystopique. Lors de l'événement, Nvidia a présenté la démo comme un aperçu de ce que pourrait être la collision entre les jeux vidéo et l'IA.Depuis la récente percée des grands modèles de langage (LLM), des tentatives ont été faites pour utiliser de tels systèmes d'IA dans les jeux vidéo afin de permettre un dialogue dynamique avec les personnages non-joueurs (PNJ). Nvidia vient de présenter une tentative réussie d'un projet visant à créer un dialogue avec un PNJ. Lors de l'événement Computex 2023, Jensen Huang, PDG de Nvidia, a dévoilé "Avatar Cloud Engine (ACE) for Games". Il s'agit d'un service de fonderie de modèles d'IA, conçu pour donner vie aux personnages des jeux en utilisant des capacités de conversation en langage naturel, d'expression audio-faciale et de synthèse vocale / parole-texte.
Huang a montré une démo de jeu dans laquelle un PNJ nommé Jin, qui tient un magasin de nouilles Ramen, interagit avec un joueur humain qui lui pose des questions vocales et obtient des réponses acceptables qui correspondent à l'histoire du PNJ. Dans la démo, le joueur (appelé Kai) entre dans la boutique de Ramen de Jin, lui demande comment il va (en voix) et discute du fait que le quartier a un taux de criminalité élevé. Kai lui demande s'il peut l'aider et Jin lui répond : « si vous voulez faire quelque chose, j'ai entendu des rumeurs selon lesquelles le puissant seigneur du crime Kumon Aoki est à l'origine de toutes sortes de chaos dans la ville ».
Jin a ajouté qu'il pense qu'Aoki est probablement à l'origine de cette violence. Kai demande où trouver Aoki et Jin le lui indique, ce qui met l'utilisateur sur la voie de la recherche. « L'IA contribuera non seulement à la redéfinition et à la synthèse de l'environnement, mais aussi à l'animation des personnages. L'IA jouera un rôle très important dans l'avenir des jeux vidéo », a déclaré le PDG de Nvidia. Huang s'est montré très optimiste en ce qui concerne les derniers développements de Nvidia en matière d'IA, notamment d'IA générative. Selon le magnat des affaires, cette démo constitue un aperçu de ce que pourrait être la collision entre les jeux et l'IA.
Nvidia ACE se compose de trois éléments distincts : NeMo, Riva et Omniverse Audio2Face. NeMo fournit de grands modèles de langage que les développeurs peuvent personnaliser avec des données sur l'histoire et les dialogues. Riva peut reconnaître la parole et convertir le texte en audio, ce qui permet des conversations en direct avec NeMo. Audio2Face convertit la sortie audio de Riva en animations faciales qui peuvent être utilisées, par exemple, pour contrôler les personnages MetaHuman dans Unreal Engine 5 via les liens Omniverse. Comme on pouvait s'y attendre, la voix de l'IA est guindée, mais la faible latence dans la démo est frappante.
Cependant, les détails sur le modèle de langage et le matériel en arrière-plan ne sont pas disponibles. Nvidia NeMo comprend Guardrails, qui est conçu pour empêcher les conversations d'IA inappropriées ou "dangereuses". On peut supposer que cela empêcherait les PNJ de répondre à des questions inappropriées et hors sujet posées par les utilisateurs. Guardrails dispose également d'une sécurité qui devrait empêcher les utilisateurs ou les injecteurs d'invites potentiels de "jailbreaker" les chatbots et de leur faire faire de mauvaises choses. Pour le moment, l'entreprise n'a pas donné plus de détails sur les différents composants de la plateforme ACE.
La démo a été réalisée par Nvidia et son partenaire Convai afin de promouvoir les outils utilisés pour la créer. « Avec Nvidia ACE for Games, les outils de Convai peuvent atteindre la latence et la qualité nécessaires pour rendre les personnages IA non jouables accessibles à presque tous les développeurs de façon rentable », a expliqué Purnendu Mukherjee, fondateur et PDG de Convai. Bien sûr, la démo n'utilise pas seulement ces outils. Elle est construite dans Unreal Engine 5, le moteur de jeu vidéo développé par Epic Game, avec des tonnes de ray-tracing. Selon Nvidia, les modèles d'IA qui composent ACE varient en taille, en performance et en qualité.
« Le service de fonderie ACE for Games aidera les développeurs à affiner les modèles pour leurs jeux, puis à les déployer via Nvidia DGX Cloud, les PC GeForce RTX ou sur site pour l'inférence en temps réel. Les modèles sont optimisés pour la latence, une "exigence critique pour des interactions immersives et réactives dans les jeux », a déclaré l'entreprise. Selon les analystes, il n'est pas certain qu'un développeur adopte l'ensemble de la boîte à outils ACE comme le fait la démo. GSC Game World est l'un des premiers studios de développement à utiliser au moins un des outils d'ACE : Audio2Face sera utilisé dans "S.T.A.L.K.E.R. 2 : Heart of Chernobyl".
Cependant, les histoires générées par l'IA ne seront pas racontées par les PNJ autour du feu de camp pour le moment. La société propose une vidéo explicative sur le fonctionnement et les possibilités de ses outils. Dans cette vidéo, on peut voir des joueurs parler (poser des questions) à des PNJ et leur demander de faire des choses qui impliquent des objets réels et d'autres personnages du jeu. Par exemple, dans la vidéo, un joueur demande à un PNJ de lui remettre un pistolet posé sur une table et le PNJ s'exécute. Dans une autre partie de la vidéo, le joueur demande à un PNJ (un soldat) de tirer sur une cible située à un endroit précis.
La vidéo montre également comment les outils de Convai rendent tout cela possible. En somme, les images de la démo sont plus convaincantes que les dialogues de l'IA, même s'il est facile de voir comment cette dernière pourrait être énormément améliorée. Outre ACE for Games, Nvidia a annoncé un certain nombre d'autres collaborations et produits, notamment le supercalculateur DGX GH200 AI, doté de 256 puces Grace Hopper totalisant 144 téraoctets de mémoire et offrant des performances exaflopiques en matière d'IA. Selon Nvidia, le DGX GH200 GPT-3 est 2,2 fois plus rapide qu'un cluster DGX H100.
Sources : Présentation du PDG de Nvidia, Jensen Huang, lors du salon Computex 2023 à Taipei, Nvidia
Et vous ?
Quel est votre avis sur le sujet ? Quels commentaires faites-vous sur la démo de "Nvidia Avatar Cloud Engine (ACE) for Games" ? Quelles sont les implications potentielles de cette plateforme pour les développeurs et les studios de jeux vidéo ?Voir aussi
Le PDG de Nvidia, Jensen Huang, affirme que ceux qui n'ont pas d'expertise en matière d'IA seront laissés pour compte, et ajoute que l'IA est en bonne voie pour réinventer l'informatique de A à Z La version 5.0 de PhysX, le moteur physique de Nvidia, est maintenant disponible en open source, le dépôt GitHub du projet comprend également le code source de Flow 2.0 Les actions de Nvidia s'envolent de près de 30 % en raison de l'augmentation des prévisions de ventes et de l'essor de l'IA, portant sa valeur boursière à plus de 950 milliards de dollars Conférence NVIDIA GTC : les annonces phares concernant l'IA générative et le cloud, le métavers, les grands modèles de langage et les différents partenariats avec Microsoft, Google, Oracle et AWS