Google DeepMind dévoile un nouvel agent d'IA appelé SIMA (Scalable Instructable Multiworld Agent) pour les environnements virtuels en 3D après les succès d'AlphaStar et d'AlphaGo. Ce nouvel agent d'IA polyvalent peut exécuter des tâches dans divers environnements de jeux vidéo sur la base d'instructions en langage naturel, ce qui marque un tournant vers une approche généralisée de la recherche sur l'IA dans les jeux. Google DeepMind précise que le projet est toujours expérimental et qu'il y a encore un long chemin à parcourir. L'année dernière, Nvidia a lancé une plateforme qui permet aux joueurs de converser avec les personnages non jouables (PNJ).SIMA : un agent d'IA conçu pour interagir avec des mondes virtuels en 3D
SIMA est un nouvel agent d'IA conçu pour interagir avec des mondes virtuels en 3D sur la base d'instructions en langage naturel. Il comprend des modèles de vision artificielle et de langage préentraînés qui ont été affinés à partir de données de jeu. Le langage est essentiel pour que SIMA comprenne les tâches qui lui sont confiées et les accomplisse conformément aux instructions. Selon Google DeepMind, l'interface simple de SIMA lui permet de fonctionner potentiellement dans n'importe quel monde virtuel avec lequel un humain peut interagir, ouvrant ainsi la voie à un nouveau niveau de polyvalence pour les agents d'IA.
« Apprendre à jouer à un seul jeu vidéo est un exploit technique pour un système d'IA, mais apprendre à suivre des instructions dans divers contextes de jeu pourrait déboucher sur des agents d'IA plus utiles dans n'importe quel environnement. Notre recherche montre comment nous pouvons traduire les capacités des modèles d'IA avancés en actions utiles dans le monde réel par le biais d'une interface linguistique », explique Google DeepMind dans un billet de blogue sur SIMA. Les principales caractéristiques de SIMA sont :
- capacité à percevoir et à comprendre différents environnements 3D par le biais d'images uniquement ;
- capacité à suivre des instructions en langage naturel fournies par un utilisateur ;
- utilisation du clavier et de la souris pour interagir avec les environnements ;
- l'interface ne nécessite que des images et du texte, pas d'API ou de codes sources spécifiques au jeu.
Méthode de formation de SIMA
Les chercheurs de Google DeepMind ont fait équipe avec des studios et des éditeurs tels que Hello Games (No Man's Sky), Tuxedo Labs (Teardown) et Coffee Stain (Valheim et Goat Simulator 3) pour former SIMA sur neuf jeux. L'équipe de recherche a en outre utilisé quatre environnements de recherche, dont un construit en Unity dans lequel les agents doivent former des sculptures à l'aide de blocs de construction. SIMA a ainsi pu apprendre à partir d'une série d'environnements et de contextes, avec une variété de styles graphiques et de perspectives (à la première et à la troisième personne). L'équipe explique son approche :
« Nous espérons que SIMA et d'autres recherches sur les agents pourront utiliser les jeux vidéo comme "bacs à sable" pour mieux comprendre comment les systèmes d'IA peuvent devenir plus utiles ». Chaque jeu du portefeuille de SIMA ouvre un nouveau monde virtuel interactif, comprenant une gamme de compétence à apprendre, allant de la simple navigation et de l'utilisation des menus à l'extraction de ressources, au pilotage d'un vaisseau spatial ou la fabrication d'un casque. Une autre approche de l'équipe a consisté à enregistrer des joueurs humains dans des jeux qui se donnaient des instructions sur des tâches.
En outre, les joueurs ont été invités à rejouer leur propre jeu et à décrire les instructions qui les ont conduits à agir. Cette puissante méthode de collecte de données a permis à l'agent SIMA d'apprendre les bases visuelles du langage à partir de l'expérience réelle des humains dans les environnements. Ensuite, l'agent a été évalué sur sa capacité à accomplir près de 1 500 tâches uniques à travers les jeux en se basant uniquement sur des images à l'écran et des instructions textuelles.
En somme, l'agent d'IA SIMA comprend des modèles de vision préentraînés et un modèle central doté d'une mémoire, qui interprète les images et les entrées en langage naturel afin de générer des actions au clavier et à la souris pour le jeu. Les chercheurs précisent que SIMA n'a pas besoin du code source d'un jeu ou d'un accès à l'API ; il...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.