OpenAI a annoncé la semaine dernière avoir réussi à apprendre à un réseau de neurones à jouer à Minecraft. À l'aide d'un mélange de vidéos Minecraft non étiquetées et d'un petit ensemble de données étiquetées par des entrepreneurs, les chercheurs d'OpenAI ont réussi à former un réseau neuronal pour qu'il puisse jouer à Minecraft de manière compétente - une étape importante pour la technologie, qui avait auparavant eu du mal à s'attaquer au gameplay simple, mais instable du jeu. OpenAI a déclaré que le modèle était capable d'exécuter toutes sortes de tâches, de la natation à la chasse aux animaux et à la consommation de leur viande.Échecs, Go, et maintenant Minecraft, les modèles d'IA continuent d'appréhender progressivement l'univers des jeux vidéo. Des experts d'OpenAI ont entraîné un réseau neuronal à jouer à Minecraft à un niveau aussi élevé que celui des joueurs humains. Selon les experts, le modèle a été formé à partir de 70 000 heures de séquences de jeu diverses, complétées par une petite base de données de vidéos dans lesquelles des tâches spécifiques du jeu étaient effectuées, avec les entrées du clavier et de la souris également enregistrées. OpenAI considère son modèle comme une percée en raison des tâches qu'il est capable de réaliser.
En dehors des activités telles que la nage, la chasse et l'alimentation, le modèle d'IA a également maîtrisé le "saut de pilier", un mouvement par lequel le joueur place un bloc de matériau en dessous de lui dans les airs afin de prendre de l'altitude. De plus, OpenAI affirme que l'IA a été capable de fabriquer des outils en diamant (ce qui nécessite une longue série d'actions exécutées en séquence), ce que l'entreprise a décrit comme un exploit "sans précédent" pour un agent informatique. Dans un billet de blogue, l'entreprise a publié de petites séquences vidéo montrant son modèle d'IA nageant, chassant et cuisinant des animaux.
Selon les experts, l'importance du projet Minecraft réside dans le fait qu'il démontre l'efficacité d'une nouvelle technique déployée par OpenAI dans l'entraînement des modèles d'IA qui pourrait accélérer le développement d'"agents généraux utilisant des ordinateurs". Historiquement, la difficulté d'utiliser une vidéo brute comme source d'entraînement des modèles d'IA tient au fait que ce qui s'est passé est assez simple à comprendre, mais pas nécessairement la façon dont cela s'est passé. En effet, le modèle d'IA absorbe les résultats souhaités, mais ne saisit pas les combinaisons d'entrées nécessaires pour les atteindre.
Les ingénieurs ont résolu ce problème en créant une méthode d'apprentissage par imitation semi-supervisée qu'ils ont appelée "Video PreTraining" (qui peut être traduit par "vidéo de préentraînement"
, ou VPT. OpenAI a essentiellement recueilli un nouvel ensemble de données plus petit auprès d'entrepreneurs, qui comprenaient non seulement le jeu Minecraft, mais aussi des exemples de pressions sur les touches et d'autres actions enregistrées par les entrepreneurs. OpenAI a ensuite créé un autre modèle qui utilise les vidéos des utilisateurs pour prédire l'action suivante à chaque étape d'une vidéo Minecraft.Muni de ces connaissances de base, le modèle d'IA a ensuite été en mesure de comprendre de plus grands ensembles de données de vidéos Minecraft en ligne. Plutôt que de déverser un torrent de données sur leur IA, les ingénieurs ont pris le temps de lui enseigner d'abord les principes fondamentaux des entrées de base. Cela aurait entraîné une amélioration massive de la fiabilité avec laquelle le modèle était capable d'effectuer ces tâches. Une autre technique consiste à "récompenser" le modèle d'IA pour la réalisation de chaque étape d'une séquence de tâches, une pratique connue sous le nom d'apprentissage par renforcement.
Cela a permis au réseau neuronal de rassembler tous les ingrédients d'une pioche en diamant avec un taux de réussite de niveau humain. « La méthode VPT ouvre la voie pour permettre aux agents d'apprendre à agir en regardant les très nombreuses vidéos sur Internet. Par rapport à la modélisation vidéo générative ou aux méthodes contrastives qui ne produiraient que des priorités représentatives, la VPT offre la possibilité excitante d'apprendre directement des priorités comportementales à grande échelle dans d'autres domaines que le langage », explique OpenAI dans un billet de blogue.
« Pour de nombreuses tâches, nos modèles affichent des performances de niveau humain, et nous sommes les premiers à faire état d'agents informatiques capables de fabriquer des outils en diamant, ce qui peut prendre à des humains compétents plus de 20 minutes (24 000 actions environnementales) de jeu pour l'accomplir. Bien que nous n'ayons expérimenté que Minecraft, le jeu est très ouvert et l'interface humaine native (souris et clavier) est très générique, nous pensons donc que nos résultats sont de bon augure pour d'autres domaines similaires, par exemple l'utilisation de l'ordinateur », a ajouté l'équipe.
OpenAI n'est pas la seule entreprise technologique à se tourner vers Minecraft pour ses expériences d'IA. Le mois dernier, lors de sa conférence Build, Microsoft a révélé un nouvel "agent" d'IA Minecraft qui fonctionne dans le jeu. Les utilisateurs qui interagissent avec les agents Microsoft Minecraft peuvent taper des commandes qui sont ensuite générées automatiquement à l'aide de l'API logicielle du jeu. En pratique, cela signifie que les utilisateurs peuvent taper une phrase comme "viens ici" et le robot Minecraft la traduira automatiquement en code Minecraft, ce qui permettra au robot d'avancer.
Outre la simple marche, l'agent Minecraft de Microsoft peut également accomplir des tâches plus complexes, comme récupérer des objets dans l'univers du jeu et les combiner pour créer quelque chose. Afin d'encourager la poursuite des expériences dans ce domaine, OpenAI s'est associée au concours MineRL NeurIPS, en faisant don de ses données d'entrepreneur et du code de son modèle aux participants qui tentent d'utiliser l'IA pour résoudre des tâches complexes dans Minecraft. Le grand prix est de 100 000 dollars. Plus récemment, DeepMind a déclaré avoir fait une percée en IA qui se rapproche de l'intelligence humaine.
Le Dr Nando de Freitas a déclaré que « la partie est terminée » dans la quête de plusieurs décennies pour réaliser l'intelligence artificielle générale (IAG) après que DeepMind a dévoilé un système d'IA capable d'accomplir un large éventail de tâches complexes, de l'empilement de blocs à l'écriture de poésie. Décrit comme un « agent généraliste », le Dr de Freitas a déclaré que l'argent "Gato AI" de DeepMind a simplement besoin d'être mis à l'échelle afin de créer une IA capable de rivaliser avec l'intelligence humaine. Mais son enthousiasme n'est pas partagé par tous.
Sources : OpenAI, Rapport de l'étude
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des capacités du nouveau modèle d'IA d'OpenAI ? Pensez-vous que ces avancées rapprochent DeepMind et OpenAI d'une intelligence artificielle générale ?Voir aussi
« La partie est terminée » : DeepMind de Google estime avoir fait une percée en IA qui se rapproche de l'intelligence humaine grâce à son « agent généraliste » baptisé Gato DeepMind déclare que son intelligence artificielle dénommée AlphaCode est aussi bonne qu'un « programmeur humain moyen » : les travailleurs de la filière ont-ils du souci à se faire ? DeepMind a entraîné une intelligence artificielle à contrôler la fusion nucléaire, en utilisant l'apprentissage par renforcement Le cofondateur d'OpenAI devient cible de moquerie après son tweet selon lequel les grands réseaux de neurones pourraient être légèrement conscients : la mise au point d'un pionnier de l'IA Dall-E 2 : le générateur d'images IA développé par OpenAI peut produire une large gamme d'images à partir de quelques mots 
