En début d'année, DeepMind de Google a annoncé avoir battu deux des meilleurs joueurs de StarCraft - Dario "TLO" Wünsch et Grzegorz "MaNa" Komincz. AlphaStar a remporté une série de cinq matchs contre Wünsch 5-0, puis a battu Komincz 5-0.La filiale d'Alphabet a expliqué que :
« Ces dernières années, StarCraft, considéré comme l'un des jeux de stratégie en temps réel (RTS) les plus difficiles et l'un des sports les plus joués de tous les temps, s'est imposé par consensus comme un « grand défi » pour la recherche sur l'IA.
« Nous présentons maintenant notre programme StarCraft II, AlphaStar, la première intelligence artificielle à vaincre un joueur professionnel de haut niveau. Lors d'une série de matches d'essai qui s'est déroulée le 19 décembre, AlphaStar a remporté une victoire décisive face au Grzegorz "MaNa" Komincz, de l'équipe Liquid, 5-0, à la suite d'un match de référence contre son coéquipier Dario "TLO" Wünsch. . Les matches se sont déroulés dans des conditions de match professionnelles sur une carte en échelle de compétition et sans aucune restriction de jeu.
« Bien que les jeux vidéo tels qu'Atari, Mario, Quake III Arena Capture du drapeau et Dota 2 aient connu un succès considérable, les techniques de l'intelligence artificielle ont jusqu'à présent eu du mal à faire face à la complexité de StarCraft. Les meilleurs résultats ont été rendus possibles par la fabrication manuelle d’éléments majeurs du système, l’imposition de restrictions importantes aux règles du jeu, la fourniture de capacités surhumaines au système ou la lecture de cartes simplifiées. Même avec ces modifications, aucun système n’a réussi à rivaliser avec les compétences des joueurs professionnels. En revanche, AlphaStar joue à StarCraft II dans son intégralité, en utilisant un réseau de neurones profonds entraîné directement à partir de données brutes de jeu, par apprentissage supervisé et renforcement ».
StarCraft exige des joueurs qu’ils rassemblent des ressources, construisent des dizaines d’unités militaires et les utilisent pour tenter de détruire leurs adversaires. StarCraft est particulièrement difficile pour une IA car les joueurs doivent exécuter des plans à long terme sur plusieurs minutes de jeu, les peaufinant à la volée face aux contre-attaques ennemies. DeepMind a déclaré qu’avant ses propres efforts, personne n’était parvenu à concevoir une intelligence artificielle StarCraft aussi performante que les meilleurs joueurs.
La nécessité d'équilibrer les objectifs à court et à long terme et de s'adapter aux situations imprévues pose un défi de taille aux systèmes souvent fragiles et inflexibles. La maîtrise de ce problème nécessite des avancées dans plusieurs défis de la recherche sur l'IA, notamment dans :
- la théorie du jeu : StarCraft est un jeu où, à la différence du chifoumi (pierre-papier-ciseaux, il n'y a pas de meilleure stratégie. En tant que tel, un processus de formation à l'IA doit continuellement explorer et élargir les frontières de la connaissance stratégique.
- Informations imparfaites : contrairement aux jeux comme les échecs ou Go où les joueurs voient tout, les informations cruciales sont cachées aux joueurs de StarCraft et doivent être activement découvertes en effectuant des « reconnaissances ».
- Planification à long terme : comme beaucoup de problèmes concrets, les causes et effets ne sont pas instantanés. Les jeux peuvent également prendre jusqu’à une heure, ce qui signifie que les actions entreprises au début du jeu risquent de ne pas être rentables avant longtemps.
- Temps réel : contrairement aux jeux de société traditionnels où les joueurs alternent les mouvements subséquents, les joueurs de StarCraft doivent effectuer des actions de manière continue au fur et à mesure que le chronomètre avance.
- Grand espace d'action : des centaines d'unités et de bâtiments différents doivent être contrôlés simultanément, en temps réel, créant ainsi un espace combinatoire de possibilités. De plus, les actions sont hiérarchiques et peuvent être modifiées et augmentées.
Une nouvelle avancée
Maintenant, AlphaStar a suffisamment amélioré ses performances pour atteindre le statut de Grandmaster dans StarCraft II, en utilisant la même interface qu'un joueur humain. L'équipe a décrit son travail dans un nouveau document dans Nature. Comme le note DeepMind dans un billet de blog, AlphaStar est devenue la première intelligence artificielle à atteindre le sommet d'un e-sport largement populaire, sans aucune restriction de jeu.
« C'est un rêve devenu réalité », a déclaré Oriol Vinyals, co-auteur de DeepMind, qui était un joueur passionné de StarCraft il y a 20 ans. « AlphaStar a atteint le niveau Grandmaster uniquement avec un réseau de neurones et des algorithmes d'apprentissage polyvalents, ce qui était inimaginable il y a dix ans lorsque je faisais des recherches sur une IA jouant à StarCraft à l'aide de systèmes basés sur des règles ».
Depuis la sortie du jeu en 2010, plus de 31 millions de dollars ont été remis durant des milliers de tournois StarCraft II. Les joueurs commencent avec un petit nombre d'unités de travailleurs capables de collecter des ressources, de construire des bâtiments, de développer de nouvelles unités et technologies puis se sont lancés dans des missions de reconnaissance pour obtenir des informations sur les adversaires. Les grands joueurs ont besoin de stratégies adaptables à court et à long terme pour développer et défendre leurs bases tout en attaquant leurs adversaires. Pour compliquer les choses, les joueurs ne peuvent pas voir la totalité de la « carte » du jeu. Les décisions sont donc prises en fonction d'informations partielles.
« Depuis que les ordinateurs sont venus à bout des meilleurs sur le jeu de Go, sur les échecs et aussi le poker, le jeu de StarCraft est apparu, essentiellement par consensus de la communauté, en tant que prochain défi de taille pour l'IA », a déclaré David Silver, un chercheur de DeepMind. « Ce jeu est considéré comme celui qui se rapproche le plus des limites des capacités humaines ».
DeepMind a créé des « agents » AlphaStar qui jouent le rôle de chacune des races du jeu, à savoir Protoss, Terran et Zerg. Chaque race a des capacités et des technologies différentes qui favorisent des stratégies défensives et offensives distinctes. AlphaStar a d'abord appris les bases en observant les meilleurs joueurs humains. Ensuite, il est entré dans la « ligue AlphaStar » où il a joué non seulement contre lui-même, mais également contre des agents « exploiteurs », qui sont des versions de l’IA qui ciblaient spécifiquement les points faibles d’AlphaStar. L’entraînement a permis à AlphaStar de devenir un adversaire redoutable face aux trois races et à toutes les strat...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par bombseb
