Des chercheurs de Google DeepMind a mis au point un robot capable de jouer au tennis de table de niveau amateur. L'équipe indique que le robot a un taux de victoire de 45 % contre des joueurs humains, marquant ainsi une avancée significative dans le domaine de la robotique et de l'IA. Le robot excelle contre les débutants, mais peine contre les adversaires avancés. Grâce à une architecture de règles hiérarchiques et à des techniques d'apprentissage avancées, le robot s'adapte en temps réel. Les chercheurs cherchent à résoudre les problèmes de latence et de données pour améliorer les performances du robot dans les prochaines versions.Un joueur de tennis de table robotisé capable de battre les joueurs humains amateurs
Mercredi, des chercheurs de Google DeepMind ont dévoilé un robot joueur de tennis de table piloté par l'IA et capable de concourir à un niveau humain amateur. Le système combine un bras robotique industriel appelé ABB IRB 1100 et un logiciel d'IA personnalisé de Google DeepMind. Bien qu'un joueur humain expert puisse vaincre le robot, le système démontre le potentiel des machines à maîtriser des tâches physiques complexes qui nécessitent une prise de décision en une fraction de seconde et une capacité d'adaptation. L'équipe a publié son rapport d'étude dans la revue scientifique en ligne arXiv.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Robotic table tennis has served as a benchmark for this type of research since the 1980s.<br><br>The robot has to be good at low level skills, such as returning the ball, as well as high level skills, like strategizing and long-term planning to achieve a goal. <a href="https://t.co/IX7VuDyC4J">pic.twitter.com/IX7VuDyC4J</a></p>— Google DeepMind (@GoogleDeepMind) <a href="https://twitter.com/GoogleDeepMind/status/1821562397284331728?ref_src=twsrc%5Etfw">August 8, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Le tennis de table joue un rôle clé dans l'évaluation des bras des robots depuis une dizaine d'années. Ce sport exige notamment de la vitesse, de la réactivité et de la stratégie. L'article, intitulé "Achieving Human Level Competitive Robot Table Tennis", décrit brièvement les travaux de Google DeepMind sur le jeu. « Il s'agit du premier agent robotique capable de pratiquer un sport avec des humains de niveau humain. Il s'agit d'une étape importante dans l'apprentissage et le contrôle des robots », indique le rapport. L'agent robotique a affiché des performances remarquables dans une série de matchs contre des humains.
Dans un test impliquant 29 participants humains de différents niveaux de compétences, le robot a remporté 45 % de ses matchs, faisant preuve d'un niveau "solide" de jeu amateur. Il a notamment obtenu un taux de victoire de 100 % contre les débutants et de 55 % contre les joueurs de niveau intermédiaire, mais a éprouvé de très grandes difficultés contre les adversaires de niveau avancé. L'équipe reconnaît qu'il y a encore de nombreuses améliorations à apporter au robot.
Envoyé par Google DeepMind
Il ne s'agit que d'un petit pas vers un objectif de longue date en robotique, à savoir atteindre des performances de niveau humain pour de nombreuses compétences utiles dans le monde réel. Il reste encore beaucoup à faire pour atteindre de manière cohérente des performances de niveau humain sur des tâches uniques, puis au-delà, pour construire des robots à usage général capables d'effectuer de nombreuses tâches utiles, d'interagir habilement et en toute sécurité avec les humains dans le monde réel.
Cœur du système : une approche hybride basée sur l'apprentissage par renforcement
Pour créer les cerveaux qui pilotent le bras robotique, les chercheurs de Google DeepMind ont mis au point une approche à deux niveaux qui permet au robot d'exécuter des techniques de tennis de table spécifiques tout en adaptant sa stratégie en temps réel au style de jeu de chaque adversaire. En d'autres termes, le robot est suffisamment adaptable pour affronter n'importe quel amateur de tennis de table sans nécessiter d'entraînement spécifique pour chaque joueur.
L'architecture du système combine des contrôleurs de compétences de bas niveau (des politiques de réseaux neuronaux entraînés à exécuter des techniques de tennis de table spécifiques telles que les coups droits, les retours de revers ou les réponses au service) avec un décideur stratégique de haut niveau (un système d'IA complexe qui analyse l'état du jeu, s'adapte au style de l'adversaire et sélectionne la politique de compétences de bas niveau à activer pour chaque balle entrante).
Selon l'équipe, l'une des principales innovations de ce projet est la méthode utilisée pour former les modèles d'IA. Elle a choisi une approche hybride qui utilise l'apprentissage par renforcement dans un environnement physique simulé, tout en fondant les données d'entraînement sur des exemples du monde réel. Cette technique a permis au robot d'apprendre à partir d'environ 17 500 trajectoires de balles réelles, un ensemble de données assez restreint pour une tâche complexe.
L'équipe a utilisé un processus itératif pour affiner les compétences du robot. Elle a commencé par un petit ensemble de données sur le jeu humain contre humain, puis a laissé l'IA s'exprimer contre de vrais adversaires. Chaque match a généré de nouvelles données sur les trajectoires des ballons et les stratégies humaines, qui ont été réinjectées dans la simulation pour poursuivre la formation. Ce processus, répété sur sept cycles, a permis au robot d'améliorer ses performances.
Grâce à cette approche, le robot a été en mesure de s'adapter en permanence à des adversaires de plus en plus habiles et à des styles de jeu de plus en plus variés. Lors du dernier tour, l'IA avait appris plus de 14 000 balles d'échange et 3 000 services, créant ainsi un ensemble de connaissances sur le tennis de table qui l'ont aidée à combler le fossé entre la simulation et la réalité. Nvidia a également expérimenté des systèmes de physique simulée similaires, comme Eureka.
Ces systèmes de physique simulée similaires permettent à un modèle d'IA d'apprendre rapidement à contrôler un bras robotique dans un espace simulé plutôt que dans le monde réel (puisque la physique peut être accélérée à l'intérieur de la simulation et que des milliers d'essais simultanés peuvent avoir lieu). Cette méthode devrait permettre de réduire considérablement le temps et les ressources nécessaires pour former les robots à des interactions complexes à l'avenir.
De nombreux défis techniques restent à relever par les chercheurs de Google DeepMind
Les chercheurs optent souvent pour des jeux classiques comme les échecs et le Go pour tester les capacités stratégiques de l'IA, mais lorsqu'il s'agit de combiner stratégie et physique en temps réel, le tennis de table est un standard de longue date de l'industrie de la robotique. Depuis plus de quatre décennies, les ingénieurs opposent sans cesse les machines aux humains dans des séries de parties de tennis de table, en raison des exigences informatiques et physiques intenses de ce sport, qui implique une adaptation rapide aux variables dynamiques, des mouvements complexes et une coordination visuelle.
Mais malgré les progrès réalisés, les résultats sont encore mitigés. Les chercheurs de Google DeepMind affirment que le principal défaut du système est sa capacité à réagir aux balles rapides. L'équipe suggère que les principales raisons en sont la latence du système, les réinitialisations obligatoires entre les tirs et le manque de données utiles. La résolution de ces défis permettra d'améliorer significativement les performances du robot face aux joueurs expérimentés.
Les chercheurs ont des pistes de solutions. L'équipe explique : « pour résoudre les contraintes de latence qui entravent le temps de réaction du robot face aux balles rapides, nous proposons d'étudier des algorithmes de contrôle avancés et des optimisations matérielles. Il pourrait s'agir d'explorer des modèles prédictifs pour anticiper les trajectoires des balles ou de mettre en œuvre des protocoles de communication plus rapides entre les capteurs et les actionneurs du robot ».
Parmi les autres problèmes du système, les chercheurs citent notamment : les balles hautes et basses, le revers et la capacité à lire l'effet d'une balle entrante. « Le robot doit être doué pour les compétences de bas niveau, comme renvoyer la balle, ainsi que pour les compétences de haut niveau, comme l'élaboration de stratégies et la planification à long terme pour atteindre un objectif », a expliqué Google DeepMind dans un fil de discussion sur X (ex-Twitter).
Google DeepMind a partagé une vidéo d'exemple dans laquelle le robot perd un point face à un joueur expérimenté en raison de ce qui semble être une difficulté à réagir à une frappe rapide (comme vous pouvez le voir ci-dessus). L'équipe souligne qu'en affinant encore le système, il pourrait à l'avenir rivaliser avec des joueurs de tennis de table expérimentés. Google DeepMind n'est pas étranger à la création de modèles d'IA capables de vaincre des joueurs humains.
Selon les chercheurs, les implications de ce robot dépassent le monde du tennis de table. Les techniques développées dans le cadre de ce projet pourraient être appliquées à un large éventail de tâches robotiques nécessitant des réactions rapides et une adaptation à des comportements humains imprévisibles. De la fabrication aux soins de santé (ou tout simplement en donnant des fessées à répétition), les applications potentielles semblent en effet très vastes.
Source : rapport de l'étude
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des performances du robot de Google DeepMind au tennis de table ? Selon vous, quels pourraient être les implications de cette recherche sur l'industrie de la robotique ? Que pensez-vous des limites actuelles du robot ? Les chercheurs peuvent-ils les résoudre ?Voir aussi
Figure, une startup soutenue par OpenAI, présente son nouveau robot humanoïde Figure 02 qui est capable d'établir des conversations vocales avec des humains, et intègre un modèle de langage de vision Boston Dynamics remplace son robot humanoïde Atlas par un modèle électrique équipé d'outils IA. Des articulations à 360 degrés permettent au nouvel Atlas d'effectuer de nombreux mouvements inhumains Tesla a partagé une nouvelle vidéo de son robot humanoïde Optimus, montrant la capacité de cette technologie à trier les cellules des batteries, à se promener et à effectuer d'autres tâches en usine