Les chercheurs de Google ont mis au point un nouveau framework qui permet d'étendre la formation des modèles d'intelligence artificielle à des milliers de machines. Le résultat est appelé SEED RL (scalable efficient deep reinforcement learning). Il s'agit d'un développement prometteur car il devrait permettre de former des algorithmes d'IA à des millions d'images par seconde tout en réduisant les coûts de cette formation de 80 %, a indiqué Google dans un document de recherche.Ce type de réduction pourrait contribuer à égaliser un peu les chances des start-up qui n'ont pas pu jusqu'à présent concurrencer les grands acteurs tels que Google dans le domaine de l'IA. En effet, le coût de la formation de modèles d'apprentissage machine sophistiqués dans le cloud est étonnamment élevé. Google officialise l’ouverture du code de SEED RL, projet destiné à optimiser le rapport coût/performances de l’apprentissage par renforcement.
SEED RL est construit sur le framework TensorFlow 2.0 et fonctionne en utilisant une combinaison d'unités de traitement graphique et d'unités de traitement tensoriel pour centraliser l'inférence du modèle. L'inférence est ensuite effectuée de manière centralisée à l'aide d'un composant d'apprentissage qui entraîne le modèle.
Les variables et les informations d'état du modèle cible sont conservées localement, et les observations les concernant sont envoyées à l'apprenant à chaque étape du processus. SEED RL utilise également une bibliothèque de réseau basée sur le frame RPC universel à source ouverte pour minimiser la latence.
Les chercheurs de Google ont déclaré que le composant apprenant de SEED RL peut être mis à l'échelle sur des milliers de cœurs, tandis que le nombre d'acteurs qui répétera entre la prise de mesures dans l'environnement et l'exécution d'une inférence sur le modèle pour prédire la prochaine action, peut être mis à l'échelle sur des milliers de machines.
Google a évalué l'efficacité de SEED RL en l'étalonnant sur le populaire environnement d'apprentissage Arcade, l'environnement Google Research Football et plusieurs environnements DeepMind Lab. Les résultats montrent qu'ils sont parvenus à résoudre une tâche de Google Research Football tout en entraînant le modèle à 2,4 millions d'images par seconde à l'aide de 64 puces de l'unité de traitement du tenseur de nuages. C'est environ 80 fois plus rapide que les cadres précédents, a déclaré Google.
« Cela se traduit par une accélération significative du temps, parce que les accélérateurs sont des ordres de grandeur moins chers par opération que les CPU, le coût des expériences est réduit de façon drastique. Nous pensons que SEED RL et les résultats présentés démontrent que l'apprentissage par renforcement a une fois de plus rattrapé le reste du domaine de l'apprentissage approfondi en termes d'exploitation des accélérateurs » écrit Lasse Espeholt, un ingénieur de recherche chez Google Research.
Google a déclaré que le code de SEED RL a été open-source et mis à disposition sur Github, ainsi que des exemples qui montrent comment le faire fonctionner sur Google Cloud avec des unités de traitement graphique.
Source : Google AI
Et vous ?
Que pensez-vous de SEED RL ?Voir aussi :
La version 5.0 du framework Bootstrap va supprimer jQuery, sa plus grande dépendance côté client, pour du pur JavaScript. Flutter : le framework UI de Google, en plus du mobile, prend désormais en charge le desktop, le Web et l'embarqué. .NET Core ou .NET Framework ? Quelle implémentation adopter pour son projet ? .NET Framework 4.7.1 est disponible, avec le support de .NET Standard 2.0 et une amélioration des performances du ramasse-miettes.