Depuis les années 1990, les informaticiens mesurent les performances des superordinateurs les plus puissants du monde à l'aide de tâches d'évaluation comparative. Chaque mois, ils publient un classement des 500 meilleures machines avec une compétition féroce entre les nations pour arriver en tête. L'historique de ce classement montre qu'au fil du temps, les performances des superordinateurs ont augmenté conformément à la loi de Moore, doublant à peu près tous les 14 mois. Mais il n'existe pas de classement équivalent pour les systèmes d'IA, bien que les techniques d'apprentissage profond aient entraîné un changement radical des performances de calcul. Ces machines sont désormais capables d'égaler ou de battre les humains dans des tâches telles que la reconnaissance d'objets, l'ancien jeu chinois du Go, de nombreux jeux vidéo et une grande variété de tâches de reconnaissance de formes. Pour les informaticiens, cela soulève la question de savoir comment mesurer les performances de ces systèmes d'IA, comment étudier le taux d'amélioration et si ces améliorations ont suivi la loi de Moore ou l'ont dépassée.La loi de Moore est empirique et issue de constatations faites par Gordon E. Moore. En 1965, celui qui fut l'un des cofondateurs de la société Intel trace une courbe d'évolution de la taille et du prix des microprocesseurs. Il s'aperçoit alors que à coût égal, leur complexité doublait tous les ans. En 1975, il précise que c'est le nombre de transistors qui double tous les deux ans. Il a prédit que cette croissance allait se poursuivre à ce rythme jusqu'en 2015, où elle serait limitée par la taille des atomes. L'Histoire lui a donné raison puisque entre 1971 et 2001 la densité des transistors a effectivement doublé 1,96 fois par an. Depuis 2014, on commence à voir le ralentissement annoncé dans les ajustements de la loi de Moore en 1997. Les acteurs du secteur informatique l'utilisent encore pour anticiper la puissance des ordinateurs du futur. Toutefois, les évolutions n'arrivent plus à suivre la même rythme et sont désormais plus lentes. Cela soulève les questions de savoir comment mesurer les performances des systèmes d'IA, comment étudier le taux d'amélioration et si ces améliorations ont suivi la loi de Moore ou l'ont dépassée.
Nous avons maintenant une réponse grâce aux travaux de Jaime Sevilla, de l'université d'Aberdeen au Royaume-Uni, et de ses collègues qui ont mesuré la façon dont la puissance de calcul des systèmes d'IA a augmenté depuis 1959. Selon cette équipe, les performances des systèmes d'IA ont doublé tous les six mois environ au cours des dix dernières années, dépassant ainsi largement la loi de Moore. Cette amélioration s'explique par la convergence de trois facteurs. Le premier est le développement de nouvelles techniques algorithmiques, largement basées sur l'apprentissage profond et les réseaux neuronaux. Le deuxième est la disponibilité de grands ensembles de données pour l'entraînement de ces machines. Le dernier facteur est l'augmentation de la puissance de calcul.
Si les influences des nouveaux ensembles de données et les performances des algorithmes améliorés sont difficiles à mesurer et à classer, la puissance de calcul est relativement facile à déterminer. C'est ce qui a incité Sevilla et d'autres à trouver un moyen de mesurer les performances des systèmes d'IA. Leur approche consiste à mesurer la puissance de calcul nécessaire pour entraîner un système d'IA. Sevilla et ses collègues l'ont fait pour 123 réalisations marquantes de systèmes d'IA dans l'histoire de l'informatique.
Selon eux, entre 1959 et 2010, la puissance de calcul utilisée pour entraîner les systèmes d'IA a doublé tous les 17 à 29 mois. Ils appellent cette période l'ère pré-Deep Learning. « La tendance de l'ère pré-Deep Learning correspond à peu près à la loi de Moore », concluent Sevilla et ses collaborateurs. Selon l'équipe, on pense souvent que l'ère moderne de l'apprentissage profond a commencé en 2012 avec la création d'un système de reconnaissance d'objets appelé AlexNet. Cependant, Sevilla et ses collègues affirment que leurs données suggèrent que la forte amélioration des performances de l'IA a probablement commencé un peu plus tôt, en 2010.
Selon eux, cette année-là a marqué le début de l'ère du Deep Learning et les progrès réalisés depuis lors ont été rapides. Entre 2010 et 2022, le taux d'amélioration a été beaucoup plus élevé. « Par la suite, la tendance générale s'accélère et double tous les 4 à 9 mois », précisent-ils. Cela dépasse largement les performances de la loi de Moore. Mais comment cela a-t-il été possible, étant donné que l'amélioration des puces elles-mêmes a suivi la loi de Moore ?
Traitement parallèle
La réponse vient en partie de la tendance des systèmes d'IA à utiliser des unités de traitement graphique plutôt que des unités de traitement centrales. Cela leur permet de calculer plus efficacement en parallèle. Ces processeurs peuvent également être reliés entre eux à grande échelle. Ainsi, un autre facteur qui a permis aux systèmes d'IA de dépasser la loi de Moore est la création de machines toujours plus grandes reposant sur un plus grand nombre de processeurs graphiques.
Cette tendance a conduit au développement de machines, telles que les machines AlphaGo et AlphaFold qui ont respectivement. « Ces modèles à grande échelle ont été formés par de grandes entreprises, dont les budgets de formation plus importants leur ont vraisemblablement permis de briser la tendance précédente », déclarent Sevilla et ses collaborateurs. Selon l'équipe, le développement de machines à grande échelle depuis 2015 est devenu une tendance à part entière (l'ère de la grande échelle) qui se déroule parallèlement à l'ère du Deep Learning.
C'est un travail intéressant qui révèle l'énorme investissement dans l'IA et son succès au cours de la dernière décennie environ. Sevilla et ses collaborateurs ne sont pas les seuls à étudier les performances de l'IA de cette manière et en effet, plusieurs groupes diffèrent dans certains de leurs taux d'amélioration mesurés. Cependant, l'approche commune suggère qu'il devrait être possible de mesurer les performances de l'IA sur une base continue, peut-être d'une manière qui produise un classement des machines les plus puissantes du monde, un peu comme le classement TOP500 des superordinateurs.
La course à la construction des machines d'IA les plus puissantes a déjà commencé. Le mois dernier, Meta, propriétaire de Facebook, a annoncé qu'il avait construit le superordinateur le plus puissant du monde consacré à l'IA. La place qu'il occupe selon les mesures de Sevilla et ses collaborateurs n'est pas claire, mais un concurrent ne tardera certainement pas à lui disputer cette position. Il est peut-être temps que les informaticiens se réunissent pour collaborer à l'élaboration d'un système de classement qui permettra de remettre les pendules à l'heure.
Sources : Rapport de recherches, Top500
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des résultats des travaux de Jaime Sevilla ? Les trouvez-vous pertinents ?Voir aussi :
Sommes-nous préparés à la fin de la loi de Moore ? Elle a alimenté la prospérité des 50 dernières années, mais la fin est maintenant en vue Une loi de Moore pour l'intelligence artificielle ? Selon OpenAI, les algorithmes d'IA suivent une courbe d'évolution, qui pourrait être décrite comme l'évolution prévue par la loi de Moore Top500 : Fugaku reste le superordinateur le plus rapide du monde, Perlmutter fait son entrée et se positionne à la 5e place 50 ans de la loi de Moore : l'auteur étonné qu'elle ait façonné l'industrie technologique aussi longtemps, il prédit sa fin dans une dizaine d'années L'Amérique va se doter de Perlmutter, le superordinateur d'IA « le plus puissant » du monde, pour créer la carte 3D la plus détaillée de l'univers 
