Une enquête révèle qu'une bonne partie des chercheurs en IA considèrent que les Big Tech ne sont pas sur la bonne voie. Environ 76 % d'entre eux estiment qu'il est « peu probable » ou « très peu probable » que l'augmentation de la puissance de calcul et des données des modèles d'IA actuels conduise à l'intelligence artificielle générale (AGI). Les entreprises ont investi des centaines de milliards de dollars dans l'IA depuis 2023. Mais les conclusions de l'enquête suggèrent que cet argent est déversé dans une impasse. Elles constituent un désaveu retentissant de la méthode longtemps privilégiée par l'industrie technologique pour obtenir des gains en matière d'IA.L'enquête suggère que l'industrie des centaines de milliards dans une impasse
Les Big Tech parient sur une stratégie simple depuis l'avènement de l'IA générative : ils pensent que « le fait d'augmenter continuellement la puissance de calcul de l'IA permettrait d'obtenir une AGI, c'est-à-dire des systèmes capables d'égaler ou de surpasser la cognition humaine ». Cependant, cette approche est de plus en plus remise en cause, notamment par l'apparition de modèles d'IA plus petits et plus puissants, tels que le modèle d'IA chinois DeepSeek-R1.
En outre, une récente enquête menée auprès de chercheurs en IA laisse entrevoir un scepticisme croissant quant au fait que l'augmentation sans fin de la puissance de calcul soit la bonne voie à suivre. L'enquête a été menée par l'Association pour l'avancement de l'IA (AAAI) et a interrogé 475 chercheurs en IA.
Malgré les centaines de milliards investis dans la construction d'énormes centres de données et le développement de modèles d'IA de plus en plus vastes, les répondants à l'enquête ont déclaré que le rendement de ces investissements diminue. Selon le rapport de l'enquête, au moins 76 % d'entre eux estiment qu'il est « peu probable » ou « très peu probable » que l'augmentation de la puissance de calcul et des données des modèles d'IA actuels conduise à l'AGI.
Étant donné que l'AGI est ce que les développeurs d'IA affirment tous être leur objectif final, on peut dire sans risque de se tromper que la mise à l'échelle est largement considérée comme une impasse. Stuart Russell, informaticien à l'université de Berkeley et contributeur au rapport, a déclaré : « les investissements considérables dans la mise à l'échelle, non accompagnés d'efforts comparables pour comprendre ce qui se passe, m'ont toujours semblé déplacés ».
Il a ajouté : « je pense qu'il y a environ un an, il est devenu évident pour tout le monde que les avantages de la mise à l'échelle au sens classique du terme avaient atteint un plateau ». Pour de nombreux critiques, les lois de mise à l'échelle ne fonctionnent plus, mais certains patrons de la Tech rejettent cette idée.
Les chercheurs affirment que les lois de mise à l'échelle ont atteint un plateau
Les lois de mise à l'échelle des LLM ont été proposées par les chercheurs d'OpenAI en 2020. Elles stipulent que l'efficacité des modèles d'IA augmente de manière proportionnelle à la taille du modèle. En d'autres termes, la performance des modèles de langage tend à s'améliorer de « manière prévisible » à mesure que les modèles deviennent plus grands (plus de paramètres), sont formés sur plus de données et ont accès à plus de puissance de calcul (compute).
En outre, les modèles plus grands sont censés être plus efficaces et plus rapides, mais aussi générer beaucoup moins d'erreurs que les modèles plus petits. Toutefois, de nombreux critiques sont convaincus que le développement des modèles pourrait bientôt atteindre des rendements décroissants.
Le directeur technique de Microsoft, Kevin Scott, ne partage pas les craintes selon lesquelles les lois de mises à l'échelle des grands modèles de langage ont atteint leurs limites. L'année dernière, il s'est dit optimiste quant aux futures itérations des modèles et à leur capacité à améliorer les domaines dans lesquels les modèles actuels ont des difficultés. La position de Microsoft sur cette question s'aligne en effet sur ses investissements considérables en matière d'IA.
« Malgré ce que d'autres...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
