La majorité des chercheurs en IA estiment que l'industrie technologique déverse des milliards dans une impasse,

Ils ajoutent qu'il est peu probable que la mise à l'échelle conduise à l'AGI

La majorité des chercheurs en IA estiment que l'industrie technologique déverse des milliards dans une impasse
ils ajoutent qu'il est peu probable que la mise à l'échelle conduise à l'AGI

Une enquête révèle qu'une bonne partie des chercheurs en IA considèrent que les Big Tech ne sont pas sur la bonne voie. Environ 76 % d'entre eux estiment qu'il est « peu probable » ou « très peu probable » que l'augmentation de la puissance de calcul et des données des modèles d'IA actuels conduise à l'intelligence artificielle générale (AGI). Les entreprises ont investi des centaines de milliards de dollars dans l'IA depuis 2023. Mais les conclusions de l'enquête suggèrent que cet argent est déversé dans une impasse. Elles constituent un désaveu retentissant de la méthode longtemps privilégiée par l'industrie technologique pour obtenir des gains en matière d'IA.

L'enquête suggère que l'industrie des centaines de milliards dans une impasse

Les Big Tech parient sur une stratégie simple depuis l'avènement de l'IA générative : ils pensent que « le fait d'augmenter continuellement la puissance de calcul de l'IA permettrait d'obtenir une AGI, c'est-à-dire des systèmes capables d'égaler ou de surpasser la cognition humaine ». Cependant, cette approche est de plus en plus remise en cause, notamment par l'apparition de modèles d'IA plus petits et plus puissants, tels que le modèle d'IA chinois DeepSeek-R1.

En outre, une récente enquête menée auprès de chercheurs en IA laisse entrevoir un scepticisme croissant quant au fait que l'augmentation sans fin de la puissance de calcul soit la bonne voie à suivre. L'enquête a été menée par l'Association pour l'avancement de l'IA (AAAI) et a interrogé 475 chercheurs en IA.


Malgré les centaines de milliards investis dans la construction d'énormes centres de données et le développement de modèles d'IA de plus en plus vastes, les répondants à l'enquête ont déclaré que le rendement de ces investissements diminue. Selon le rapport de l'enquête, au moins 76 % d'entre eux estiment qu'il est « peu probable » ou « très peu probable » que l'augmentation de la puissance de calcul et des données des modèles d'IA actuels conduise à l'AGI.

Étant donné que l'AGI est ce que les développeurs d'IA affirment tous être leur objectif final, on peut dire sans risque de se tromper que la mise à l'échelle est largement considérée comme une impasse. Stuart Russell, informaticien à l'université de Berkeley et contributeur au rapport, a déclaré : « les investissements considérables dans la mise à l'échelle, non accompagnés d'efforts comparables pour comprendre ce qui se passe, m'ont toujours semblé déplacés ».

Il a ajouté : « je pense qu'il y a environ un an, il est devenu évident pour tout le monde que les avantages de la mise à l'échelle au sens classique du terme avaient atteint un plateau ». Pour de nombreux critiques, les lois de mise à l'échelle ne fonctionnent plus, mais certains patrons de la Tech rejettent cette idée.

Les chercheurs affirment que les lois de mise à l'échelle ont atteint un plateau

Les lois de mise à l'échelle des LLM ont été proposées par les chercheurs d'OpenAI en 2020. Elles stipulent que l'efficacité des modèles d'IA augmente de manière proportionnelle à la taille du modèle. En d'autres termes, la performance des modèles de langage tend à s'améliorer de « manière prévisible » à mesure que les modèles deviennent plus grands (plus de paramètres), sont formés sur plus de données et ont accès à plus de puissance de calcul (compute).

En outre, les modèles plus grands sont censés être plus efficaces et plus rapides, mais aussi générer beaucoup moins d'erreurs que les modèles plus petits. Toutefois, de nombreux critiques sont convaincus que le développement des modèles pourrait bientôt atteindre des rendements décroissants.

Le directeur technique de Microsoft, Kevin Scott, ne partage pas les craintes selon lesquelles les lois de mises à l'échelle des grands modèles de langage ont atteint leurs limites. L'année dernière, il s'est dit optimiste quant aux futures itérations des modèles et à leur capacité à améliorer les domaines dans lesquels les modèles actuels ont des difficultés. La position de Microsoft sur cette question s'aligne en effet sur ses investissements considérables en matière d'IA.

« Malgré ce que d'autres pensent, nous n'en sommes pas à des rendements marginaux décroissants en ce qui concerne la mise à l'échelle. J'essaie d'aider les gens à comprendre qu'il existe une exponentielle et que, malheureusement, on ne peut l'observer que tous les deux ans, car il faut du temps pour construire des superordinateurs et former des modèles à partir de ces derniers », avait déclaré Kevin Scott. Mais Microsoft semble aujourd'hui sceptique à ce sujet.

L'année dernière, Ed Zitron, un critique de l'IA, a écrit dans un billet sur son blogue sarcastique : « l'une des défenses de l'investissement continu dans l'IA générative est qu'OpenAI a quelque chose que nous ne connaissons pas. Une grande technologie secrète et sexy qui brisera éternellement les os de tous ceux qui la détestent. Cependant, j'ai un contrepoint : "non, ce n'est pas le cas" ». Pourtant, Jensen Huang, PDG de Nvidia, quant à lui, reste très optimiste.

Des investissements colossaux avec un impact important sur l'environnement

Des sommes colossales sont investies dans la course à l'IA. Selon les estimations, plus de 92 milliards de dollars ont été injectés en 2023 dans la construction de centres de données et l'achat de puces et d'équipements, avec des résultats mitigés et de faibles perspectives. Toutefois, la compétition s'est poursuivie Selon un rapport de TechCrunch, l'année dernière, le financement en capital-risque de l'IA générative aurait dépassé les 56 milliards de dollars.

Ce mouvement a aussi entraîné une demande massive d'accélérateurs d'IA, un rapport de février indiquant que l'industrie des semiconducteurs atteindrait la somme colossale de 626 milliards de dollars en 2024. Les rivaux tels que Meta, Amazon, OpenAI, etc. investissent également des sommes colossales.

Le fonctionnement des modèles d'IA a toujours nécessité d'énormes quantités d'énergie, et à mesure qu'ils sont mis à l'échelle, les demandes n'ont fait qu'augmenter. Ainsi, Microsoft, Google et Amazon concluent des contrats pour l'accès à l'énergie nucléaire afin d'alimenter leurs gigantesques centres de données.

Outre le scepticisme, l'enquête met également en évidence un changement de priorités parmi les chercheurs en IA. Alors que 77 % d'entre eux accordent la priorité à la conception de systèmes d'IA présentant un profil risque-bénéfice acceptable, seuls 23 % se concentrent sur la poursuite directe de l'AGI.

En outre, selon l'Association pour l'avancement de l'IA, 82 % d'entre eux estiment que si l'AGI est développée par des entités privées, elle devrait être détenue par l'État afin d'atténuer les risques mondiaux et les préoccupations éthiques. Toutefois, 70 % des personnes interrogées s'opposent à l'arrêt de la recherche sur l'AGI tant que des mécanismes de sécurité complets n'ont pas été mis en place, ce qui suggère une approche prudente, mais qui va de l'avant.

Des approches moins coûteuses et plus efficaces sont à l'étude dans l'industrie

En novembre dernier, des rapports indiquaient que les chercheurs d'OpenAI avaient découvert que la prochaine version majeure du grand modèle de langage (GPT-5) de l'entreprise présentait des améliorations nettement moindres et, dans certains cas, pas d'améliorations du tout par rapport aux versions précédentes. OpenAI a également révisé sa définition de l'AGI, suscitant des critiques selon lesquelles il a fortement revu les attentes à la baisse.

En décembre 2024, Sundar Pichai, PDG de Google, a déclaré officiellement que « les gains faciles en matière d'IA sont terminés », tout en affirmant avec assurance qu'il n'y avait aucune raison pour que « l'industrie ne puisse pas continuer à progresser ». Il n'a toutefois pas été claire sur la voie à suivre désormais.

Des approches moins coûteuses et plus efficaces sont à l'étude. OpenAI a utilisé une méthode connue sous le nom de « test-time compute » avec ses derniers modèles, dans laquelle l'IA passe plus de temps à « réfléchir » avant de sélectionner la solution la plus prometteuse. Les chercheurs affirment que cette méthode expérimentale a permis d'augmenter les performances du modèle, ce qui aurait nécessité des montagnes de calculs pour être reproduit.

« Mais il est peu probable que cette approche soit une solution miracle », a déclaré Arvind Narayanan, informaticien à l'université de Princeton. En attendant, les startups chinoises bouleversent le secteur de l'IA et secouent les marchés financiers américains avec des méthodes très peu coûteuses et très efficaces.

La startup chinoise DeepSeek a inauguré une approche appelée « mélange d'experts », qui exploite plusieurs réseaux neuronaux, chacun spécialisé dans des domaines différents (les proverbiaux « experts ») pour aider à trouver des solutions, au lieu de s'appuyer sur un seul modèle « généraliste ».

Néanmoins, si l'on en croit l'engagement de Microsoft à continuer de dépenser des dizaines de milliards de dollars dans les centres de données, la mise à l'échelle par la force brute restera le mode opératoire privilégié des titans de l'industrie. Pendant ce temps, il reviendra aux startups les plus rustres de chercher des moyens d'en faire plus avec moins de moyens. OpenAI, Anthropic et les startups chinoises se livrent désormais une concurrence féroce.

Source : rapport de l'enquête (PDF)

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi

Le directeur technique de Microsoft affirme que les lois de mise à l'échelle des LLM continueront à stimuler les progrès de l'IA, réfutant les déclarations selon lesquelles les LLM ont atteint un plateau

L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme

Le boom des investissements dans l'IA : plus de 92 Mds $ injectés en 2023 dans la construction de centres de données et l'achat de puces et d'équipements, avec des résultats mitigés et de faibles perspectives