Une enquête révèle qu'une bonne partie des chercheurs en IA considèrent que les Big Tech ne sont pas sur la bonne voie. Environ 76 % d'entre eux estiment qu'il est « peu probable » ou « très peu probable » que l'augmentation de la puissance de calcul et des données des modèles d'IA actuels conduise à l'intelligence artificielle générale (AGI). Les entreprises ont investi des centaines de milliards de dollars dans l'IA depuis 2023. Mais les conclusions de l'enquête suggèrent que cet argent est déversé dans une impasse. Elles constituent un désaveu retentissant de la méthode longtemps privilégiée par l'industrie technologique pour obtenir des gains en matière d'IA.L'enquête suggère que l'industrie des centaines de milliards dans une impasse
Les Big Tech parient sur une stratégie simple depuis l'avènement de l'IA générative : ils pensent que « le fait d'augmenter continuellement la puissance de calcul de l'IA permettrait d'obtenir une AGI, c'est-à-dire des systèmes capables d'égaler ou de surpasser la cognition humaine ». Cependant, cette approche est de plus en plus remise en cause, notamment par l'apparition de modèles d'IA plus petits et plus puissants, tels que le modèle d'IA chinois DeepSeek-R1.
En outre, une récente enquête menée auprès de chercheurs en IA laisse entrevoir un scepticisme croissant quant au fait que l'augmentation sans fin de la puissance de calcul soit la bonne voie à suivre. L'enquête a été menée par l'Association pour l'avancement de l'IA (AAAI) et a interrogé 475 chercheurs en IA.
Malgré les centaines de milliards investis dans la construction d'énormes centres de données et le développement de modèles d'IA de plus en plus vastes, les répondants à l'enquête ont déclaré que le rendement de ces investissements diminue. Selon le rapport de l'enquête, au moins 76 % d'entre eux estiment qu'il est « peu probable » ou « très peu probable » que l'augmentation de la puissance de calcul et des données des modèles d'IA actuels conduise à l'AGI.
Étant donné que l'AGI est ce que les développeurs d'IA affirment tous être leur objectif final, on peut dire sans risque de se tromper que la mise à l'échelle est largement considérée comme une impasse. Stuart Russell, informaticien à l'université de Berkeley et contributeur au rapport, a déclaré : « les investissements considérables dans la mise à l'échelle, non accompagnés d'efforts comparables pour comprendre ce qui se passe, m'ont toujours semblé déplacés ».
Il a ajouté : « je pense qu'il y a environ un an, il est devenu évident pour tout le monde que les avantages de la mise à l'échelle au sens classique du terme avaient atteint un plateau ». Pour de nombreux critiques, les lois de mise à l'échelle ne fonctionnent plus, mais certains patrons de la Tech rejettent cette idée.
Les chercheurs affirment que les lois de mise à l'échelle ont atteint un plateau
Les lois de mise à l'échelle des LLM ont été proposées par les chercheurs d'OpenAI en 2020. Elles stipulent que l'efficacité des modèles d'IA augmente de manière proportionnelle à la taille du modèle. En d'autres termes, la performance des modèles de langage tend à s'améliorer de « manière prévisible » à mesure que les modèles deviennent plus grands (plus de paramètres), sont formés sur plus de données et ont accès à plus de puissance de calcul (compute).
En outre, les modèles plus grands sont censés être plus efficaces et plus rapides, mais aussi générer beaucoup moins d'erreurs que les modèles plus petits. Toutefois, de nombreux critiques sont convaincus que le développement des modèles pourrait bientôt atteindre des rendements décroissants.
Le directeur technique de Microsoft, Kevin Scott, ne partage pas les craintes selon lesquelles les lois de mises à l'échelle des grands modèles de langage ont atteint leurs limites. L'année dernière, il s'est dit optimiste quant aux futures itérations des modèles et à leur capacité à améliorer les domaines dans lesquels les modèles actuels ont des difficultés. La position de Microsoft sur cette question s'aligne en effet sur ses investissements considérables en matière d'IA.
« Malgré ce que d'autres pensent, nous n'en sommes pas à des rendements marginaux décroissants en ce qui concerne la mise à l'échelle. J'essaie d'aider les gens à comprendre qu'il existe une exponentielle et que, malheureusement, on ne peut l'observer que tous les deux ans, car il faut du temps pour construire des superordinateurs et former des modèles à partir de ces derniers », avait déclaré Kevin Scott. Mais Microsoft semble aujourd'hui sceptique à ce sujet.
L'année dernière, Ed Zitron, un critique de l'IA, a écrit dans un billet sur son blogue sarcastique : « l'une des défenses de l'investissement continu dans l'IA générative est qu'OpenAI a quelque chose que nous ne connaissons pas. Une grande technologie secrète et sexy qui brisera éternellement les os de tous ceux qui la détestent. Cependant, j'ai un contrepoint : "non, ce n'est pas le cas" ». Pourtant, Jensen Huang, PDG de Nvidia, quant à lui, reste très optimiste.
Des investissements colossaux avec un impact important sur l'environnement
Des sommes colossales sont investies dans la course à l'IA. Selon les estimations, plus de 92 milliards de dollars ont été injectés en 2023 dans la construction de centres de données et l'achat de puces et d'équipements, avec des résultats mitigés et de faibles perspectives. Toutefois, la compétition s'est poursuivie Selon un rapport de TechCrunch, l'année dernière, le financement en capital-risque de l'IA générative aurait dépassé les 56 milliards de dollars.
Ce mouvement a aussi entraîné une demande massive d'accélérateurs d'IA, un rapport de février indiquant que l'industrie des semiconducteurs atteindrait la somme colossale de 626 milliards de dollars en 2024. Les rivaux tels que Meta, Amazon, OpenAI, etc. investissent également des sommes colossales.
Le fonctionnement des modèles d'IA a toujours nécessité d'énormes quantités d'énergie, et à mesure qu'ils sont mis à l'échelle, les demandes n'ont fait qu'augmenter. Ainsi, Microsoft, Google et Amazon concluent des contrats pour l'accès à l'énergie nucléaire afin d'alimenter leurs gigantesques centres de données.
Outre le scepticisme, l'enquête met également en évidence un changement de priorités parmi les chercheurs en IA. Alors que 77 % d'entre eux accordent la priorité à la conception de systèmes d'IA présentant un profil risque-bénéfice acceptable, seuls 23 % se concentrent sur la poursuite directe de l'AGI.
En outre, selon l'Association pour l'avancement de l'IA, 82 % d'entre eux estiment que si l'AGI est développée par des entités privées, elle devrait être détenue par l'État afin d'atténuer les risques mondiaux et les préoccupations éthiques. Toutefois, 70 % des personnes interrogées s'opposent à l'arrêt de la recherche sur l'AGI tant que des mécanismes de sécurité complets n'ont pas été mis en place, ce qui suggère une approche prudente, mais qui va de l'avant.
Des approches moins coûteuses et plus efficaces sont à l'étude dans l'industrie
En novembre dernier, des rapports indiquaient que les chercheurs d'OpenAI avaient découvert que la prochaine version majeure du grand modèle de langage (GPT-5) de l'entreprise présentait des améliorations nettement moindres et, dans certains cas, pas d...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
