« L'IA superintelligente est un fantasme de la Silicon Valley. L'AGI ne se produira jamais en raison des limites du matériel informatique et des coûts exponentiels du calcul »selon un chercheur de l'Ai2
La Silicon Valley considère la « superintelligente » (ou AGI) comme le Saint-Graal de la course à l'IA. Les entreprises investissent massivement dans les infrastructures destinées au développement et aux charges de travail de l'IA. Mais de plus en plus de scientifiques de renom estiment qu'il s'agit d'une impasse. Le célèbre chercheur Tim Dettmers affirme que « l'AGI ne verra probablement jamais le jour ». Selon lui, les discours optimistes sur l’AGI ignorent des contraintes fondamentales liées à la physique, au matériel informatique et à l’économie du calcul. Il critique le concept même d’AGI et met en garde contre les risques liés à la bulle de l'IA.
Tim Dettmers est professeur adjoint à l'université Carnegie Mellon (CMU) et chercheur scientifique à l'Allen Institute for Artificial Intelligence (Ai2). Il est également le créateurs et le responsable de la bibliothèque Python bitsandbytes. (Bitsandbytes permet l'accès aux grands modèles de langage grâce à la quantification k-bit pour PyTorch.) Dans un récent article de blogue, il a remis en cause un concept à la mode : l'intelligence artificielle générale (AGI).
« La réflexion autour de l'AGI et de la superintelligence n'est pas seulement optimiste, elle est fondamentalement erronée », a écrit Tim Dettmers. Il définit l'AGI comme une intelligence capable de faire tout ce que les humains peuvent faire, y compris des tâches physiques ayant une importance économique.
Selon lui, il existe de nombreux freins à l'atteinte de cet objectif. Toute d'abord, il estime que le problème réside dans le fait que la plupart des discussions autour de l'AGI sont d'ordre philosophique. Mais, en fin de compte, l'AGI doit fonctionner sur quelque chose. Et même si beaucoup aimeraient croire que les GPU continuent de gagner en vitesse et en puissance de calcul, Tim Dettmers prédit que nous approchons rapidement d'un mur : les limites de la loi de Moore.
Tim Dettmers a écrit : « il nous reste peut-être un ou deux ans pour poursuivre notre expansion avant que de nouvelles améliorations ne deviennent physiquement impossibles ». Cet article est un retour brutal à la réalité pour les investisseurs qui injectent des milliards dans l'IA en fantasmant sur les bénéfices records promis. Le PDG d'IBM, Arvind Krishna, ne prévoit aucun retour sur investissement pour les milliards investis dans les centres de données.
La bulle spéculative autour de l'IA ne cesse de gonfler et la panique commence à s'installer dans le rang des gestionnaires de fonds. Ces derniers jugent que les entreprises engagées dans la course à l'IA dépensent trop rapidement et massivement, notamment dans les infrastructures coûteuses comme les centres de données et les puces spécialisées. Et 20 % des gestionnaires de fonds interrogés récemment par Bank of America sont de cet avis.
Le calcul est limité par les lois de la physique
Dans son billet, Tim Dettmers insiste sur le fait que le calcul n’est pas abstrait, mais profondément physique. Toute amélioration des modèles dépend de composants matériels réels, soumis à des limites de distance, d’énergie, de dissipation thermique et de bande passante mémoire. Les architectures actuelles, notamment les Transformers utilisés dans les grands modèles de langage, sont déjà proches de ce que la physique permet d’optimiser efficacement.
Il devient de plus en plus difficile d’obtenir des gains significatifs simplement en améliorant l’architecture ou en ajoutant du matériel. L'infrastructure de l'IA ne progresse plus assez rapidement pour suivre le rythme exponentiel de l'augmentation des ressources nécessaires pour améliorer les modèles de manière linéaire.
« Les GPU ont atteint leur rendement maximal en termes de rapport coût/performance vers 2018. Après cela, nous avons ajouté des fonctionnalités ponctuelles qui s'épuisent rapidement », explique-t-il. La plupart des gains de performances observés au cours des sept dernières années proviennent de facteurs tels que les types de données à faible précision et les cœurs tensoriels : BF16 dans Ampere de Nvidia, FP8 dans Hopper et FP4 dans Blackwell.
Ces améliorations ont permis des progrès considérables en matière de performances. Cependant, si l'on se contente d'examiner la puissance de calcul de ces accélérateurs d'une génération à l'autre, les gains ne sont pas aussi importants que Nvidia et d'autres le laissent entendre. Selon les experts, entre les générations Ampere et Hopper de GPU Nvidia, les performances BF16 ont été multipliées par 3, tandis que la puissance a été multipliée par 1,7.
Parallèlement, entre Hopper et la dernière génération Blackwell de GPU Nvidia, les performances ont été multipliées par 2,5 ; mais cela a nécessité deux fois plus de surface de puce et 1,7 fois plus de puissance. Si Tim Dettmers affirme que les GPU individuels atteignent rapidement leurs limites, le chercheur soutient également que les progrès réalisés dans la manière dont nous les assemblons nous permettront de gagner quelques années tout au plus.
Le coût du progrès devient « exponentiel »
Tim Dettmers explique que les progrès récents de l’IA donnent une illusion de croissance continue, alors qu’en réalité chaque amélioration marginale exige des ressources bien plus importantes que la précédente. Autrement dit, maintenir un rythme de progrès similaire nécessite une augmentation exponentielle des coûts en calcul, en énergie et en infrastructure. Cette dynamique rend irréaliste l’idée d’une progression illimitée vers une intelligence générale.
Selon un rapport de The Information, OpenAI et Microsoft définissent l'AGI comme « un système d'IA pouvant générer jusqu'à 100 milliards de dollars de bénéfices », ce qui semble totalement éloigné de toute référence scientifique. Le rapport cite un document de 2023 émanant des deux entreprises. Il suggère que l'AGI, telle que beaucoup l'imaginent, est un objectif irréaliste et révèle surtout qu'OpenAI est aujourd'hui plus intéressé par les profits.
Envoyé par Tim Dettmers
Je crois aux lois d'échelle et je pense que la mise à l'échelle améliorera les performances. Les modèles tels que Gemini sont clairement de bons modèles. Le problème avec la mise à l'échelle est le suivant : pour les améliorations linéaires, nous avions auparavant une croissance exponentielle des GPU qui annulait les besoins exponentiels en ressources liés à la mise à l'échelle.
Ce n'est plus le cas aujourd'hui. En d'autres termes, auparavant, nous investissions des coûts à peu près linéaires pour obtenir un rendement linéaire, mais aujourd'hui, les coûts sont devenus exponentiels. Cela ne serait pas un problème en soi, mais cela impose une limite physique claire à la mise à l'échelle, qui approche à grands pas.
Il nous reste peut-être un ou deux ans pour la mise à l'échelle, car toute amélioration supplémentaire devient physiquement irréalisable. Les améliorations en matière de mise à l'échelle en 2025 n'ont pas été impressionnantes. La mise à l'échelle en 2026 et 2027 devrait donner de meilleurs résultats.
Pourtant, plutôt que de se concentrer sur la création de formes d'IA utiles et économiquement rentables, les laboratoires américains spécialisés dans l'IA restent convaincus que celui qui créera le premier une AGI remportera la course à l'armement dans le domaine de l'IA. Tim Dettmers estime qu'il s'agit là d'une vision à court terme. Selon d'autres critiques, l'AGI n'est pas à portée de main et les grands modèles de langage ne sont pas la solution.
Les limites du scaling (ou mise à l'échelle)
L’augmentation de la taille des modèles et des jeux de données destinés à l'entraînement de l'IA a été un moteur clé des performances récentes. Mais Tim Dettmers affirme que cette stratégie atteint ses limites. Sans avancées matérielles majeures, la mise à l'échelle devient économiquement et énergétiquement insoutenable. Les améliorations obtenues par l’augmentation de la taille des modèles risquent donc de ralentir fortement, voire de stagner.
Une critique à l'égard du concept même d’AGI
L'AGI est un sujet quelque peu controversé dans le domaine de l'IA, les critiques suggérant qu'il ne s'agit que d'une chimère. « L'AGI est un mensonge. L'intelligence artificielle générale n'existe pas », a déclaré Dana Blankenhorn, journaliste technologique. Il estime que la surmédiatisation de l'AGI est liée aux visées politiques de certains acteurs importants du secteur de l'IA et à leurs tentatives visant à contrôler entièrement le développement de la technologie.
Tim Dettmers remet aussi en question la définition de l’AGI. Pour lui, une véritable AGI devrait être capable d’interagir physiquement avec le monde, ce qui implique des robots avancés, fiables et économiquement viables. Or, la robotique progresse lentement et reste très coûteuse. L’idée d’une superintelligence capable de s’autoaméliorer rapidement est, selon lui, une abstraction qui néglige complètement les contraintes physiques et économiques réelles.
« Une véritable AGI, capable de faire tout ce que font les humains, devrait être capable d'effectuer des tâches physiques. Les données du monde physique sont tout simplement trop coûteuses à collecter, et le monde physique est trop complexe dans ses détails », écrit Tim Dettmers. Selon lui, poursuivre un rêve n'apporte guère de gains économiques productifs, « ce que la Chine a déjà compris ». La Silicon Valley quant à elle poursuivrait une « chimère ».
L'accent mis par l'Empire du Milieu sur les applications de l'IA dont nous disposons aujourd'hui est une approche beaucoup plus pragmatique et plus viable à long terme. « La valeur essentielle de l'IA réside dans son utilité et dans l'augmentation de la productivité qu'elle permet. Les prédictions concernant l'AGI persistent non pas parce qu'elles sont fondées, mais parce qu'elles constituent un récit convaincant », écrit Tim Dettmers dans son article.
Conclusion : une autre vision de l’avenir de l’IA
Les prédictions autour de l’AGI sont aujourd’hui profondément divisées entre enthousiasme et scepticisme mesuré. D’un côté, des figures comme Sam Altman, Elon Musk ou Mark Zuckerberg annoncent une AGI d’ici quelques années en s’appuyant sur la puissance croissante des modèles et des investissements toujours massifs. De l’autre, des voix plus techniques comme Yann LeCun rappellent une réalité plus brute : l'AGI n'est pas à portée de main.
« Les modèles actuels, aussi impressionnants soient-ils, n’apprennent pas comme les humains. Ils ne comprennent pas, n’apprennent pas par expérience, ne généralisent pas bien. Et tant qu’ils n’auront pas surmonté ce goulot d’étranglement de l’apprentissage continu, l’AGI restera un objectif, pas un fait ».
Tim Dettmers estime que l’avenir de l’IA ne se trouve pas dans la quête d’une AGI mythique, mais dans le développement d’outils spécialisés, utiles et largement diffusés dans l’économie. Plutôt que de viser une intelligence universelle, l’IA devrait se concentrer sur des applications concrètes qui augmentent la productivité humaine dans des contextes bien définis. Il cite l'exemple de la Chine qui se concentre davantage sur les applications d'IA utiles.
Source : billet de blogue
Et vous ?
Quel est votre avis sur le sujet ? Tim Dettmers affirme que l'AGI est un fantasme. Qu'en pensez-vous ? Selon vous, l'AGI est-il un objectif atteignable pour l'industrie technologique ? Pourquoi ?Voir aussi
L'adoption de l'intelligence artificielle progresse plus vite que toutes les révolutions technologiques que nous avons connues. L'IA redéfinit nos vies plus vite qu'Internet ou le mobile selon un rapport « L'AGI n'est pas à portée de main. L'incapacité des modèles d'IA actuels à apprendre de façon autonome et continue, comme les humains, freine leur évolution vers une superintelligence », selon un critique PDG d'IBM : « il est impossible que les milliards injectés dans les centres de données IA soient rentables à cause des coûts actuels des infrastructures ». Il ajoute que l'AGI n'est pas à portée de main
Vous avez lu gratuitement 8 778 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
