La Silicon Valley considère la « superintelligente » (ou AGI) comme le Saint-Graal de la course à l'IA. Les entreprises investissent massivement dans les infrastructures destinées au développement et aux charges de travail de l'IA. Mais de plus en plus de scientifiques de renom estiment qu'il s'agit d'une impasse. Le célèbre chercheur Tim Dettmers affirme que « l'AGI ne verra probablement jamais le jour ». Selon lui, les discours optimistes sur l’AGI ignorent des contraintes fondamentales liées à la physique, au matériel informatique et à l’économie du calcul. Il critique le concept même d’AGI et met en garde contre les risques liés à la bulle de l'IA.Tim Dettmers est professeur adjoint à l'université Carnegie Mellon (CMU) et chercheur scientifique à l'Allen Institute for Artificial Intelligence (Ai2). Il est également le créateurs et le responsable de la bibliothèque Python bitsandbytes. (Bitsandbytes permet l'accès aux grands modèles de langage grâce à la quantification k-bit pour PyTorch.) Dans un récent article de blogue, il a remis en cause un concept à la mode : l'intelligence artificielle générale (AGI).
« La réflexion autour de l'AGI et de la superintelligence n'est pas seulement optimiste, elle est fondamentalement erronée », a écrit Tim Dettmers. Il définit l'AGI comme une intelligence capable de faire tout ce que les humains peuvent faire, y compris des tâches physiques ayant une importance économique.
Selon lui, il existe de nombreux freins à l'atteinte de cet objectif. Toute d'abord, il estime que le problème réside dans le fait que la plupart des discussions autour de l'AGI sont d'ordre philosophique. Mais, en fin de compte, l'AGI doit fonctionner sur quelque chose. Et même si beaucoup aimeraient croire que les GPU continuent de gagner en vitesse et en puissance de calcul, Tim Dettmers prédit que nous approchons rapidement d'un mur : les limites de la loi de Moore.
Tim Dettmers a écrit : « il nous reste peut-être un ou deux ans pour poursuivre notre expansion avant que de nouvelles améliorations ne deviennent physiquement impossibles ». Cet article est un retour brutal à la réalité pour les investisseurs qui injectent des milliards dans l'IA en fantasmant sur les bénéfices records promis. Le PDG d'IBM, Arvind Krishna, ne prévoit aucun retour sur investissement pour les milliards investis dans les centres de données.
La bulle spéculative autour de l'IA ne cesse de gonfler et la panique commence à s'installer dans le rang des gestionnaires de fonds. Ces derniers jugent que les entreprises engagées dans la course à l'IA dépensent trop rapidement et massivement, notamment dans les infrastructures coûteuses comme les centres de données et les puces spécialisées. Et 20 % des gestionnaires de fonds interrogés récemment par Bank of America sont de cet avis.
Le calcul est limité par les lois de la physique
Dans son billet, Tim Dettmers insiste sur le fait que le calcul n’est pas abstrait, mais profondément physique. Toute amélioration des modèles dépend de composants matériels réels, soumis à des limites de distance, d’énergie, de dissipation thermique et de bande passante mémoire. Les architectures actuelles, notamment les Transformers utilisés dans les grands modèles de langage, sont déjà proches de ce que la physique permet d’optimiser efficacement.
Il devient de plus en plus difficile d’obtenir des gains significatifs simplement en améliorant l’architecture ou en ajoutant du matériel. L'infrastructure de l'IA ne progresse plus assez rapidement pour suivre le rythme exponentiel de l'augmentation des ressources nécessaires pour améliorer les modèles de manière linéaire.
« Les GPU ont atteint leur rendement maximal en termes de rapport coût/performance vers 2018. Après cela, nous avons ajouté des fonctionnalités ponctuelles qui s'épuisent rapidement », explique-t-il. La plupart des gains de performances observés au cours des sept dernières années proviennent de facteurs tels que les types de données à faible précision et les cœurs tensoriels : BF16 dans Ampere de Nvidia, FP8 dans Hopper et FP4 dans Blackwell.
Ces améliorations ont permis des progrès considérables en matière de performances. Cependant, si l'on se contente d'examiner la puissance de calcul de ces accélérateurs d'une génération à l'autre, les gains ne sont pas aussi importants que Nvidia et d'autres le laissent entendre. Selon les experts, entre les générations Ampere et Hopper de GPU Nvidia, les performances BF16 ont été multipliées par 3, tandis que la puissance a été multipliée par 1,7.
Parallèlement, entre Hopper et la dernière génération Blackwell de GPU Nvidia, les performances ont été multipliées par 2,5 ; mais cela a nécessité deux fois plus de surface de puce et 1,7 fois plus de puissance. Si Tim Dettmers affirme que les GPU individuels atteignent rapidement leurs limites, le chercheur soutient également que les progrès réalisés dans la manière dont nous les assemblons nous permettront de gagner quelques années tout au plus.
Le coût du progrès devient « exponentiel »
Tim Dettmers explique que les progrès récents de l’IA donnent une illusion de croissance continue, alors qu’en réalité chaque amélioration marginale exige des ressources bien plus importantes que la précédente. Autrement dit, maintenir un rythme de progrès similaire nécessite une augmentation exponentielle des coûts en calcul, en énergie et en infrastructure. Cette dynamique rend irréaliste l’idée d’une progression illimitée vers une intelligence générale.
Selon un rapport de The Information, OpenAI et Microsoft définissent l'AGI comme « un système d'IA pouvant générer jusqu'à 100 milliards de dollars de bénéfices », ce qui semble totalement éloigné de toute référence scientifique. Le rapport cite un document de 2023 émanant des deux entreprises. Il suggère que l'AGI, telle que beaucoup l'imaginent, est un objectif irréaliste et révèle surtout qu'OpenAI est aujourd'hui plus intéressé par les profits.
Envoyé par Tim Dettmers
Je crois aux lois d'échelle et je pense que la mise à l'échelle améliorera les performances. Les modèles tels que Gemini sont clairement de bons modèles. Le problème avec la mise à l'échelle est le suivant : pour les améliorations linéaires, nous avions auparavant une croissance exponentielle des GPU qui annulait les besoins exponentiels en ressources liés à la mise à l'échelle.
Ce n'est plus le cas aujourd'hui. En d'autres termes, auparavant, nous investissions des coûts à peu près linéaires pour obtenir un rendement linéaire, mais aujourd'hui, les coûts sont devenus exponentiels. Cela ne serait pas un problème en soi, mais cela impose une limite physique claire à la mise à l'échelle, qui approche à grands pas.
Il nous reste peut-être un ou deux ans pour la mise à l'échelle, car toute amélioration supplémentaire devient physiquement irréalisable. Les améliorations en matière de mise à l'échelle en 2025 n'ont pas été impressionnantes. La mise à l'échelle en 2026 et 2027 devrait donner de meilleurs résultats.
Pourtant, plutôt que de se concentrer sur la création de formes d'IA utiles et économiquement rentables, les laboratoires américains spécialisés dans l'IA restent convaincus que celui qui créera le premier une AGI remportera la course à l'armement dans le domaine de l'IA. Tim Dettmers estime qu'il s'agit là d'une vision à court terme. Selon d'autres critiques, l'AGI n'est pas à portée de main et les grands modèles de langage ne sont pas la solution.
Les limites du scaling (ou mise à l'échelle)
L’augmentation de la taille des modèles et des jeux de données destinés à l'entraînement de l'IA a été un moteur clé des performances récentes. Mais Tim Dettmers affirme que cette stratégie atteint ses limites. Sans avancées matérielles majeures, la mise à l'échelle devient économiquement et énergétiquement insoutenable. Les améliorations obtenues par l’augmentation de la taille des modèles risquent donc de ralentir fortement, voire de stagner.
Une critique à l'égard du concept même d’AGI
L'AGI est un sujet quelque peu controversé dans le domaine de l'IA, les critiques suggérant qu'il ne s'agit que d'une chimère. « L'AGI est un mensonge. L'intelligence artificielle générale n'existe pas », a déclaré Dana Blankenhorn, journaliste...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
,