Le patron de Nvidia, Jensen Huang, prévoit que la puissance de calcul pour l'IA sera multipliée par un million dans une décennie,

Rejetant l'idée que l'IA « se heurte à un mur »

Alors que les débats sur les limites potentielles de l’intelligence artificielle (IA) s’intensifient, Jensen Huang, le PDG de Nvidia, l’un des leaders mondiaux dans la production de puces graphiques et d’infrastructures pour l’IA, a rejeté l’idée selon laquelle l’IA aurait atteint un plateau technologique. Lors d’une récente intervention, Huang a déclaré qu’il est impératif de continuer à innover pour faire progresser cette technologie, tout en reconnaissant l’urgence de relever certains défis critiques.

Un plafond de verre en IA ?

Les craintes d’un plafonnement des progrès en IA ont gagné du terrain ces derniers mois, alimentées par des observations sur les limites des modèles actuels, comme ChatGPT ou DALL-E. Ces outils, bien qu’impressionnants, révèlent des faiblesses, notamment dans des domaines tels que la compréhension contextuelle avancée, la fiabilité des informations et la capacité à généraliser des concepts complexes.

there is no wall

— Sam Altman (@sama) November 14, 2024

Lorsque Sam Altman, patron d'OpenAI, a publié ce mois-ci un tweet gnomique disant « Il n'y a pas de mur », ses partisans sur X, anciennement Twitter, se sont amusés comme des fous. « Trump le construira », a déclaré l'un d'entre eux. « Pas de paywall pour ChatGPT ? », s'est amusé un autre. Depuis, l'expression est passée d'une plaisanterie d'intellos à une affaire sérieuse.


Le mur en question fait référence à l'idée que les forces qui sous-tendent les améliorations de l'intelligence artificielle générative (IA) au cours des 15 dernières années ont atteint une limite. Ces forces sont connues sous le nom de lois de mise à l'échelle. « Il y a beaucoup de débats : avons-nous atteint le mur avec les lois de mise à l'échelle ? a demandé Satya Nadella, le patron de Microsoft, lors de la conférence annuelle de son entreprise le 19 novembre. Un jour plus tard, Jensen Huang, patron de Nvidia, l'entreprise la plus valorisée au monde, a répondu par la négative.

Les lois d'échelle ne sont pas des lois physiques. À l'instar de la loi de Moore, selon laquelle les performances de traitement des semi-conducteurs doublent environ tous les deux ans, elles reflètent la perception selon laquelle les performances de l'IA ont doublé tous les six mois environ au cours des dernières années. La principale raison de ces progrès est l'augmentation de la puissance de calcul utilisée pour former les grands modèles de langage (LLM). Nvidia, dont les processeurs graphiques (GPU) fournissent la quasi-totalité de cette puissance de calcul, est la société dont la fortune est la plus étroitement liée aux lois de mise à l'échelle.

Le 20 novembre, lors de la présentation des résultats de Nvidia, Huang a défendu les lois de mise à l'échelle. Il a également déclaré que la première tâche de la nouvelle classe de GPU de Nvidia, connue sous le nom de Blackwells, serait d'entraîner une nouvelle génération de modèles plus puissants. « Il est urgent que tous ces créateurs de modèles de base passent à la vitesse supérieure », a-t-il déclaré.

Les résultats de Nvidia pour le trimestre qui s'est achevé en octobre ont renforcé le sentiment d'une dynamique ascendante. Bien que le rythme de croissance ait quelque peu ralenti, le chiffre d'affaires a dépassé les 35 milliards de dollars, soit une augmentation fulgurante de 94 % d'une année sur l'autre. Nvidia prévoit un nouveau chiffre d'affaires de 37,5 milliards de dollars pour le trimestre en cours, ce qui est supérieur aux attentes de Wall Street. La société a déclaré que cette révision à la hausse était en partie due au fait qu'elle s'attendait à ce que la demande de GPU Blackwell soit plus élevée qu'elle ne le pensait auparavant. Huang a prédit que 100 000 Blackwell seraient rapidement mis au travail pour former et diriger la prochaine génération de LLM.

Tout le monde ne partage pas son optimisme

Les sceptiques de la loi d'échelle notent qu'OpenAI n'a pas encore produit de nouveau modèle à usage général pour remplacer GPT-4, qui est à la base de ChatGPT depuis mars 2023. Ils affirment que le modèle Gemini de Google n'est pas à la hauteur de l'argent dépensé.

Mais, comme le fait remarquer Huang, les lois de mise à l'échelle ne s'appliquent pas seulement à la formation initiale des LLM, mais aussi à l'utilisation du modèle, ou à l'inférence, en particulier lorsqu'il s'agit de tâches de raisonnement complexes. Pour expliquer pourquoi, il cite le dernier modèle de l'OpenAI, o1, qui possède des capacités de raisonnement supérieures à celles du GPT-4. Il peut effectuer des mathématiques avancées et d'autres tâches complexes en adoptant une approche progressive que son concepteur appelle la « pensée ». Ce processus d'inférence amélioré utilise beaucoup plus de puissance de calcul qu'une réponse ChatGPT typique, explique M. Huang. « Nous savons que nous avons besoin de plus de puissance de calcul, quelle que soit l'approche adoptée », explique-t-il.

Plus l'IA sera adoptée, plus l'inférence prendra de l'importance. Huang affirme que les générations précédentes de GPU de Nvidia peuvent être utilisées pour l'inférence, mais que les Blackwells permettront d'améliorer les performances des dizaines de fois. Au moins la moitié de l'infrastructure de Nvidia est déjà utilisée pour l'inférence.

Huang a clairement intérêt à présenter la mise à l'échelle sous son meilleur jour. Certains sceptiques s'interrogent sur l'importance des avancées en matière de raisonnement. Bien qu'une poignée de modèles commerciaux soient bouleversés, de nombreuses entreprises peinent à adopter l'IA à grande échelle, ce qui pourrait finir par peser sur la demande de technologie. Mais il est encore trop tôt pour cela. Les géants de la technologie continuent d'investir massivement dans les GPU, et Huang souligne qu'il faut du temps pour assimiler les nouvelles technologies. Nvidia n'est pas encore au pied du mur.

La saturation des performances

Les modèles de langage, comme GPT-4, ont longtemps montré des capacités impressionnantes en matière de traitement du langage naturel, de génération de texte et d'assistance automatisée. À chaque nouveau modèle, la promesse d’une IA plus puissante, plus performante et plus « humaine » créait des attentes toujours plus grandes.

Cependant, The Information rapporte que le prochain modèle de langage majeur d'OpenAI, connu sous le nom de code « Orion », offre des gains de performance beaucoup moins importants que prévu. L'amélioration de la qualité entre GPT-4 et Orion est nettement moins importante que celle observée entre GPT-3 et GPT-4. De plus, Orion ne surpasse pas systématiquement son prédécesseur dans des domaines tels que la programmation, ne montrant des améliorations que dans les capacités linguistiques, selon les sources de The Information. Le modèle pourrait également coûter plus cher à exploiter dans les centres de données que les versions précédentes.

L'annonce d'Orion d'OpenAI, dont les performances ne surpasseraient que de peu celles de GPT-4, met en lumière un phénomène de saturation. De nombreux experts en IA soulignent que, malgré des architectures toujours plus sophistiquées et des modèles de plus en plus volumineux, les gains de performance observés se réduisent progressivement. La loi des rendements décroissants semble s’appliquer ici, avec une augmentation significative des ressources nécessaires pour des progrès toujours plus modestes.

L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente

L’une des raisons de cette stagnation réside dans les limites inhérentes aux modèles actuels. L’architecture de type « transformer », dominante aujourd’hui, est extrêmement puissante mais aussi gourmande en ressources et sujette à des faiblesses de compréhension contextuelle et de gestion des informations factuelles. De plus, les IA actuelles peinent encore à généraliser certains concepts et à offrir des réponses qui soient à la fois nuancées, contextuellement appropriées et alignées sur une éthique bien définie. L’effort nécessaire pour dépasser ces limites semble croître de manière exponentielle à chaque nouvelle génération, rendant chaque avancée plus difficile à atteindre.

Par ailleurs, une étude explorant les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique, a conclu que les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032.

D'un autre côté, les chercheurs d'OpenAI expliquent ce ralentissement par l'insuffisance de données d'entraînement de haute qualité. La plupart des textes et des données accessibles au public ont déjà été utilisés. En réponse, OpenAI a créé une « Foundations Team » dirigée par Nick Ryder.

Cette initiative s'inscrit dans le droit fil de la déclaration faite en juin par le PDG Sam Altman, selon laquelle, bien que les données existent en quantité suffisante, l'accent sera mis sur l'apprentissage à partir d'une quantité moindre de données. L'entreprise prévoit d'utiliser des données synthétiques - du matériel d'entraînement généré par des modèles d'IA - pour combler cette lacune.

The Information note qu'Orion s'est déjà partiellement entraîné sur des données synthétiques provenant de GPT-4 et du nouveau modèle de « raisonnement » o1 d'OpenAI. Toutefois, cette approche présente le risque que le nouveau modèle « ressemble simplement à ces anciens modèles dans certains aspects », selon un employé d'OpenAI.


Le PDG d'OpenAI demeure confiant quant à la possibilité d'atteindre l'intelligence artificielle générale

Néanmoins, dans une récente interview, le PDG d'OpenAI, Sam Altman, est resté optimiste. Il a déclaré que la voie vers l'intelligence artificielle générale (AGI) était toute tracée et que ce qu'il fallait, c'était une utilisation créative des modèles existants. Altman pourrait faire référence à la combinaison des LLM avec des approches de raisonnement telles que o1 et l'IA agentique.

Noam Brown, éminent développeur d'IA à l'OpenAI et ancien employé de Meta qui a contribué à la création de o1, affirme que la déclaration d'Altman reflète l'opinion de la plupart des chercheurs de l'OpenAI. Le nouveau modèle o1 vise à créer de nouvelles opportunités de mise à l'échelle. Il met l'accent non plus sur la formation, mais sur l'inférence, c'est-à-dire le temps de calcul dont disposent les modèles d'IA pour accomplir des tâches. Brown estime que cette approche constitue une « nouvelle dimension pour la mise à l'échelle ».

Mais elle nécessitera des milliards de dollars et une importante consommation d'énergie. Il s'agit là d'une question clé pour l'industrie dans les mois à venir : La construction de modèles d'IA toujours plus puissants - et des énormes centres de données qu'ils nécessitent - a-t-elle un sens économique et environnemental ? OpenAI semble le penser.

Source : NVIDIA

Et vous ?

Quelle lecture faites-vous de l'analyse du PDG de Nvidia ?

Quels obstacles concrets la recherche en IA doit-elle surmonter pour franchir un « nouveau palier » ?

L’amélioration des architectures matérielles suffira-t-elle ou faudra-t-il repenser les bases des algorithmes d’apprentissage ?

Que pensez-vous des besoins énergétiques actuels de l'IA ? Pourrait-elle arriver à un point où les besoins énergétiques et matériels pour de nouvelles avancées deviennent insoutenables ?