Le patron de Nvidia, Jensen Huang, prévoit que la puissance de calcul pour l'IA sera multipliée par un million dans une décennie,

Rejetant l'idée que l'IA « se heurte à un mur »

Alors que les débats sur les limites potentielles de l’intelligence artificielle (IA) s’intensifient, Jensen Huang, le PDG de Nvidia, l’un des leaders mondiaux dans la production de puces graphiques et d’infrastructures pour l’IA, a rejeté l’idée selon laquelle l’IA aurait atteint un plateau technologique. Lors d’une récente intervention, Huang a déclaré qu’il est impératif de continuer à innover pour faire progresser cette technologie, tout en reconnaissant l’urgence de relever certains défis critiques.

Un plafond de verre en IA ?

Les craintes d’un plafonnement des progrès en IA ont gagné du terrain ces derniers mois, alimentées par des observations sur les limites des modèles actuels, comme ChatGPT ou DALL-E. Ces outils, bien qu’impressionnants, révèlent des faiblesses, notamment dans des domaines tels que la compréhension contextuelle avancée, la fiabilité des informations et la capacité à généraliser des concepts complexes.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">there is no wall</p>— Sam Altman (@sama) <a href="https://twitter.com/sama/status/1856941766915641580?ref_src=twsrc%5Etfw">November 14, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

Lorsque Sam Altman, patron d'OpenAI, a publié ce mois-ci un tweet gnomique disant « Il n'y a pas de mur », ses partisans sur X, anciennement Twitter, se sont amusés comme des fous. « Trump le construira », a déclaré l'un d'entre eux. « Pas de paywall pour ChatGPT ? », s'est amusé un autre. Depuis, l'expression est passée d'une plaisanterie d'intellos à une affaire sérieuse.


Le mur en question fait référence à l'idée que les forces qui sous-tendent les améliorations de l'intelligence artificielle générative (IA) au cours des 15 dernières années ont atteint une limite. Ces forces sont connues sous le nom de lois de mise à l'échelle. « Il y a beaucoup de débats : avons-nous atteint le mur avec les lois de mise à l'échelle ? a demandé Satya Nadella, le patron de Microsoft, lors de la conférence annuelle de son entreprise le 19 novembre. Un jour plus tard, Jensen Huang, patron de Nvidia, l'entreprise la plus valorisée au monde, a répondu par la négative.

Les lois d'échelle ne sont pas des lois physiques. À l'instar de la loi de Moore, selon laquelle les performances de traitement des semi-conducteurs doublent environ tous les deux ans, elles reflètent la perception selon laquelle les performances de l'IA ont doublé tous les six mois environ au cours des dernières années. La principale raison de ces progrès est l'augmentation de la puissance de calcul utilisée pour former les grands modèles de langage (LLM). Nvidia, dont les processeurs graphiques (GPU) fournissent la quasi-totalité de cette puissance de calcul, est la société dont la fortune est la plus étroitement liée aux lois de mise à l'échelle.

Le 20 novembre, lors de la présentation des résultats de Nvidia, Huang a défendu les lois de mise à l'échelle. Il a également déclaré que la première tâche de la nouvelle classe de GPU de Nvidia, connue sous le nom de Blackwells, serait d'entraîner une nouvelle génération de modèles plus puissants. « Il est urgent que tous ces créateurs de modèles de base passent à la vitesse supérieure », a-t-il déclaré.

Les résultats de Nvidia pour le trimestre qui s'est achevé en octobre ont renforcé le sentiment d'une dynamique ascendante. Bien que le rythme de croissance ait quelque peu ralenti, le chiffre d'affaires a dépassé les 35 milliards de dollars, soit une augmentation fulgurante de 94 % d'une année sur l'autre. Nvidia prévoit un nouveau chiffre d'affaires de 37,5 milliards de dollars pour le trimestre en cours, ce qui est supérieur aux attentes de Wall Street. La société a déclaré que cette révision à la hausse était en partie due au fait qu'elle s'attendait à ce que la demande de GPU Blackwell soit plus élevée qu'elle ne le pensait auparavant. Huang a prédit que 100 000 Blackwell seraient rapidement mis au travail pour former et diriger la prochaine génération de LLM.

Tout le monde ne partage pas son optimisme

Les sceptiques de la loi d'échelle notent qu'OpenAI n'a pas encore produit de nouveau modèle à usage général pour remplacer GPT-4, qui est à la base de ChatGPT depuis mars 2023. Ils affirment que le modèle Gemini de Google n'est pas à la hauteur de l'argent dépensé.

Mais, comme le fait remarquer Huang, les lois de mise à l'échelle ne s'appliquent pas seulement à la formation initiale des LLM, mais aussi à l'utilisation du modèle, ou à l'inférence, en particulier lorsqu'il s'agit de tâches de raisonnement complexes. Pour expliquer pourquoi, il cite le dernier...