Jensen Huang a déclaré au CES 2025 que les puces d'IA fabriquées par Nvidia dépensent les gains de performance historiques établis par la loi de Moore. Cela serait dû à l'approche globale de Nvidia en matière de développement de puces. Il a expliqué que Nvidia est capable de construire l'architecture, la puce, le système, les bibliothèques et les algorithmes en même temps. Ce qui permet au fabricant de puces d'aller plus vite que la loi de Moore. Jensen Huang s'attend à ce que cette approche contribue à faire baisser le coût de l'inférence des grands modèles de langage (LLM). Ses déclarations ont toutefois suscité des réactions mitigées dans la communauté.Jensen Huang affirme que Nvidia va désormais plus vite que la loi de Moore
La loi de Moore est la théorie selon laquelle le nombre de transistors sur les puces informatiques doublerait tous les deux ans. Le théorie a été inventée par Gordon Moore, cofondateur d'Intel, en 1965. La fin de la loi de Moore a fait l'objet de nombreux débats ces dernières années, les fabricants ayant déjà repoussé les limites de la taille des semiconducteurs qu'ils peuvent continuer à fabriquer. Jensen Huang a lui-même déclaré en 2022 que la loi de Moore est morte.
Jensen Huang avait déclaré à l'époque : « la capacité de la loi de Moore à fournir deux fois plus de performances au même coût, ou à la même performance, à la moitié du coût, tous les ans et demi, est terminée ». Certains experts craignent que la fin de la loi ralentisse le progrès technologique et nuise à des technologies comme l'IA. Cependant, Jensen Huang a récemment déclaré que Nvidia a surpassé les prédictions établies par loi de Moore il y a plus de 60 ans.
« Nos systèmes progressent bien plus vite que la loi de Moore », a déclaré Jensen Huang lors d'une interview accordée à TechCrunch le 7 janvier 2025. Il avait déjà fait cette affirmation lors de son discours inaugural au CES 2025 à Las Vegas. Alors que la loi de Moore, qui a guidé les progrès informatiques pendant des décennies, arrive à sa fin, les propos de Jensen Huang signalent un changement de paradigme potentiel dans le monde de l'informatique et de l'IA.
Jensen Huang affirme que les puces d'IA de Nvidia progressent à un rythme accéléré. La société affirme que sa dernière super puce pour centre de données est 30 fois plus rapide pour exécuter des charges de travail d'inférence d'IA que la génération précédente. Il parle de l'approche qui a rendu cela possible :
« Nous pouvons construire l'architecture, la puce, le système, les bibliothèques et les algorithmes en même temps. Si vous faites cela, vous pouvez aller plus vite que la loi de Moore, car vous pouvez innover sur l'ensemble de la pile », a déclaré Jensen Huang lors de son interview avec TechCrunch.
Nvidia veut réduire les coûts liés à l'inférence grâce à sa nouvelle approche
Pour beaucoup, le ralentissement de la loi de Moore entraîne un ralentissement des progrès de l'IA et dans d'autres domaines informatiques. Mais Jensen Huang rejette l'idée d'un ralentissement des progrès de l'IA. Il a déclaré que si la loi de Moore a contribué à faire baisser les coûts informatiques dans le passé, « l'augmentation significative et continue des performances des puces va contribuer à faire baisser le coût de l'inférence des grands modèles de langage.
« La loi de Moore a été très importante dans l'histoire de l'informatique, car elle a permis de réduire les coûts informatiques. La même chose va se produire avec l'inférence : nous augmentons les performances et, par conséquent, le coût de l'inférence sera moins élevé », a déclaré Jensen Huang. (Nvidia est devenue la deuxième entreprise la plus précieuse au monde en surfant sur le boom de l'IA, et il est donc avantageux pour le PDG Jensen Huang de le dire.)
Les puces H100 de Nvidia étaient les puces de choix pour les entreprises cherchant à former des modèles d'IA. Les géants tels que Microsoft, Meta, Amazon, xAI, etc. ont acheté des centaines de milliers de puces H100. Mais maintenant que les entreprises se concentrent davantage sur l'inférence, elles se demandent si les puces coûteuses de Nvidia seront toujours à la hauteur. Les modèles qui utilisent le calcul en temps réel sont coûteux à exécuter aujourd'hui.
Certains craignent que le modèle o3 d'OpenAI, qui utilise une version améliorée du calcul en temps réel, soit trop coûteux pour être utilisé par le plus grand nombre. OpenAI aurait dépensé près de 20 $ par tâche en utilisant son modèle d'IA o3 pour obtenir des résultats de niveau humain dans un test d'intelligence générale. L'abonnement à ChatGPT Plus coûte 20 $ par mois. Pourtant, OpenAI se préparait à une perte nette de 5 milliards de dollars en 2024.
Jensen Huang a brandi la dernière super puce de Nvidia pour les centres de données, la GB200 NVL72, comme un bouclier lors de la conférence de lundi. Cette puce est 30 à 40 fois plus rapide pour exécuter des charges de travail d'inférence d'IA que la précédente puce la plus vendue de Nvidia, la H100.
Selon Jensen Huang, ce saut de performance signifie que les modèles axés sur le raisonnement, comme le modèle o3 d'OpenAI, qui utilise une quantité importante de calcul pendant la phase d'inférence, deviendront moins chers au fil du temps. Ils pourront à terme être utilisés par le plus grand nombre.
Jensen Huang affirme que le secteur de l'IA connaît une « hyper loi de Moore »
Jensen Huang a inventé la « loi de Huang » en 2018. La loi de Huang fait référence à la théorie du PDG de Nvidia selon laquelle les progrès des GPU augmentent beaucoup plus rapidement que ceux des CPU traditionnels, une observation qu'il a faite lors de la conférence GTC 2018 de Nvidia. Lors de la conférence, Jensen Huang avait déclaré que les GPU de Nvidia étaient 25 fois plus rapides qu'il y a cinq ans et 20 fois plus rapides que les CPU comparables.
En vertu de la loi de Moore, les GPU n'auraient connu qu'une augmentation de performance attendue de 10x. Lors de son entretien avec TechCrunch, Jensen Huang a réitéré son affirmation de novembre 2024 selon laquelle l'industrie de l'IA connaît une « hyper loi de Moore ». Il affirme que ses puces d'IA sont aujourd'hui 1 000 fois plus performantes qu'il y a dix ans. C'est un rythme beaucoup plus rapide que la norme établie par la loi de Moore il y a 60 ans.
Toutefois, ni Jensen Huang ni Nvidia n'a fourni aucune mesure pour étayer cette affirmation. Jensen Huang poursuit en disant qu'il ne voit aucun signe d'arrêt prochain. Il explique qu'il se concentre sur la création de puces plus performantes, et que des puces plus performantes entraînent des prix plus bas à long terme.
Source : Jensen Huang, PDG de Nvidia
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du débat sur le ralentissement de la loi de Moore ? Est-il prématuré de parler de sa fin ? Le PDG de Nvidia affirme que les puces d'IA de l'entreprise s'améliorent plus rapidement que la norme établie par la loi de Moore. Qu'en pensez-vous ?Voir aussi
« Le moment ChatGPT pour l'IA physique et la robotique est proche » : Nvidia prédit une explosion du marché de la robotique, se tournant vers ce secteur tandis que ses puces d'IA subissent la concurrence Une loi de Moore pour l'intelligence artificielle ? Selon OpenAI, les algorithmes d'IA suivent une courbe d'évolution qui pourrait être décrite comme l'évolution prévue par la loi de Moore Sommes-nous préparés à la fin de la loi de Moore ? Elle a alimenté la prospérité des 50 dernières années, mais la fin est maintenant en vue