Nvidia dévoile le GPU Blackwell B200, la "puce la plus puissante au monde" pour l'IA

Qui "réduit les coûts et la consommation d'énergie jusqu'à 25 fois" par rapport à un H100, selon Nvidia

Lors de son premier événement GTC en personne depuis près de cinq ans, Nvidia a dévoilé sa nouvelle architecture GPU Blackwell, le successeur tant annoncé de la plateforme Hopper du géant des puces d'IA, et a annoncé de nouveaux sommets en termes de performances et d'efficacité avec les prochaines puces B100, B200 et GB200. Nvidia affirme qu'elle permettra des performances d'inférence jusqu'à 30 fois supérieures et consommera 25 fois moins d'énergie pour les modèles d'IA massifs.

Lors de son premier événement GTC en personne depuis près de cinq ans, la société basée à Santa Clara, en Californie, a dévoilé les premiers modèles de GPU utilisant l'architecture Blackwell, qui, selon elle, est accompagnée de "six technologies transformatrices pour l'accélération du calcul" qui "aideront à débloquer des percées" dans des domaines tels que l'IA générative et le traitement des données, entre autres.

Les modèles devraient arriver dans le courant de l'année, mais l'entreprise n'a pas donné d'autres précisions sur le calendrier. Les fournisseurs de services cloud qui devraient proposer des instances basées sur Blackwell comprennent Amazon Web Services, Microsoft Azure, Google Cloud et Oracle Cloud Infrastructure, ainsi que plusieurs autres acteurs, comme Lambda, CoreWeave et IBM Cloud. Du côté des serveurs, Cisco Systems, Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro devraient proposer une pléthore de systèmes basés sur Blackwell. Parmi les autres équipementiers prenant en charge les GPU, citons ASRock Rack, Asus, Eviden et Gigabyte.

Blackwell est la première mise à jour de l'architecture de Nvidia pour les GPU de centres de données depuis que des applications d'IA générative telles que ChatGPT et Stable Diffusion ont été mises en ligne en 2022 et ont déclenché une nouvelle vague d'engouement et de dépenses pour le développement de l'IA, ce qui a profité aux partenaires de distribution investissant dans de telles capacités.

La manie a bien payé jusqu'à présent pour Nvidia, dont les GPU ont été les principaux moteurs pour l'entraînement et l'exécution des modèles derrière de telles applications. Cela s'est traduit par une demande élevée et soutenue de GPU tels que le H100 et les systèmes associés, qui ont joué un rôle majeur dans le fait que la société a plus que doublé son chiffre d'affaires l'année dernière pour atteindre 60,9 milliards de dollars, dépassant celui d'Intel.


Les modèles Blackwell comprennent le B100, le B200 et le GB200

Les premiers modèles confirmés à utiliser Blackwell sont les GPU B100 et B200, qui succèdent respectivement aux modèles H100 et H200 basés sur Hopper pour les systèmes à base de x86. Le B200 devrait disposer d'une capacité de mémoire à large bande passante supérieure à celle du B100.

Les conceptions initiales incluent également le GB200 Grace Blackwell Superchip, qui, sur un seul boîtier, connecte une GPU B200 avec le processeur Grace à 72 cœurs basé sur Arm de la société, qui a été précédemment associé aux H200 et H100. Mais alors que les superpuces Grace Hopper combinent un seul processeur Grace avec une GPU Hopper, la superpuce Grace Blackwell combine un seul processeur Grace avec deux GPU Blackwell, ce qui augmente considérablement l'échelle des performances par rapport à la première génération.

C'est avec le GB200 que Nvidia voit Blackwell briller lorsqu'il s'agit des charges de travail d'IA les plus exigeantes, en particulier les modèles d'IA massifs et complexes appelés Mixture-of-Experts qui combinent plusieurs modèles, poussant le nombre de paramètres à plus de 1 000 milliards. Dans un système refroidi par liquide avec 18 GB200, Nvidia a déclaré que les 36 GPU Blackwell du système sont capables de fournir des performances d'inférence de grands modèles de langage jusqu'à 30 fois plus rapides par rapport à un système refroidi par air avec 64 GPU H100.

Alors que Nvidia promet des avancées significatives en matière d'inférence, d'efficacité énergétique et de réduction des coûts, l'énergie requise pour les configurations les plus puissantes de Blackwell augmente également. La société a déclaré que Blackwell peut être configuré à partir de 700 watts, ce qui était le maximum de Hopper et est le maximum pour le facteur de forme HGX B100 refroidi par air, jusqu'à 1200 watts, ce qui est exigé du GB200 pour une nouvelle architecture à l'échelle du rack refroidi par liquide.

Blackwell embarque 208 milliards de transistors

Marquant un changement dans les conceptions de Nvidia pour les GPU des centres de données, Blackwell combine "deux des plus grandes matrices possibles" sur un seul boîtier, selon la société. Ces puces sont connectées par un lien puce à puce de 10 TB/s, ce qui leur permet de fonctionner comme une "GPU unique et unifiée sans les inconvénients des chiplets en matière de comportement des programmes", a ajouté Nvidia. Cela porte le nombre de transistors de la GPU à 208 milliards, soit une augmentation considérable de 160 % par rapport au H100.

Cette conception a été rendue possible grâce à un processus de fabrication 4NP à limite de deux particules, conçu sur mesure par le géant de la fonderie TSMC, que Nvidia a qualifié de "technologie révolutionnaire" de Blackwell.

Un porte-parole de Nvidia a déclaré que "Blackwell n'est pas un design chiplet", une méthodologie pour connecter des puces plus petites dans un boîtier qui a été adoptée par AMD pendant des années, y compris pour ses GPU de centre de données Instinct MI300, et plus récemment adoptée par Intel pour une gamme plus large de produits, y compris ses GPU de centre de données de la série Max.


Le moteur Transformer de 2e génération aide Blackwell à accélérer l'IA

En ce qui concerne les performances de l'IA, les GPU Blackwell sont capables d'effectuer jusqu'à 20 pétaflops, soit 20 quadrillions de calculs par seconde, selon Ian Buck, vice-président de l'hyperscale et du calcul à haute performance chez Nvidia. Cette performance a été mesurée à l'aide d'un nouveau format numérique appelé virgule flottante à quatre bits (FP4), dont la précision est inférieure à celle du format FP8 introduit par le prédécesseur de Blackwell, Hopper, et utilisé pour fournir 4 pétaflops dans chaque H100.

Selon M. Buck, le FP4 permet à Blackwell de fournir deux fois plus de calculs et de bande passante que Hopper lorsqu'il utilise le FP8, et il permet également de doubler la taille d'un modèle d'intelligence artificielle pouvant tenir sur une seule GPU. "Atteindre ce niveau de granularité fine est un miracle en soi", a déclaré M. Buck lors d'une réunion d'information.

Cela a été rendu possible grâce au Transformer Engine de deuxième génération de Blackwell, qui a été introduit dans Hopper pour accélérer les modèles basés sur l'architecture transformatrice qui domine le monde de l'IA aujourd'hui, tels que les grands modèles de langage et les modèles de diffusion. Tel qu'il a été conçu à l'origine, le moteur Transformer "suit la précision de chaque couche de chaque unité de calcul tensoriel" dans la GPU, selon M. Buck. Lorsque la GPU entraîne un modèle, le moteur "surveille en permanence les plages de chaque couche et s'adapte pour rester dans les limites de la précision numérique afin d'obtenir les meilleures performances", a-t-il ajouté. Appelée l'une des "six technologies révolutionnaires" de Blackwell, la deuxième génération du moteur peut rendre la surveillance encore plus granulaire grâce à la "mise à l'échelle micro-tensorielle", qui permet au moteur d'examiner les "éléments individuels au sein du tenseur", a déclaré M. Buck.

Ce qui aide également Blackwell à atteindre 20 pétaflops dans une seule GPU est la bibliothèque logicielle open-source TensorRT-LLM de Nvidia, que la société a lancée l'année dernière pour doubler l'inférence de grands modèles de langage dans un H100, et le cadre NeMo Megatron pour l'entraînement de ces modèles.

La 5^e génération de NVLink permet une liaison à grande vitesse entre 576 GPU

La cinquième génération de l'interconnexion puce à puce NVLink, qui permet aux GPU de communiquer entre eux, est une autre mise à jour technologique importante pour Blackwell, présentée par Nvidia. La nouvelle génération permet d'atteindre un débit bidirectionnel par GPU de 1,8 TB/s, soit le double des 900 GB/s que Hopper permettait avec la quatrième génération de NVLink. Elle augmente également considérablement le nombre de GPU pouvant communiquer entre eux à ces vitesses, ce qui permet une "communication transparente à grande vitesse" entre un maximum de 576 GPU. Il s'agit d'un grand pas en avant par rapport à la prise en charge maximale de 256 GPU qui était possible avec NVLink dans Hopper.

Buck a déclaré que cela résout un goulot d'étranglement croissant pour les grandes grappes de GPU qui exécutent des modèles d'IA massifs, comme un modèle de mélange d'experts de 1 800 milliards de paramètres qui contient plusieurs modèles travaillant ensemble pour exécuter des fonctions complexes et fournir de meilleures réponses. "Si vous exécutez un modèle comme GPT[-4], qui, avec 1 800 milliards de paramètres, est un mélange d'experts, vous pouvez passer jusqu'à 60 % de votre temps à communiquer les données, et seulement 40 % à faire du calcul", a déclaré M. Buck à propos d'un scénario avec les GPU Hopper de Nvidia.

Les autres mises à jour de Blackwell comprennent le moteur RAS et l'informatique confidentielle

Les autres mises à jour technologiques majeures de Blackwell sont les suivantes :

• Un moteur RAS dédié aux fonctions de fiabilité, de disponibilité et de facilité d'entretien. Ce type de fonctionnalités se retrouve traditionnellement dans les processeurs de serveurs tels que les puces Xeon d'Intel. La version RAS de Nvidia comprend également des fonctions de maintenance préventive basées sur l'IA au niveau de la puce afin de réduire les temps d'arrêt pour les déploiements massifs.
• Des capacités informatiques confidentielles avancées qui "protègent les modèles d'IA et les données des clients sans compromettre les performances". Ces capacités comprennent la prise en charge de "nouveaux protocoles de cryptage d'interface natifs".
• Un moteur de décompression dédié qui accélère les requêtes de base de données pour les applications d'analyse et de science des données, que Nvidia a qualifiées de cibles croissantes pour les GPU.

Blackwell alimente les nouveaux systèmes DGX et les systèmes rack GB200 NVL72

Nvidia annonce deux nouveaux modèles de systèmes DGX équipés de GPU Blackwell :

• Le DGX B200, un système refroidi par air qui associe des GPU B200 à des CPU x86. Ce système est disponible dans un cluster DGX SuperPod.
• Le DGX GB200, un modèle refroidi par liquide qui utilise les GPU Grace Hopper GB200. Huit de ces systèmes constituent un cluster DGX SuperPod, soit un total de 288 processeurs Grace, 576 GPU B200 et 240 To de mémoire rapide. Cela permet au DGX SuperPod de fournir 11,5 exaflops, ou quadrillions de calculs par seconde, en calcul FP4.

Le SuperPod basé sur le GB200 est...