Elon Musk déclare que son modèle d'IA Grok a commencé à s'entraîner sur le nouveau cluster d'IA le plus puissant au monde

Avec 100 000 H100 refroidis par liquide sur une seule structure RDMA

Elon Musk déclare que son modèle d'IA Grok a commencé à s'entraîner sur le nouveau cluster d'IA le plus puissant au monde, avec 100 000 H100 refroidis par liquide sur une seule structure RDMA.

xAI d'Elon Musk active le cluster d'entraînement à l'IA le plus puissant du monde avec 100 000 GPU Nvidia H100

La startup d'intelligence artificielle d'Elon Musk, xAI, a activé son cluster de supercalculateurs à Memphis, dans le Tennessee, qui comprend 100 000 GPU Nvidia H100. Elon Musk, PDG de Tesla, a confirmé cette étape dans un message publié sur la plateforme de médias sociaux X.

xAI a connu un week-end chargé, la startup d'IA ayant annoncé une hausse des embauches sur X. Musk a souligné ces efforts lundi matin, déclarant que xAI cherchait à accroître son avantage en termes de talents humains. Il est intéressant de noter que Musk a également encouragé les personnes intéressées par l'IA à postuler chez Tesla et X.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">But definitely looking to increase our human talent advantage, so please apply at <a href="https://twitter.com/xai?ref_src=twsrc%5Etfw">@xAI</a>, as well as <a href="https://twitter.com/Tesla?ref_src=twsrc%5Etfw">@Tesla</a> and <a href="https://twitter.com/X?ref_src=twsrc%5Etfw">@X</a> <a href="https://t.co/sf4hMRco9f">https://t.co/sf4hMRco9f</a></p>— Elon Musk (@elonmusk) <a href="https://twitter.com/elonmusk/status/1815340648779702650?ref_src=twsrc%5Etfw">July 22, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

Musk a ensuite indiqué qu'une collaboration entre les équipes de xAI, X et Nvidia a permis au cluster de superordinateurs de Memphis de commencer l'entraînement à 4h20 du matin, heure locale. Selon Musk, le cluster de supercalculateurs comprend 100 000 GPU Nvidia H100, ce qui en fait le cluster d'entraînement à l'IA le plus puissant du marché à l'heure actuelle.

« L'équipe xAI, l'équipe X, l'équipe Nvidia et les entreprises qui les soutiennent ont fait du bon travail en démarrant l'entraînement au Memphis Supercluster à environ 4h20 du matin, heure locale. Avec 100 000 H100 refroidis par liquide sur une seule structure RDMA, il s'agit du cluster d'entraînement à l'IA le plus puissant au monde ! Il s'agit d'un avantage significatif pour former l'IA la plus puissante du monde, toutes métriques confondues, d'ici décembre de cette année », a écrit Musk dans un post sur X.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">This is a significant advantage in training the world’s most powerful AI by every metric by December this year</p>— Elon Musk (@elonmusk) <a href="https://twitter.com/elonmusk/status/1815341263102804072?ref_src=twsrc%5Etfw">July 22, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

La grappe de superordinateurs de xAI devrait être utilisée pour former le grand modèle de langage de l'entreprise, Grok, qui est actuellement déployé en tant que fonctionnalité pour les abonnés X Premium. Au début du mois, Musk a indiqué dans un message sur X que Grok 3 de xAI serait entraîné sur 100 000 GPU H100, de sorte que « ce devrait être quelque chose de vraiment spécial ».

Des rapports antérieurs provenant de Memphis au début du mois de juin suggéraient que xAI construirait un groupe de superordinateurs officieusement appelé « Gigafactory of Compute » dans l'ancienne usine Electrolux de Memphis, d'une superficie de 7,2 Ha (72900 mètres carré). Dans un communiqué de presse, la Greater Memphis Chamber a déclaré que le projet de superordinateur de xAI représente le plus grand investissement en capital de la ville par une nouvelle entreprise sur le marché dans l'histoire de Memphis.

L'investissement de xAI est considérable. Selon un rapport, chaque GPU Nvidia H100 devrait coûter entre 30 000 et 40 000 dollars. Si l'on considère que xAI utilise 100 000 unités Nvidia H100, la startup d'IA d'Elon Musk semble avoir dépensé entre 3 et 4 milliards de dollars pour ce projet.

Et vous ?

Quel est votre avis sur ce lancement ?
Pensez-vous que l'entrainement de Grok sur ce cluster permettra à l'IA de franchir une nouvelle étape ?

Voir aussi :

Dell et NVIDIA s'associent pour construire une usine d'IA pour la startup xAI d'Elon Musk, suscitant des inquiétudes quant à la gestion transparente et responsable des ressources allouées

xAI, la société d'intelligence artificielle fondée par Elon Musk, va construire le plus grand supercalculateur du monde à Memphis

OpenAI, xAI, Google, Meta et d'autres entreprises d'IA s'engagent sur la sécurité, promettant de ne pas déployer d'IA si les risques graves ne peuvent pas être pris en compte et atténués