Google publie de nouveaux détails concernant son supercalculateur d'IA

Et précise que ses puces sont 1,7 fois plus rapides et 1,9 fois plus économes en énergie que la puce A100 de NVIDIA

Google publie de nouveaux détails concernant son supercalculateur d'IA, et précise que ses puces sont 1,7 fois plus rapides et 1,9 fois plus économes en énergie que la puce A100 de NVIDIA

Google, la société d'Alphabet Inc., a publié, le mardi 4 avril, de nouveaux détails sur les superordinateurs qu'elle utilise pour former ses modèles d'intelligence artificielle, affirmant que les systèmes sont à la fois plus rapides et plus économes en énergie que les systèmes comparables de NVIDIA Corp.

Google a conçu sa propre puce personnalisée, appelée Tensor Processing Unit (TPU). Il utilise ces puces pour plus de 90 % de son travail de formation à l'intelligence artificielle, c'est-à-dire pour alimenter les modèles en données afin de les rendre utiles pour des tâches telles que répondre à des requêtes avec un texte semblable à celui d'un humain ou générer des images. La TPU de Google en est à sa quatrième génération. Google a publié mardi un article scientifique décrivant comment il a réuni plus de 4 000 de ces puces en un superordinateur en utilisant ses propres commutateurs optiques développés sur mesure pour aider à connecter les machines individuelles.

L'amélioration de ces connexions est devenue un élément clé de la concurrence entre les entreprises qui construisent des superordinateurs d'IA, car les modèles de langage de grande taille qui alimentent des technologies telles que Bard de Google ou ChatGPT d'OpenAI ont explosé en taille, ce qui signifie qu'ils sont beaucoup trop volumineux pour être stockés sur une seule puce. Les modèles doivent donc être répartis sur des milliers de puces, qui doivent ensuite travailler ensemble pendant des semaines ou plus pour former le modèle. Le modèle PaLM de Google - le plus grand modèle de langage divulgué publiquement à ce jour - a été formé en le répartissant sur deux superordinateurs de 4 000 puces pendant 50 jours.


Google explique que ses superordinateurs permettent de reconfigurer facilement les connexions entre les puces à la volée, ce qui permet d'éviter les problèmes et d'améliorer les performances.

"La commutation de circuits permet de contourner facilement les composants défaillants", ont écrit Norm Jouppi, membre de Google, et David Patterson, ingénieur émérite de Google, dans un billet de blog consacré au système. "Cette flexibilité nous permet même de modifier la topologie de l'interconnexion du supercalculateur pour accélérer les performances d'un modèle d'apprentissage automatique."

Bien que Google ne dévoile que maintenant les détails de son supercalculateur, celui-ci est en ligne au sein de l'entreprise depuis 2020 dans un centre de données à Mayes County, dans l'Oklahoma. Google a indiqué que la startup Midjourney a utilisé le système pour entraîner son modèle, qui génère des images fraîches après avoir été alimenté par quelques mots de texte.

Dans son article, Google indique que pour des systèmes de taille comparable, ses puces sont jusqu'à 1,7 fois plus rapides et 1,9 fois plus économes en énergie qu'un système basé sur la puce A100 de NVIDIA qui était sur le marché en même temps que la TPU de quatrième génération.

Google a déclaré qu'il n'avait pas comparé sa quatrième génération à la puce phare H100 de NVIDIA, car cette dernière est arrivée sur le marché après la puce de Google et est fabriquée avec une technologie plus récente.

Google a laissé entendre qu'il pourrait travailler sur une nouvelle TPU qui rivaliserait avec la H100 de NVIDIA, mais n'a fourni aucun détail.

Source : Article intitulé "TPU v4: An Optically Reconfigurable Supercomputer for Machine Learning with Hardware Support for Embeddings" publié sur Arxiv.org

Et vous ?

Quel est votre avis sur le sujet ?

Selon vous, la vitesse à laquelle les systèmes d'IA évoluent représente-t-elle une opportunité ou une menace ?

D'après vous, quelles nouveautés nous réservent les prochaines années concernant le domaine de l'IA ?

Voir aussi

Google utilise l'intelligence artificielle pour concevoir des puces plus efficaces et moins gourmandes en énergie qui accéléreront le développement de l'IA, selon l'entreprise

Google affirme que son IA est plus rapide et plus performante que les humains pour concevoir des puces pour l'IA, elle conçoit une puce en moins de 6 heures, ce qui prendrait des mois aux humains

Google dévoile Bard, sa réponse à l'intelligence artificielle ChatGPT de l'entreprise OpenAI annoncée comme une menace pour l'existence de son moteur de recherches

NVIDIA se tourne vers la location de supercalculateurs d'IA à partir du cloud pour diffuser sa nouvelle technologie, et facture ce service à 37 000 dollars par mois pour huit puces A100 ou H100