Meta dévoile un nouveau superordinateur d'IA appelé "AI Research SuperCluster",

Qui devrait devenir le supercalculateur d'IA le plus rapide du monde

Le 25 janvier 2022 à 14:48, par Bill Fassinou

153PARTAGES

Meta Platforms Inc., la société mère de Facebook, a annoncé lundi que son équipe de recherche a construit un nouveau superordinateur d'intelligence artificielle (IA) qui, selon elle, sera le plus rapide du monde lorsqu'il sera achevé à la mi-2022. Baptisé "AI Research SuperCluster" (RSC), le supercalculateur devrait aider l'entreprise à construire de meilleurs modèles d'intelligence artificielle capables d'apprendre à partir de milliers de milliards d'exemples, de travailler dans des centaines de langues et d'analyser ensemble du texte, des images et des vidéos pour déterminer si le contenu est nuisible.

Le RSC serait le résultat de près de deux ans de travail, souvent mené à distance au plus fort de la pandémie, et dirigé par les équipes d'IA et d'infrastructure de Meta. L'entreprise a précisé que plusieurs centaines de personnes, dont des chercheurs des partenaires comme Nvidia, Penguin Computing et Pure Storage, ont participé au projet. Meta, qui a annoncé la nouvelle dans un billet de blogue lundi, a déclaré que son équipe de recherche utilise actuellement le superordinateur pour former des modèles d'IA dans le traitement du langage naturel (NLP - Natural Language Processing) et la vision par ordinateur pour la recherche.

Selon la société, l'objectif est d'augmenter les capacités afin de former un jour des modèles avec plus de 1 000 milliards de paramètres sur des ensembles de données aussi grands qu'un exaoctet (soit 1 000 pétaoctets ou un milliard de gigaoctets), ce qui équivaut à peu près à 36 000 ans de vidéo de haute qualité. Le supercalculateur d'IA de Meta abrite 6 080 GPU de type Nvidia A100, ce qui le place au cinquième rang des supercalculateurs les plus rapides au monde. Plus en détail, RSC comprend 760 DGX A100, chacun avec huit A100, soit un total de 6 080 GPU. Les DGX communiquent via des liens InfiniBand à 1 600 Gb/s, soit 200 Gb/s par GPU.

Mais l'entreprise estime que, d'ici le milieu de l'été, lorsqu'il sera entièrement construit, il abritera quelque 16 000 GPU, devenant ainsi le superordinateur d'IA le plus rapide au monde, avec une puissance de calcul « d’environ 5 exaflops en précision mixte ». RSC deviendrait plus puissant que Fugaku, l’actuel numéro un du TOP 500 des plus grands supercalculateurs du monde. Fugaku est un supercalculateur de l’institut de recherche japonais Riken, affichant une puissance de calcul maximale de 442010 téraflops en haute précision (64 bits), mais peut dépasser l’exaflops en précision mixte (32 ou 16 bits). RSC devrait avoir une capacité de stockage de 231 pétaoctets.

Le géant des médias sociaux a refusé de commenter l'emplacement de l'installation ou son coût. « Pour nous, il s'agit d'un ordre de grandeur supérieur de calcul qui est disponible pour nos chercheurs pour former un seul modèle avec beaucoup plus de calcul que ce à quoi n'importe qui d'autre dans le monde a accès. Nous pensons que cela va vraiment débloquer une IA qui comprend beaucoup mieux le monde qui vous entoure », a déclaré Jerome Pesenti, vice-président de l'IA chez Meta, dans une interview. Les critiques estiment qu'une infrastructure HPC de cette envergure est nécessaire pour gérer le volume de données dont Facebook a besoin.

« En ce qui concerne Facebook, je soupçonne que ce qu'ils recherchent, c'est le trésor qu'ils ont des données qu'ils obtiennent de leurs utilisateurs, et c'est un énorme ensemble de données, trop grand pour la plupart des systèmes d'intelligence artificielle que les chercheurs utilisent généralement », a déclaré Bill Gropp, directeur du National Center for Supercomputing Applications (NCSA) de l'université de l'Illinois à Urbana-Champaign. Toutefois, Pesenti a déclaré que le nouveau superordinateur de Meta est actuellement utilisé à des fins de recherche et il est peu probable que des produits en découlent avant des années.

Selon lui, l'objectif est d'ingérer de grandes quantités de données pour construire des modèles d'IA capables de penser comme un cerveau humain, avec des entrées multiples, comme la reconnaissance vocale et visuelle, et de fournir une compréhension contextuelle des situations. Plus précisément, Meta a déclaré dans le billet de blogue qu'à terme, le nouveau supercalculateur aidera ses scientifiques à construire des modèles d'IA capables de fonctionner dans des centaines de langues, d'analyser à la fois des textes, des images et des vidéos et de développer des outils de réalité augmentée.

Cependant, il ne faut pas oublier la nouvelle orientation de l'entreprise : le métavers. La société de médias sociaux a changé son nom en Meta en octobre dernier afin de refléter son orientation vers le métavers, qu'elle pense être le successeur de l'Internet mobile ou la prochaine itération des plateformes de médias sociaux. Ainsi, le supercalculateur RSC aidera également Meta à identifier plus facilement les contenus préjudiciables et visera à aider les chercheurs de Meta à développer des modèles d'IA qui pensent comme le cerveau humain et permettent des expériences riches et multidimensionnelles dans le métavers.

« Les expériences que nous créons pour le métavers exigent une énorme puissance de calcul (des quintillions d'opérations par seconde !) et RSC permettra de créer de nouveaux modèles d'IA capable d'apprendre à partir de trillions d'exemples, de comprendre des centaines de langues, et plus encore », a déclaré Mark Zuckerberg, PDG de Meta, dans un message publié lundi sur Facebook.

Le métavers, qui suscite beaucoup d'intérêt dans l'industrie, renvoie à l'idée d'environnements virtuels partagés auxquels les gens peuvent accéder par le biais de différents appareils et où ils peuvent travailler, jouer et se rencontrer. « Dans le métavers, c'est cent pour cent du temps, une expérience multisensorielle en 3D, et vous devez créer des agents d'intelligence artificielle dans cet environnement qui sont pertinents pour vous », a déclaré Pesenti.

Source : Meta

Et vous ?