L’Argonne National Laboratory (ANL) et Intel créent un modèle d’IA générative appelé AuroraGPT, qui sera entraîné sur le superordinateur Aurora avec des données scientifiques. Le modèle aura une interface de chatbot et pourra répondre aux questions des chercheurs dans divers domaines de la science. La formation du modèle à 1000 milliards de paramètres vient de commencer et pourrait prendre des mois. Le modèle utilise le logiciel Megatron/DeepSpeed de Microsoft et les GPU Ponte Vecchio d’Intel, qui offrent de hautes performances et une mise à l’échelle linéaire.Avec plus d’un demi exaflop de performance, le superordinateur Aurora sert à entraîner le modèle. Il utilise les GPU Ponte Vecchio d’Intel, qui sont la source principale de la puissance de calcul. « Il combine tous les textes, codes, résultats scientifiques spécifiques, articles, dans un modèle que la science peut utiliser pour accélérer la recherche », a déclaré Ogi Brkic, vice-président et directeur général des centres de données et des solutions HPC, lors d'une conférence de presse.
Brkic a appelé le modèle « ScienceGPT », indiquant qu'il aura une interface de chatbot, et que les chercheurs pourront soumettre des questions et obtenir des réponses. Les chatbots pourraient être utiles dans de nombreux domaines de la recherche scientifique, notamment la biologie, la recherche sur le cancer et le changement climatique.
Sous le nom de « Aurora GenAI », Intel a lancé en mai une collection de LLM (grands modèles de langage). Le projet d’Intel utilise le nouveau supercalculateur Aurora de l’entreprise, qui a une capacité de 1 000 milliards de paramètres. C'est plus de 5 fois le nombre de paramètres de ChatGPT (175 milliards). Mais contrairement à ChatGPT, Aurora GenAI est exclusivement conçu pour la communauté de la recherche scientifique afin d'aider les chercheurs.
Aurora a été installé à l'Argonne Leadership Computing Facility (ALCF), une installation utilisateur de l'Office of Science du ministère de l'énergie au Laboratoire national d'Argonne. Selon l’ANL, Aurora se distingue notamment par sa capacité à intégrer de manière transparente les outils scientifiques importants que sont l'analyse des données, la modélisation et la simulation, ainsi que l'intelligence artificielle.
Grâce à toutes ces capacités réunies dans une seule machine, Argonne permettra aux chercheurs du monde entier de construire des modèles infiniment plus précis dans divers domaines scientifiques, du climat à la science des matériaux, en passant par le stockage de l'énergie et l'énergie de fusion. L'entraînement d'un modèle avec des données complexes peut prendre du temps et nécessiter d'énormes ressources informatiques. L'ANL et Intel en sont aux premiers stades de test du matériel avant de mettre le modèle en mode d'entraînement complet.
Bien qu'il fonctionne comme ChatGPT, on ne sait pas encore si le modèle génératif sera multimodal ou s'il générera des images et des vidéos. L'inférence constituera également une part importante du système, les scientifiques cherchant des réponses auprès du chatbot et alimentant le modèle avec davantage d'informations. La formation d'AuroraGPT vient de commencer et pourrait prendre des mois. L'entraînement est actuellement limité à 256 nœuds, qui seront ensuite étendus à tous les nœuds - environ 10 000 - du supercalculateur Aurora.
OpenAI n'a pas donné de détails sur la durée de l'entraînement de GPT-4, qui se déroule sur des GPU Nvidia. En mai, Google a déclaré qu'il entraînait son prochain modèle de langage de grande taille appelé Gemini, ce qui se produit probablement sur ses TPU.
La principale difficulté liée à la formation de modèles linguistiques de grande taille réside dans les besoins en mémoire et, dans la plupart des cas, la formation doit être découpée en petits morceaux sur un large éventail de GPU. L'AuroraGPT est activé par Megatron/DeepSpeed de Microsoft, qui fait exactement cela et garantit que la formation se déroule en parallèle.
La construction du supercalculateur Aurora s'est achevée fin juin. Il s'agit d'un système de grande envergure comprenant 166 racks, 10 624 lames de calcul, 21 248 CPU Max Series et 63 744 GPU Max Series, ce qui en fait l'un des plus grands clusters GPU au monde. Des progrès significatifs ont été réalisés dans le programme scientifique d'Argonne, qui se concentre sur les applications HPC et IA dans la recherche scientifique.
De récentes réussites - telles que l'élucidation des mystères de la science moléculaire avec le General Atomic and Molecular Electronic Structure System (GAMESS) et la reconstruction à grande échelle du connectome cérébral avec Connectomics ML - seront présentées au SC23. Intel, Argonne et HPE travaillent sur la validation, la vérification et la mise à l'échelle du système pour déployer Aurora auprès des utilisateurs en 2024. Aurora est un supercalculateur unique en son genre, destiné à transformer le progrès scientifique grâce à des technologies de pointe.
L'AuroraGPT du laboratoire national d'Argonne, en collaboration avec Intel et des instituts de recherche internationaux, représente une avancée significative dans le monde de l'IA scientifique. Cette entreprise a le potentiel de remodeler les méthodologies de recherche et d'accélérer les découvertes scientifiques dans de nombreux domaines, offrant des opportunités intéressantes pour les entreprises et les institutions impliquées dans les marchés de l'IA et du calcul à haute performance.
Le modèle AuroraGPT est un exemple de l’utilisation de l’IA pour résoudre des problèmes scientifiques complexes. Il est intéressant de voir comment les avancées technologiques peuvent aider les chercheurs à accélérer leur travail et à obtenir des résultats plus précis. Cependant, il est important de noter que l’IA ne peut pas remplacer complètement les chercheurs humains. Les chercheurs doivent toujours être impliqués dans le processus de recherche et de développement pour garantir que les résultats sont fiables et précis.
En fin de compte, je pense que le modèle AuroraGPT est une avancée passionnante dans le domaine de l’IA et de la science. Il sera intéressant de voir comment il sera utilisé et comment il pourra aider les chercheurs à résoudre des problèmes scientifiques complexes à l’avenir.
Source : Argonne
Et vous ?
Quels sont selon vous, les avantages et les inconvénients d’utiliser un modèle d’IA générative pour répondre aux questions des chercheurs dans divers domaines de la science ? Comment le modèle AuroraGPT peut-il être comparé à d’autres modèles d’IA générative existants ou en développement, tels que GPT-3, GPT-4 ou GPT-Neo ?Voir aussi :
Intel annonce un concurrent de ChatGPT appelé Aurora GenAI qui est doté de 1 000 milliards de paramètres, il est cinq fois plus grand que ChatGPT qui compte 175 milliards de paramètres Le prochain GPU d'Intel, appelé Ponte Vecchio, sera compatible avec ARM, alors que l'héritage européen d'ARM est en train de s'effriter