Mark Zuckerberg, PDG de Meta, pense que la limite de mise à l'échelle des systèmes d'IA "n'arrivera pas de si tôt". Pour lui, l'un des aspects intéressants de ces nouvelles architectures basées sur des transformateurs, c'est qu'on n'a pas encore trouvé la fin. Il affirme que les infrastructures avec plus de GPU va continuer à s'étendre pendant un certain temps.Le 25 septembre 2024, Meta a publié Llama 3.2, qui comprend des LLM de vision de petite et moyenne taille (11B et 90B), ainsi que des modèles légers de texte uniquement (1B et 3B) qui s'adaptent aux périphériques et aux appareils mobiles, y compris des versions pré-entraînées et ajustées en fonction des instructions. Les deux plus grands modèles de la collection Llama 3.2, 11B et 90B, prennent en charge les cas d'utilisation du raisonnement à partir d'images. Les modèles légers 1B et 3B proposent une grande confidentialité car les données ne quittent jamais l'appareil.
L'évaluation suggère que les modèles de vision Llama 3.2 sont compétitifs par rapport aux principaux modèles de base, Claude 3 Haiku et GPT4o-mini, pour la reconnaissance d'images et une série de tâches de compréhension visuelle. Le modèle 3B surpasse les modèles Gemma 2 2.6B et Phi 3.5-mini dans des tâches telles que le suivi d'instructions, le résumé, la réécriture d'invites et l'utilisation d'outils, tandis que le modèle 1B est compétitif par rapport à Gemma.
Mark Zuckerberg a également partagé son avis sur le futur de l'IA. Il parie que la limite de la mise à l'échelle des systèmes d'IA "n'arrivera pas de si tôt", puisque Llama 4 s'entraînera sur plus de 100 000 GPU et Llama 5 sur encore plus de GPU. Voici sa déclaration :
Il existe actuellement un ensemble de méthodes qui semblent très bien s'adapter. Avec les anciennes architectures d'IA, vous pouviez alimenter un système d'IA avec une certaine quantité de données et utiliser une certaine quantité de calcul, mais il finissait par atteindre un plateau. Et l'un des aspects intéressants de ces nouvelles architectures basées sur des transformateurs au cours des 5 à 10 dernières années, c'est que nous n'avons pas encore trouvé la fin.
Cela conduit à cette dynamique où Llama 3 pourrait s'entraîner sur 10 000 à 20 000 GPU, LLama 4 pourrait s'entraîner sur plus de 100 000 GPU, Llama 5 pourrait s'étendre encore plus et il est intéressant de savoir jusqu'où cela va aller. Il est tout à fait possible qu'à un moment donné, nous atteignions une limite. Et comme pour les systèmes précédents, il y a une asymptote et la croissance ne se poursuit pas.
Mais il est également possible que la limite ne soit pas atteinte de sitôt et que nous puissions continuer à construire plus de clusters et à générer plus de données synthétiques pour entraîner les systèmes, et qu'ils continuent à devenir de plus en plus utiles pour les gens pendant un certain temps encore. Et il s'agit de centaines de milliards de dollars d'infrastructures. Je parie donc clairement que cela va continuer à s'étendre pendant un certain temps.
Cela conduit à cette dynamique où Llama 3 pourrait s'entraîner sur 10 000 à 20 000 GPU, LLama 4 pourrait s'entraîner sur plus de 100 000 GPU, Llama 5 pourrait s'étendre encore plus et il est intéressant de savoir jusqu'où cela va aller. Il est tout à fait possible qu'à un moment donné, nous atteignions une limite. Et comme pour les systèmes précédents, il y a une asymptote et la croissance ne se poursuit pas.
Mais il est également possible que la limite ne soit pas atteinte de sitôt et que nous puissions continuer à construire plus de clusters et à générer plus de données synthétiques pour entraîner les systèmes, et qu'ils continuent à devenir de plus en plus utiles pour les gens pendant un certain temps encore. Et il s'agit de centaines de milliards de dollars d'infrastructures. Je parie donc clairement que cela va continuer à s'étendre pendant un certain temps.
Et vous ?Mark Zuckerberg says he is betting that the limit of scaling AI systems "is not going to happen any time soon", as Llama 4 will train on 100,000+ GPUs and Llama 5 even more than that pic.twitter.com/i7HA7r4MGe
— Tsarathustra (@tsarnick) September 26, 2024
Pensez-vous que ces déclarations sont crédibles ou pertinentes ? Quel est votre avis sur le sujet ?Voir aussi :
Construire l'infrastructure GenAI de Meta : la société partage les détails sur deux nouveaux clusters de 24 000 GPU qui ont été conçus pour soutenir la recherche et le développement en matière d'IA L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente : l'IA sera-t-elle à court de données ? Limites de la mise à l'échelle des LLM sur les données générées par l'homme Le PDG d'OpenAI estime que l'approche actuelle de l'IA va bientôt atteindre ses limites. La mise à l'échelle des modèles LLM cessera d'apporter des améliorations à l'IA, selon lui 
