Le grand modèle de langage MoE LongCat-2.0 s'affranchit de Nvidia en étant entraîné exclusivement avec des puces chinoises

Un modèle de 1 600 milliards de paramètres, le moteur de calcul derrière "Owl Alpha"

le géant de la livraison de repas Meituan a dévoilé ce qu’il présente comme le plus grand modèle d’intelligence artificielle du pays, entièrement entraîné sur du matériel développé localement. Le géant des services à la demande a récemment mis en open source LongCat-2.0, un nouveau grand modèle de langage (LLM) comptant 1 600 milliards de paramètres et une fenêtre contextuelle d’un million de tokens. Selon Meituan, LongCat-2.0 a fait preuve de solides capacités dans les tâches de codage et les tâches agentiques. Le modèle a surpassé l’ancien Gemini 3.1 Pro de Google sur plusieurs benchmarks, notamment Terminal-Bench 2.1 et SWE-Bench Pro, tout en reconnaissant que LongCat-2.0 restait toutefois en retrait par rapport aux modèles de pointe mondiaux tels que le GPT-5.5 d’OpenAI et le Claude 4.8 Opus d’Anthropic.

Meituan est une entreprise technologique chinoise qui exploite une plateforme de services locaux, notamment la livraison de repas à la demande, les services en magasin et les avis de consommateurs sous la marque Dazhong Dianping, ainsi que la réservation d’hôtels et de voyages et la vente au détail instantanée. L'entreprise, dont le siège social est situé à Pékin, a été fondée en 2010 par Wang Xing. Elle a fait son entrée en bourse à la Bourse de Hong Kong en septembre 2018.

Alors que la Chine tente d’aller au-delà de l’utilisation exclusive de puces nationales pour l’inférence des modèles IA, le géant de la livraison de repas Meituan a dévoilé ce qu’il présente comme le plus grand modèle d’intelligence artificielle du pays, entièrement entraîné sur du matériel développé localement. Le géant des services à la demande, basé à Pékin, a récemment mis en open source LongCat-2.0, un nouveau grand modèle de langage (LLM) comptant 1 600 milliards de paramètres et une fenêtre contextuelle d’un million de tokens. Cette envergure le place au même niveau que le dernier modèle phare de DeepSeek, le V4-pro, lancé en avril.

Meituan a affirmé que LongCat-2.0 était le premier modèle de l’industrie comptant un millier de milliards de paramètres à avoir mené à bien l’ensemble du processus d’entraînement et d’inférence sur un cluster de calcul national composé de 50 000 cartes. Alors que DeepSeek-V4-pro s’appuyait exclusivement sur des puces développées en interne pour l’inférence – le processus au cours duquel un modèle pré-entraîné est exécuté pour répondre aux requêtes des utilisateurs –, LongCat-2.0 a utilisé du matériel national tant pour l’inférence que pour le pré-entraînement, selon Meituan.

Le pré-entraînement est un processus bien plus gourmand en ressources de calcul, au cours duquel un modèle d’IA analyse d’énormes ensembles de données pour en dégager des schémas de base. Meituan a déclaré que LongCat-2.0 avait été entièrement construit sur la base de « clusters à grande échelle composés de dizaines de milliers de superpods ASIC dédiés à l’IA », démontrant ainsi sa capacité à « mener un entraînement à l’échelle de pointe sur des plateformes matérielles alternatives ». Un ASIC, ou circuit intégré spécifique à une application, est une puce personnalisée pour des charges de travail spécifiques, par opposition à un processeur à usage général.


LongCat-2.0 s'affranchit de Nvidia en étant entraîné exclusivement avec des puces chinoises

Bien que Meituan n’ait pas explicitement nommé son fournisseur de matériel, la société a indiqué dans un message publié sur WeChat qu’elle avait utilisé la bibliothèque de communication collective de Huawei (HCCL) pour améliorer la stabilité de l’entraînement. L’HCCL est un système de communication entre puces similaire à la bibliothèque de communication collective de Nvidia (NCCL).

Les puces d’IA développées en Chine ont été largement adoptées pour l’inférence de modèles dans le cadre de la volonté de Pékin de parvenir à l’autonomie technologique. Cependant, le matériel local a longtemps été considéré comme insuffisant pour le pré-entraînement des LLM, et la plupart des modèles chinois entraînés sur du matériel national étaient de petite taille ou limités à des tâches multimodales.

La percée de Meituan a immédiatement attiré l’attention des observateurs du secteur. « Cela a dissipé toutes les inquiétudes concernant l’incapacité des SuperPoDs Atlas-950 à entraîner de grands modèles de langage (LLM) pour [Zhipu AI] et DeepSeek », a déclaré TP Huang, éminent analyste technologique, dans un message publié sur la plateforme de réseaux sociaux X, faisant référence aux produits de clusters de calcul dévoilés par Huawei sur le marché national l’année dernière et à l’étranger en mars. « Des performances proches de la pointe, obtenues grâce à un entraînement sur 50 000 accélérateurs chinois », a déclaré sur X Hanchi Sun, doctorant en informatique à l’université de Lehigh spécialisé dans la recherche sur les LLM. « C’est une première absolue ! »

Selon Meituan, LongCat-2.0 a fait preuve de solides capacités dans les tâches de codage et les tâches agentiques. Le modèle a surpassé l’ancien Gemini 3.1 Pro de Google sur plusieurs benchmarks, notamment Terminal-Bench 2.1 et SWE-Bench Pro, a indiqué Meituan, tout en reconnaissant que LongCat-2.0 restait toutefois en retrait par rapport aux modèles de pointe mondiaux tels que le GPT-5.5 d’OpenAI et le Claude 4.8 Opus d’Anthropic. Le nouveau modèle de Meituan n’a pas encore été évalué sur des benchmarks de référence tels qu’Artificial Analysis et Arena, ni sur des tests de pointe comme Agents’ Last Exam et CyberGym.

Malgré cette avancée majeure, Meituan a déclaré qu’elle devait encore surmonter des obstacles de taille pour contourner les processeurs graphiques (GPU) occidentaux. « Par rapport à l’écosystème mature des GPU Nvidia, la communauté des logiciels de support est encore moins développée », a indiqué l’entreprise dans un rapport technique accompagnant le lancement. Le pré-entraînement du modèle sur un cluster de plus de 50 000 puces a posé « d’importants défis au niveau du système en raison de l’échelle du modèle et du cluster », a précisé l’entreprise, ajoutant que la mémoire constituait le « principal goulot d’étranglement ».

Meituan a indiqué que ses accélérateurs fabriqués en Chine disposaient d’une mémoire par appareil nettement inférieure à celle de la puce H800 de Nvidia, dont l’exportation vers la Chine est interdite en vertu de la réglementation américaine. Pour surmonter ces contraintes, le géant de la livraison a déclaré avoir dû « consacrer des efforts considérables à la mise en place d’une infrastructure stable, sécurisée et évolutive », en déployant toute une série de mesures d’optimisation.


Voici un extrait de l'annonce de LongCat-2.0 :

Présentation de LongCat-2.0

Nous présentons LongCat-2.0, un grand modèle de langage MoE dont le code source est désormais open source, comptant 1 600 milliards de paramètres au total et environ 48 milliards de paramètres activés par token — ce qui représente une avancée considérable par rapport aux modèles LongCat précédents, accompagnée de plusieurs améliorations architecturales.

Tant le cycle d’entraînement complet que le déploiement à grande échelle s’appuient entièrement sur des superpods ASIC dédiés à l’IA. Le pré-entraînement s’étend sur des millions de jours-accélérateur, couvrant plus de 35 000 milliards de tokens, sans aucun retour en arrière ni pic de perte irrécupérable — ce qui démontre notre capacité à mener un entraînement à l’échelle de pointe sur des plateformes matérielles alternatives.

Afin de renforcer le modèle sur les tâches à long terme, nous introduisons le « LongCat Sparse Attention » et entraînons LongCat-2.0 sur des centaines de milliards de tokens de données à contexte de 1 million. Associé à un post-entraînement dédié, cela confère à LongCat-2.0 de solides performances dans les tâches de codage et les tâches agentiques.

LongCat-2.0 est profondément intégré aux harnesses courants tels que Claude Code, OpenClaw et Hermes, offrant de solides performances en matière de compréhension du code, de modifications au niveau du référentiel, d’exécution automatisée des tâches et de workflows agentiques — offrant ainsi aux développeurs une expérience collaborative plus stable et plus efficace.


Architecture

Notre conception architecturale s’appuie sur LongCat-Flash, en poussant plus loin l’efficacité des paramètres et en améliorant la vitesse de l’entraînement et de l’inférence sur des contextes longs. Pour l’attention, nous introduisons LongCat Sparse Attention (LSA) — une évolution de DeepSeek Sparse Attention dotée d’un indexeur plus léger qui accélère le traitement des contextes longs sans sacrifier la qualité du modèle. Pour tirer le meilleur parti de chaque paramètre, nous ajoutons un module d’intégration N-gram qui multiplie par environ 100 l’espace d’intégration grâce à des combinaisons de tokens N-gram, capturant ainsi un contexte local plus riche et renforçant les représentations au niveau des tokens.

LongCat Sparse Attention

L’essor des applications agentiques pousse les LLM vers un traitement efficace des entrées longues. DSA répond à ce défi grâce à une attention clairsemée à granularité fine. Cependant, notre analyse montre que l’indexeur Lightning de DSA reste un goulot d’étranglement majeur en raison de la discontinuité des sorties et du coût quadratique de l’évaluation. Pour y remédier, l’attention clairsemée LongCat (LSA) apporte trois améliorations orthogonales en termes d’efficacité à l’indexeur.

- L’indexation sensible au streaming (SI) redéfinit le budget de sélection des tokens afin de combiner un accès contigu adapté au matériel avec une sélection aléatoire dynamique. Cela transforme les accès mémoire fragmentés en lectures séquentielles prévisibles, permettant ainsi un accès HBM fusionné et une bande passante effective élevée.

- L’indexation intercouches (CLI) exploite la stabilité empirique de la saillance de l’attention entre couches adjacentes pour amortir le coût d’indexation : un seul passage d’indexation dessert plusieurs couches consécutives au moment de l’inférence, ce qui est rendu possible par la distillation intercouches pendant l’entraînement.

- L’indexation hiérarchique (HI) utilise un schéma de notation en deux étapes, allant du plus grossier au plus fin : d’abord un rappel grossier via une notation approximative au niveau des blocs, puis une sélection fine des tokens parmi les candidats rappelés, ce qui réduit l’espace des candidats que l’indexeur doit traiter par requête. Dans LongCat-2.0, l’indexation hiérarchique est appliquée sans apprentissage et activée pour certaines tâches à contexte ultra-long.

Ces trois composants sont orthogonaux de par leur conception, ce qui permet de les activer ou de les désactiver indépendamment les uns des autres. L’architecture intégrée est illustrée dans la figure ci-dessous.


Nous étendons ces trois stratégies au module de prédiction multi-tokens (MTP) en trois étapes afin d’accélérer le décodage spéculatif. L’indexation intercouches est appliquée différemment dans les modèles « draft » et « target » : dans le modèle « target », deux couches consécutives partagent un seul passage d’indexation, tandis que dans le MTP en plusieurs étapes, les trois étapes « draft » partagent un seul passage, les étapes 2 et 3 réutilisant l’ensemble d’index généré à l’étape 1.

Représentation par N-grammes

LongCat-2.0 hérite de la représentation par N-grammes de LongCat-Flash-Lite, améliorant l’efficacité d’utilisation des paramètres en étendant ces derniers dans des dimensions clairsemées orthogonales au MoE. Pour s’adapter à l’échelle massive de LongCat-2.0, la taille des N-grammes est fixée à 5, et 135 milliards de paramètres de représentation par N-grammes sont inclus dans le modèle, qui respecte les principes de mise à l’échelle suivants :

- La parcimonie de MoE a dépassé le point optimal. Étant donné que la parcimonie du modèle atteint déjà environ 97 % même sans tenir compte de l’intégration N-gram, le gain de performance résultant de l’augmentation du nombre d’experts de 135 milliards de paramètres est négligeable. En revanche, une intégration N-gram d’une échelle de paramètres équivalente apporte des avantages bien supérieurs à ceux des experts standard.

- La proportion de l’intégration N-gram est limitée à une plage optimale. Des expériences de mise à l’échelle révèlent que lorsque les paramètres d’intégration N-gram occupent une part excessive du budget total de paramètres (plus de 50 %), leur avantage par rapport à l’augmentation du nombre d’experts diminue. Dans LongCat-2.0, cette proportion est strictement maintenue en dessous de 10 %, ce qui reste largement dans une marge de sécurité.

Ces deux principes garantissent la supériorité incontestable de l’intégration N-gram par rapport à des modèles MoE purs de taille équivalente. Pour l’inférence, le transfert des paramètres des experts vers l’intégration N-gram réduit les E/S mémoire liées au décodage de lots volumineux, accélérant ainsi la génération.


Apprendre auprès de plusieurs enseignants

Afin d’améliorer les performances globales du modèle et d’étendre ses capacités, nous introduisons dans le pipeline post-entraînement une conception spécialisée de groupes d’experts, organisée en trois catégories : les experts en agents, les experts en raisonnement et les experts en interaction.

- Les experts en agents se concentrent sur l’amélioration de l’exécution autonome des tâches dans des scénarios complexes du monde réel. Ils atteignent des performances de pointe (SOTA) dans des domaines verticaux très spécialisés tels que le codage, le travail et la recherche. Pendant l’entraînement, nous optimisons non seulement les taux de réussite des tâches de bout en bout, mais aussi les capacités élémentaires qui sous-tendent la robustesse des agents, notamment l’invocation précise d’outils, l’analyse fiable des paramètres dans les interactions API à plusieurs tours, et les mécanismes d’autocorrection qui atténuent les boucles infinies et les appels répétitifs.

- Les experts en raisonnement étendent la profondeur du raisonnement logique du modèle et permettent un calcul adaptatif en fonction de la difficulté du problème. Ces experts offrent de solides performances en mathématiques, en résolution de problèmes STEM et dans les tâches de raisonnement à plusieurs étapes, améliorant ainsi la capacité du modèle à gérer des scénarios analytiques complexes.

- Les experts en interaction se concentrent sur l’alignement avec l’humain et l’optimisation de l’expérience utilisateur. Ils améliorent le suivi minutieux des instructions dans diverses applications, limitent les « hallucinations factuelles » grâce à des techniques d’alignement avancées et mettent en place des mécanismes de sécurité bien délimités sans compromettre l’utilité du modèle.

Enfin, nous adoptons...