Le grand modèle de langage MoE LongCat-2.0 s'affranchit de Nvidia en étant entraîné exclusivement avec des puces chinoises

Un modèle de 1 600 milliards de paramètres, le moteur de calcul derrière "Owl Alpha"

Le grand modèle de langage MoE LongCat-2.0 s'affranchit de Nvidia en étant entraîné exclusivement avec des puces chinoises, un modèle de 1 600 milliards de paramètres, le moteur de calcul derrière "Owl Alpha"

le géant de la livraison de repas Meituan a dévoilé ce qu’il présente comme le plus grand modèle d’intelligence artificielle du pays, entièrement entraîné sur du matériel développé localement. Le géant des services à la demande a récemment mis en open source LongCat-2.0, un nouveau grand modèle de langage (LLM) comptant 1 600 milliards de paramètres et une fenêtre contextuelle d’un million de tokens. Selon Meituan, LongCat-2.0 a fait preuve de solides capacités dans les tâches de codage et les tâches agentiques. Le modèle a surpassé l’ancien Gemini 3.1 Pro de Google sur plusieurs benchmarks, notamment Terminal-Bench 2.1 et SWE-Bench Pro, tout en reconnaissant que LongCat-2.0 restait toutefois en retrait par rapport aux modèles de pointe mondiaux tels que le GPT-5.5 d’OpenAI et le Claude 4.8 Opus d’Anthropic.

Meituan est une entreprise technologique chinoise qui exploite une plateforme de services locaux, notamment la livraison de repas à la demande, les services en magasin et les avis de consommateurs sous la marque Dazhong Dianping, ainsi que la réservation d’hôtels et de voyages et la vente au détail instantanée. L'entreprise, dont le siège social est situé à Pékin, a été fondée en 2010 par Wang Xing. Elle a fait son entrée en bourse à la Bourse de Hong Kong en septembre 2018.

Alors que la Chine tente d’aller au-delà de l’utilisation exclusive de puces nationales pour l’inférence des modèles IA, le géant de la livraison de repas Meituan a dévoilé ce qu’il présente comme le plus grand modèle d’intelligence artificielle du pays, entièrement entraîné sur du matériel développé localement. Le géant des services à la demande, basé à Pékin, a récemment mis en open source LongCat-2.0, un nouveau grand modèle de langage (LLM) comptant 1 600 milliards de paramètres et une fenêtre contextuelle d’un million de tokens. Cette envergure le place au même niveau que le dernier modèle phare de DeepSeek, le V4-pro, lancé en avril.

Meituan a affirmé que LongCat-2.0 était le premier modèle de l’industrie comptant un millier de milliards de paramètres à avoir mené à bien l’ensemble du processus d’entraînement et d’inférence sur un cluster de calcul national composé de 50 000 cartes. Alors que DeepSeek-V4-pro s’appuyait exclusivement sur des puces développées en interne pour l’inférence – le processus au cours duquel un modèle pré-entraîné est exécuté pour répondre aux requêtes des utilisateurs –, LongCat-2.0 a utilisé du matériel national tant pour l’inférence que pour le pré-entraînement, selon Meituan.

Le pré-entraînement est un processus bien plus gourmand en ressources de calcul, au cours duquel un modèle d’IA analyse d’énormes ensembles de données pour en dégager des schémas de base. Meituan a déclaré que LongCat-2.0 avait été entièrement construit sur la base de « clusters à grande échelle composés de dizaines de milliers de superpods ASIC dédiés à l’IA », démontrant ainsi sa capacité à « mener un entraînement à l’échelle de pointe sur des plateformes matérielles alternatives ». Un ASIC, ou circuit intégré spécifique à une application, est une puce personnalisée pour des charges de travail spécifiques, par opposition à un processeur à usage général.


LongCat-2.0 s'affranchit de Nvidia en étant entraîné exclusivement avec des puces chinoises

Bien que Meituan n’ait pas explicitement nommé son fournisseur de matériel, la société a indiqué dans un message publié sur WeChat qu’elle avait utilisé la bibliothèque de communication collective de Huawei (HCCL) pour améliorer la stabilité de l’entraînement. L’HCCL est un système de communication entre puces similaire à la bibliothèque de communication collective de Nvidia (NCCL).

Les puces d’IA développées en Chine ont été largement adoptées pour l’inférence de modèles dans le cadre de la volonté de Pékin de parvenir à l’autonomie technologique. Cependant, le matériel local a longtemps été considéré comme insuffisant pour le pré-entraînement des LLM, et la plupart des modèles chinois entraînés sur du matériel national étaient de petite taille ou limités à des tâches multimodales.

La percée de Meituan a immédiatement attiré l’attention des observateurs du secteur. « Cela a dissipé toutes les inquiétudes concernant l’incapacité des SuperPoDs Atlas-950 à entraîner de grands modèles de langage (LLM) pour [Zhipu AI] et DeepSeek », a déclaré TP Huang, éminent analyste technologique, dans un message publié sur la plateforme de réseaux sociaux X, faisant référence aux produits de clusters de calcul dévoilés par Huawei sur le marché national l’année dernière et à l’étranger en mars. « Des performances proches de la pointe, obtenues grâce à un entraînement sur 50 000 accélérateurs chinois », a déclaré sur X Hanchi Sun, doctorant en informatique à l’université de Lehigh spécialisé dans la recherche sur les LLM. « C’est une première absolue ! »

Selon Meituan, LongCat-2.0 a fait preuve de solides capacités dans les tâches de codage et les tâches agentiques. Le modèle a surpassé l’ancien Gemini 3.1 Pro de Google sur plusieurs benchmarks, notamment Terminal-Bench 2.1 et SWE-Bench Pro, a indiqué Meituan, tout en reconnaissant que LongCat-2.0 restait toutefois en retrait par rapport aux modèles de pointe mondiaux tels que le GPT-5.5 d’OpenAI et le Claude 4.8 Opus d’Anthropic. Le nouveau modèle de Meituan n’a pas encore été évalué sur des benchmarks de référence tels qu’Artificial Analysis et Arena, ni sur des tests de pointe comme Agents’ Last Exam et CyberGym.

Malgré cette avancée majeure, Meituan a déclaré qu’elle devait encore surmonter des obstacles de taille pour contourner les processeurs graphiques (GPU) occidentaux. « Par rapport à l’écosystème mature des GPU Nvidia, la communauté des logiciels de support est encore moins développée », a indiqué l’entreprise dans un rapport technique accompagnant le lancement. Le pré-entraînement du modèle sur un cluster de plus de 50 000 puces a posé « d’importants défis au niveau du système en raison de l’échelle du modèle et du cluster », a précisé l’entreprise, ajoutant que la mémoire constituait le « principal goulot d’étranglement ».

Meituan a indiqué que ses accélérateurs fabriqués en Chine disposaient d’une mémoire par appareil nettement inférieure à celle de la puce H800 de Nvidia, dont l’exportation vers la Chine est interdite en vertu de la réglementation américaine. Pour surmonter ces contraintes, le géant de la livraison a déclaré avoir dû « consacrer des efforts considérables à la mise en place d’une infrastructure stable, sécurisée et évolutive », en déployant toute une série de mesures d’optimisation.


Voici un extrait de l'annonce de LongCat-2.0 :

Présentation de LongCat-2.0

Nous présentons LongCat-2.0, un grand modèle de langage MoE dont le code source est désormais open source, comptant 1 600 milliards de paramètres au total et environ 48 milliards de paramètres activés par token — ce qui représente une avancée considérable par rapport aux modèles LongCat précédents, accompagnée de plusieurs améliorations architecturales.

Tant le cycle d’entraînement complet que le déploiement à grande échelle s’appuient entièrement sur des superpods ASIC dédiés à l’IA. Le pré-entraînement s’étend sur des millions de jours-accélérateur, couvrant plus de 35 000 milliards de tokens, sans aucun retour en arrière ni pic de perte irrécupérable — ce qui démontre notre capacité à mener un entraînement à l’échelle de pointe sur des plateformes matérielles alternatives.

Afin de renforcer le modèle sur les tâches à long terme, nous introduisons le « LongCat Sparse Attention » et entraînons LongCat-2.0 sur des centaines de milliards de tokens de données à contexte de 1 million. Associé à un post-entraînement dédié, cela confère à LongCat-2.0 de solides performances dans les tâches de codage et les tâches agentiques.

LongCat-2.0 est profondément intégré aux harnesses courants tels que Claude Code, OpenClaw et Hermes, offrant de solides performances en matière de compréhension du code, de modifications au niveau du référentiel, d’exécution automatisée des tâches et de workflows agentiques — offrant ainsi aux développeurs une expérience collaborative plus stable et plus efficace.


Architecture

Notre conception architecturale s’appuie sur LongCat-Flash, en poussant plus loin l’efficacité des paramètres et en améliorant la vitesse de l’entraînement et de l’inférence sur des contextes longs. Pour l’attention, nous introduisons LongCat Sparse Attention (LSA) — une évolution de DeepSeek Sparse Attention dotée d’un indexeur plus léger qui accélère le traitement des contextes longs sans sacrifier la qualité du modèle. Pour tirer le meilleur parti de chaque paramètre, nous ajoutons un module d’intégration N-gram qui multiplie par environ 100 l’espace d’intégration grâce à des combinaisons de tokens N-gram, capturant ainsi un contexte local plus riche et renforçant les représentations au niveau des tokens.

LongCat Sparse Attention

L’essor des applications agentiques pousse les LLM vers un traitement efficace des entrées longues. DSA répond à ce défi grâce à une attention clairsemée à granularité fine. Cependant, notre analyse montre que l’indexeur Lightning de DSA reste un goulot d’étranglement majeur en raison de la discontinuité des sorties et du coût quadratique de l’évaluation. Pour y remédier, l’attention clairsemée LongCat (LSA) apporte trois améliorations orthogonales en termes d’efficacité à l’indexeur.

- L’indexation sensible au streaming (SI) redéfinit le budget de sélection des tokens afin de combiner un accès contigu adapté au matériel avec une sélection aléatoire dynamique. Cela transforme les accès mémoire fragmentés en lectures séquentielles prévisibles, permettant ainsi un accès HBM fusionné et une bande passante effective élevée.

- L’indexation intercouches (CLI) exploite la stabilité empirique de la saillance de l’attention entre couches adjacentes pour amortir le coût d’indexation : un seul passage d’indexation dessert plusieurs couches consécutives au moment de l’inférence, ce qui est rendu possible par la distillation intercouches pendant l’entraînement.

- L’indexation hiérarchique (HI) utilise un schéma de notation en deux étapes, allant du plus grossier au plus fin : d’abord un rappel grossier via une notation approximative au niveau des blocs, puis une sélection fine des tokens parmi les candidats rappelés, ce qui réduit l’espace des candidats que l’indexeur doit traiter par requête. Dans LongCat-2.0, l’indexation hiérarchique est appliquée sans apprentissage et activée pour certaines tâches à contexte ultra-long.

Ces trois composants sont orthogonaux de par leur conception, ce qui permet de les activer ou de les désactiver indépendamment les uns des autres. L’architecture intégrée est illustrée dans la figure ci-dessous.


Nous étendons ces trois stratégies au module de prédiction multi-tokens (MTP) en trois étapes afin d’accélérer le décodage spéculatif. L’indexation intercouches est appliquée différemment dans les modèles « draft » et « target » : dans le modèle « target », deux couches consécutives partagent un seul passage d’indexation, tandis que dans le MTP en plusieurs étapes, les trois étapes « draft » partagent un seul passage, les étapes 2 et 3 réutilisant l’ensemble d’index généré à l’étape 1.

Représentation par N-grammes

LongCat-2.0 hérite de la représentation par N-grammes de LongCat-Flash-Lite, améliorant l’efficacité d’utilisation des paramètres en étendant ces derniers dans des dimensions clairsemées orthogonales au MoE. Pour s’adapter à l’échelle massive de LongCat-2.0, la taille des N-grammes est fixée à 5, et 135 milliards de paramètres de représentation par N-grammes sont inclus dans le modèle, qui respecte les principes de mise à l’échelle suivants :

- La parcimonie de MoE a dépassé le point optimal. Étant donné que la parcimonie du modèle atteint déjà environ 97 % même sans tenir compte de l’intégration N-gram, le gain de performance résultant de l’augmentation du nombre d’experts de 135 milliards de paramètres est négligeable. En revanche, une intégration N-gram d’une échelle de paramètres équivalente apporte des avantages bien supérieurs à ceux des experts standard.

- La proportion de l’intégration N-gram est limitée à une plage optimale. Des expériences de mise à l’échelle révèlent que lorsque les paramètres d’intégration N-gram occupent une part excessive du budget total de paramètres (plus de 50 %), leur avantage par rapport à l’augmentation du nombre d’experts diminue. Dans LongCat-2.0, cette proportion est strictement maintenue en dessous de 10 %, ce qui reste largement dans une marge de sécurité.

Ces deux principes garantissent la supériorité incontestable de l’intégration N-gram par rapport à des modèles MoE purs de taille équivalente. Pour l’inférence, le transfert des paramètres des experts vers l’intégration N-gram réduit les E/S mémoire liées au décodage de lots volumineux, accélérant ainsi la génération.


Apprendre auprès de plusieurs enseignants

Afin d’améliorer les performances globales du modèle et d’étendre ses capacités, nous introduisons dans le pipeline post-entraînement une conception spécialisée de groupes d’experts, organisée en trois catégories : les experts en agents, les experts en raisonnement et les experts en interaction.

- Les experts en agents se concentrent sur l’amélioration de l’exécution autonome des tâches dans des scénarios complexes du monde réel. Ils atteignent des performances de pointe (SOTA) dans des domaines verticaux très spécialisés tels que le codage, le travail et la recherche. Pendant l’entraînement, nous optimisons non seulement les taux de réussite des tâches de bout en bout, mais aussi les capacités élémentaires qui sous-tendent la robustesse des agents, notamment l’invocation précise d’outils, l’analyse fiable des paramètres dans les interactions API à plusieurs tours, et les mécanismes d’autocorrection qui atténuent les boucles infinies et les appels répétitifs.

- Les experts en raisonnement étendent la profondeur du raisonnement logique du modèle et permettent un calcul adaptatif en fonction de la difficulté du problème. Ces experts offrent de solides performances en mathématiques, en résolution de problèmes STEM et dans les tâches de raisonnement à plusieurs étapes, améliorant ainsi la capacité du modèle à gérer des scénarios analytiques complexes.

- Les experts en interaction se concentrent sur l’alignement avec l’humain et l’optimisation de l’expérience utilisateur. Ils améliorent le suivi minutieux des instructions dans diverses applications, limitent les « hallucinations factuelles » grâce à des techniques d’alignement avancées et mettent en place des mécanismes de sécurité bien délimités sans compromettre l’utilité du modèle.

Enfin, nous adoptons l’architecture MOPD pour intégrer les capacités les plus performantes de ces trois groupes d’experts. Cette fusion permet au modèle final de combiner une exécution agentique puissante, un raisonnement approfondi et une interaction de haute qualité, ce qui lui permet de comprendre avec précision les besoins complexes des utilisateurs et d’accomplir de manière fiable des tâches difficiles issues du monde réel.


Infrastructure évolutive sur des superpods ASIC IA

L’entraînement et le déploiement de LongCat-2.0 s’appuient sur des clusters à grande échelle composés de dizaines de milliers de superpods ASIC IA. Comparée à l’écosystème mature des GPU Nvidia, la communauté logicielle qui les soutient est encore moins développée. Nous avons donc consacré des efforts considérables à la mise en place d’une infrastructure stable, sécurisée et évolutive.

Entraînement

LongCat-2.0 est pré-entraîné sur plus de 50 000 ASIC d’IA, ce qui pose des défis importants au niveau du système en raison de l’échelle du modèle et du cluster. Nous relevons ces défis grâce à des optimisations systématiques, permettant d’améliorer le débit d’entraînement de plus de 35 % tout en renforçant la fiabilité par rapport à une implémentation naïve.

Déterminisme et fiabilité

Afin de garantir la reproductibilité en production, nous imposons le déterminisme à la fois sur les chemins de communication et de calcul, grâce à une suite d’opérateurs et de modules déterministes développés en interne couvrant les couches d’embedding, de FA, de LSA et de MoE.

Pour assurer la fiabilité numérique, nous avons retravaillé une série d’opérateurs fondamentaux afin d’améliorer la précision — par exemple, tous les opérateurs de type réduction adoptent une stratégie d’accumulation segmentée en arbre binaire pour réduire l’accumulation d’erreurs en virgule flottante. Nous validons en outre la précision de calcul de l’accélérateur sous des charges de travail LLM réelles par rapport à une référence stricte de haute précision, confirmant ainsi son intégrité arithmétique et son aptitude à la production, et nous introduisons la détection des inversions de bits dans certains opérateurs à forte intensité de calcul afin de détecter rapidement les anomalies causées par des inversions de bits matérielles.

En matière de récupération après défaillance, une surveillance de bout en bout permet l’identification des défaillances, la bascule du trafic et la récupération sans intervention manuelle ; l’isolation d’une liaison défaillante n’a aucun impact perceptible sur l’entraînement, et une liaison réparée ne se reconnecte qu’après avoir passé avec succès des tests de résistance.

Entraînement à grande échelle

Nos accélérateurs disposent d’une mémoire par appareil nettement inférieure à celle d’un H800 (80 Go), ce qui fait de la mémoire le principal goulot d’étranglement à grande échelle. Nous relevons ce défi selon deux axes : la stratégie de parallélisme et la gestion de la mémoire.

- Parallélisme 6D : au-delà des modes standard TP/CP/EP/DP/PP, nous introduisons l’EMBP pour paralléliser et accélérer les plongements de N-grammes.

- Superpods : l’entraînement s’effectue sur des Superpods physiques — pouvant compter jusqu’à 48 machines chacun, avec une bande passante élevée « all-to-all » en interne et une structure RoCE entre eux —, élargissant ainsi le domaine de communication à haute bande passante à des centaines de dispositifs pour un parallélisme gourmand en bande passante (TP/CP/EP). À échelle et dans un environnement identiques, cela permet d’obtenir un gain de débit d’entraînement préalable d’environ 30 %. Le Superpod logique constitue également l’unité de planification par affinité, équilibrant la localité des communications et la planifiabilité.

- Optimisation de la mémoire : nous appliquons ZeRO-1, le recalcul sélectif, le déchargement tenant compte des situations de mémoire insuffisante (OOM) au niveau de l’allocateur, ainsi que le routage des jetons de remplissage vers un « zero-expert ».

- Optimiseur Muon : nous déployons l’optimiseur Muon à grande échelle sur nos accélérateurs, avec des optimisations ciblées sur le parallélisme TP, la suppression de la redondance d’état DP et un noyau efficace de multiplication matricielle symétrique.

Entraînement à long contexte

Nous abordons les défis liés à l’entraînement à long contexte à grande échelle sous trois angles :

- Opérateurs LSA et optimisation en avant : nous mettons en œuvre des opérateurs d’attention déterministes développés en interne pour les étapes de « dense-warmup » et de « sparse », ainsi que l’opérateur de perte KL. Nous adoptons une stratégie de « dense-warmup » exclusivement en avant afin de calculer à la fois la perte KL et les gradients en un seul passage en avant, ce qui améliore l’efficacité.

- Mise à l’échelle du contexte à 1 million : nous adoptons un schéma de parallélisme CP basé sur le « all-gather » capable de faire passer le CP à plus de 512, ce qui permet un apprentissage natif sur des contextes d’une longueur de 1 million. Les données d’apprentissage sont réorganisées lors de l’étape de récupération des lots (get-batch) et partitionnées à l’aide d’une stratégie CP équilibrée afin de maintenir l’équilibre de la charge de travail.

- Chevauchement calcul-communication : nous concevons soigneusement le chevauchement entre le calcul et la communication. Par exemple, l’architecture à couches de raccourci permet à la communication MoE de se chevaucher avec le calcul des branches parallèles, tandis que le calcul de l’index top-k LSA se chevauche avec le « all-gather » KV, réduisant ainsi la surcharge de synchronisation.

Sources : Annonce de LongCat-2.0 Accéder à LongCat-2.0

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'adoption mondiale des modèles d'IA open source chinois a presque triplé, passant de 13 % à environ 30 % de l'utilisation totale en 2025, sous l'impulsion de DeepSeek et de Qwen d'Alibaba

Les modèles d'IA « dangereux » dotés de capacités de piratage avancées sont inéluctables et deviendront bientôt la norme, selon des experts opposés à l'interdiction de Fable 5 d'Anthropic

Nvidia avait 95 % du marché chinois de GPU dédié à l'IA, mais sa part a désormais chuté à moins de 60 % tandis que le gouvernement encourage les centres de données à utiliser des puces nationales