DeepSeek met en open source DeepInfer, le framework d'inférence qui alimente ses services de production à grande échelle, pour l'instant limité à DeepSeek-V4.1-Flash

DeepSeek a mis en open source DeepInfer, le logiciel qu'il utilise pour faire fonctionner ses modèles d'IA en production. Le laboratoire chinois spécialisé dans l'IA a annoncé cette sortie sur X et a publié le code sur GitHub sous licence Apache 2.0. Pour l'instant, il ne prend en charge que DeepSeek-V4.1-Flash. DeepInfer regroupe du code optimisé pour les modèles DeepSeek et des mécanismes permettant de répartir la charge de travail sur plusieurs puces. Les entreprises spécialisées dans l'IA gardent généralement ces techniques bien secrètes. Cette annonce intervient au lendemain de la décision des États-Unis d'ordonner aux agences fédérales civiles de retirer les produits DeepSeek de leurs systèmes.

La société Hangzhou DeepSeek Artificial Intelligence Basic Technology Research Co., Ltd., opérant sous le nom commercial DeepSeek,est une entreprise chinoise spécialisée dans l'intelligence artificielle (IA) qui développe des modèles de langage de grande envergure (LLM) à paramètres ouverts. Basée à Hangzhou, dans la province du Zhejiang, DeepSeek est détenue et financée par High-Flyer, un fonds spéculatif chinois. DeepSeek a été fondée en juillet 2023 par Liang Wenfeng, qui occupe également le poste de PDG de la société.

Récemment, DeepSeek a lancé DeepSeek-V4.1-Flash-1017, une version mise à jour de son modèle d’IA qui promet de meilleures performances aux tests de référence, une exécution plus rapide des tâches et des résultats plus concis que la version précédente, tout en réduisant les coûts d’utilisation. L’entreprise a indiqué que les capacités du modèle en matière de développement de jeux et de modélisation 3D se sont améliorées. DeepSeek a précisé que le nouveau modèle affiche des progrès en matière de raisonnement, de programmation, de tâches d’agent et de benchmarks de vision. Le coût par tâche de codage pour la version V4.1 Flash-1017 s’élève à environ 0,20 $, soit bien moins d’un dixième de celui des modèles d’IA américains comparables.

Par ailleurs, DeepSeek a mis en open source DeepInfer, le logiciel qu’il utilise pour faire fonctionner ses modèles d’IA en production. Le laboratoire chinois spécialisé dans l’IA a annoncé cette sortie il y a peu sur X et a publié le code sur GitHub sous licence Apache 2.0. Pour l’instant, il ne prend en charge que DeepSeek-V4.1-Flash. L’inférence consiste à exécuter un modèle entraîné pour répondre à des requêtes. Le coût d’exécution d’un même modèle peut varier considérablement en fonction du logiciel utilisé pour le faire fonctionner.



Ce que contient cette mise à jour

DeepInfer regroupe du code optimisé pour les modèles DeepSeek et des mécanismes permettant de répartir la charge de travail sur plusieurs puces. Il inclut également le décodage spéculatif, une technique qui génère plusieurs tokens à l’avance et les vérifie en un seul passage. D’autres fonctionnalités garantissent la cohérence des résultats d’une exécution à l’autre et imposent des formats de réponse prédéfinis, selon la page GitHub. Il fonctionne sur deux types de matériel : les GPU SM100 de Nvidia destinés aux centres de données et les puces Ascend 950 de Huawei.

DeepSeek a indiqué que le code des futurs modèles et des améliorations ultérieures serait intégré au même endroit. Cette version ne constitue pas un service complet en soi. Elle ne comprend pas de système de cache, ne sépare pas le traitement des requêtes de la génération des réponses et ne prend pas en charge l’équilibrage de charge entre les machines, précise la page GitHub. DeepSeek a également publié « deepseek-recipe », qui reproduit la manière dont son API officielle convertit le texte en tokens et inversement.

Construit sur vLLM

DeepInfer a d’abord été développé principalement sur vLLM, un moteur d’inférence open source largement utilisé, précise DeepSeek. Il s’est également appuyé sur SGLang et TensorRT-LLM de Nvidia.Le projet vLLM a remercié DeepSeek sur X d’avoir rendu hommage à la communauté open source. Il a indiqué qu’il continuerait à améliorer sa propre prise en charge de V4.1-Flash en s’inspirant des idées de DeepInfer. DeepSeek a mesuré ses performances publiées sur quatre GPU SM100 pour le traitement des requêtes et 64 pour la génération de résultats. Il s’agit des chiffres fournis par l’entreprise elle-même. Il n’existe pour l’instant aucune évaluation indépendante des gains apportés par DeepInfer.


Pourquoi les coûts rendent-ils cela important ?

Les entreprises de cloud computing et d’hébergement qui exploitent déjà les modèles de DeepSeek peuvent désormais utiliser les mêmes méthodes que celles employées par DeepSeek. Les entreprises qui exécutent ces modèles sur leurs propres serveurs pourraient également réduire leurs coûts. Les entreprises spécialisées dans l’IA gardent généralement ces techniques bien secrètes. Cette annonce fait suite au lancement par DeepSeek, en septembre, de son modèle V4.1-Flash. Au début du mois, l’entreprise a publié des outils pour les puces Huawei comme alternative au CUDA de Nvidia. Les modèles à poids ouvert représentent désormais 23 % des dépenses sur l’AI Gateway de Vercel. Cette annonce intervient au lendemain de la décision des USA d’ordonner aux agences fédérales civiles de retirer les produits DeepSeek de leurs systèmes. Récemment, le dépôt GitHub comptait plus de 8 000 étoiles.

En septembre 2025, les fournisseurs d'inférence IA évoquaient souvent un compromis fondamental entre le débit et la latence : pour un modèle donné, les utilisateurs pouvaient soit l'exploiter à haut débit et haute latence, soit à faible débit et faible latence. Ce compromis provenait de la taille du lot que le fournisseur d'inférence choisissait pour le modèle. Les GPU étaient efficaces pour effectuer de grandes multiplications matricielles. En cas de traitements par lots importants, la latence était élevée en raison du temps nécessaire pour constituer le lot, mais le débit était beaucoup plus élevé car les GPU étaient utilisés plus efficacement. Certains modèles, comme ceux de DeepSeek, qui sont des mélanges d'experts à plusieurs couches, nécessitaient donc des lots de grande taille et une latence élevée, faute de quoi le débit chutait brutalement. C'était pourquoi il était souvent souligné qu'il n'était pas facile d'utiliser DeepSeek à des fins personnelles.

Voici la publication de DeepSeek sur GitHub concernant DeepInfer :

DeepInfer

DeepInfer est le framework d'inférence haute performance qui sous-tend les services de production à grande échelle de DeepSeek. Cette version open source permet l'inférence hors ligne et offre les fonctionnalités essentielles nécessaires à une mise en service à grande échelle.

Modèles pris en charge :

• DeepSeek-V4.1-Flash

Fonctionnalités prises en charge :

• Optimisation des temps d'exécution des noyaux, des modèles et des échantillonneurs
  
• Parallélisme : Attention DP / CP équilibré, MoE EP + EPLB
  
• DSpark et vérification avec planification basée sur la confiance
  
• Replay borné SWA
  
• Planification asynchrone (planificateur de lots sans surcoût)
  
• Inférence invariante par lot
  
• Échantillonnage déterministe
  
• Sorties structurées
  

Détails des fonctionnalités et configuration

• Noyaux optimisés : FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et noyaux TileLang personnalisés.
  
• DSpark et vérification planifiée en fonction du niveau de confiance : accélérez le décodage à l’aide de jetons provisoires et utilisez les estimations de confiance pour planifier la vérification. Définissez DEEPINFER_ENABLE_MTP_VARLEN=1 ; DEEPINFER_USE_NEXTN_DECODE contrôle la longueur maximale du jeton provisoire (par défaut : 5).
  
• Rejeu borné du décodeur SWA : réduisez le travail de préremplissage du décodeur en ne rejouant qu’un suffixe borné. Définissez DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact et DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140pour les paramètres par défaut de la version 4.1 ; le suffixe conservé doit couvrir la fenêtre SWA plus la longueur maximale de retour en arrière.
  
• Planification asynchrone : superpose la planification par lots du processeur à l’exécution sur le périphérique. Activée par défaut.
  
• Inférence invariante par lots : garantit que les résultats du modèle restent identiques quelle que soit la composition des lots. À activer avec DEEPINFER_BATCH_INVARIANT=1 (NVIDIA uniquement).
  
• Échantillonnage déterministe : produit des sorties identiques pour des tokens d’entrée et des paramètres d’échantillonnage identiques. Définissez DEEPINFER_BATCH_INVARIANT=1, DEEPINFER_ENABLE_MTP_VARLEN=0 et transmettez une valeur fixe à seq_seed dans SamplingParams (NVIDIA uniquement).
  
• Sorties structurées : restreindre la génération à une expression régulière, un schéma JSON ou une grammaire EBNF. Transmettez so_args={"schema_type": ..., "schema": ...} à SamplingParams.

Matériel pris en charge :

• Cartes graphiques NVIDIA SM100
  
• Unités de traitement neuronal (NPU) Huawei Ascend 950

Éléments requis pour un service d'inférence complet (non inclus dans cette version) :

• Un système de cache KV
  
• Désagrégation VE/Prefill/Decode (la plupart des fonctionnalités essentielles du moteur sont déjà implémentées)
  
• Équilibrage de charge entre les répliques en parallélisme de données, tant pour le préremplissage que pour le décodage

Source : DeepSeek, sur GitHub

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Le laboratoire chinois d'IA DeepSeek lance le modèle de raisonnement multimodal V4.1-Flash, doté d'une architecture « Mixture-of-Experts » de 552 milliards de paramètres et d'une compréhension visuelle native

Le nouveau modèle DeepSeek-V4-Flash-0731 surpasse sa propre version « Pro ». Il rivalise avec GPT-5.6 Luna, pour un coût inférieur d'environ 60 %, même après la baisse de prix de 80 % pratiquée par OpenAI

La société chinoise DeepSeek développe sa propre puce d'IA afin de réduire sa dépendance vis-à-vis de Nvidia et de Huawei, une puce conçue pour l'inférence, où le modèle entraîné génère des réponses