L'IA chinoise DeepSeek Coder V2 devient le premier modèle de codage open-source à battre le GPT-4 Turbo d'OpenAI

Elle vise à combler l'écart de performance avec les modèles à source fermée

Le modèle DeepSeek Coder V2, développé par la startup chinoise DeepSeek, a récemment fait sensation dans le domaine de l’intelligence artificielle. En effet, DeepSeek Coder V2 est le premier modèle open-source à surpasser GPT-4 Turbo dans les benchmarks. Il s’agit d’un modèle de langage basé sur un mélange d’experts (MoE) qui excelle à la fois dans le codage et les tâches mathématiques. DeepSeek-Coder-V2 vise à combler l'écart de performance avec les modèles à source fermée, en offrant une alternative à source ouverte qui fournit des résultats compétitifs dans divers benchmarks.

Le domaine de la « code intelligence » se concentre sur la création de modèles avancés capables de comprendre et de générer du code de programmation. Ce domaine interdisciplinaire s'appuie sur le traitement du langage naturel et le génie logiciel pour améliorer l'efficacité et la précision de la programmation. Les chercheurs ont mis au point des modèles permettant d'interpréter le code, de générer de nouveaux extraits de code et de déboguer le code existant. Ces avancées réduisent l'effort manuel nécessaire aux tâches de codage, ce qui rend le processus de développement plus rapide et plus fiable. Les modèles de code intelligence se sont progressivement améliorés et sont prometteurs dans diverses applications, du développement de logiciels à l'éducation et au-delà.

La disparité de performance entre les modèles de code open source et les modèles à source fermée de pointe constitue un défi important en matière de code intelligence. Malgré les efforts considérables de la communauté des logiciels libres, ces modèles doivent rattraper leurs homologues à code fermé dans des tâches spécifiques de codage et de raisonnement mathématique. Cette lacune constitue un obstacle à l'adoption généralisée des solutions à code source ouvert dans les milieux professionnels et éducatifs. Des modèles open-source plus puissants et plus précis sont essentiels pour démocratiser l'accès aux outils de codage avancés et encourager l'innovation dans le développement de logiciels.

Les méthodes existantes en matière de code intelligence comprennent des modèles open-source notables tels que StarCoder, CodeLlama et le DeepSeek-Coder original. Ces modèles ont fait l'objet d'améliorations constantes grâce aux contributions de la communauté open-source. Cependant, ils doivent encore rattraper les capacités des principaux modèles à source fermée tels que GPT4-Turbo, Claude 3 Opus et Gemini 1.5 Pro. Ces modèles fermés bénéficient de vastes ensembles de données propriétaires et d'importantes ressources informatiques, ce qui leur permet d'obtenir des résultats exceptionnels dans les tâches de codage et de raisonnement mathématique. Malgré ces avancées, le besoin d'alternatives open-source compétitives demeure.


Vient alors DeepSeek-V2

La startup chinoise DeepSeek, qui a déjà fait parler d'elle avec un concurrent de ChatGPT entraîné sur 2 000 milliards de jetons anglais et chinois, a annoncé la sortie de DeepSeek Coder V2, un modèle de langage de code open-source issu d'un mélange d'experts (MoE).

Basé sur DeepSeek-V2, un modèle MoE lancé le mois dernier, DeepSeek Coder V2 excelle à la fois dans les tâches de codage et de mathématiques. Il prend en charge plus de 300 langages de programmation et surpasse les modèles fermés de pointe, notamment GPT-4 Turbo, Claude 3 Opus et Gemini 1.5 Pro. L'entreprise affirme que c'est la première fois qu'un modèle ouvert réalise cet exploit, devançant de loin le Llama 3-70B et d'autres modèles de la catégorie.

Elle note également que DeepSeek Coder V2 conserve des performances comparables en termes de raisonnement général et de capacités linguistiques.

Le modèle DeepSeek-Coder-V2 se décline en quatre variantes distinctes, chacune adaptée à des cas d'utilisation et à des besoins de performance spécifiques :

• DeepSeek-Coder-V2-Instruct : conçue pour les tâches de génération de texte avancées, cette variante est optimisée pour les scénarios de codage basés sur des instructions, offrant des capacités solides pour la génération et la compréhension de codes complexes.
• DeepSeek-Coder-V2-Base : cette variante offre une base solide pour la génération de texte général, adaptée à un large éventail d'applications, et sert de modèle de base sur lequel les autres variantes sont construites.
• DeepSeek-Coder-V2-Lite-Base : cette version légère du modèle de base met l'accent sur l'efficacité, ce qui la rend idéale pour les environnements disposant de ressources informatiques limitées, tout en offrant de bonnes performances dans les tâches de génération de texte.
• DeepSeek-Coder-V2-Lite-Instruct : combinant l'efficacité de la série Lite avec les capacités optimisées pour les instructions, cette variante excelle dans les tâches basées sur les instructions, fournissant une solution équilibrée pour une génération de code et une compréhension de...