L'IA chinoise DeepSeek Coder V2 devient le premier modèle de codage open-source à battre le GPT-4 Turbo d'OpenAI

Elle vise à combler l'écart de performance avec les modèles à source fermée

L'IA chinoise DeepSeek Coder V2 devient le premier modèle de codage open-source à battre le GPT-4 Turbo d'OpenAI,
elle vise à combler l'écart de performance avec les modèles à source fermée en se positionnant comme alternative

Le modèle DeepSeek Coder V2, développé par la startup chinoise DeepSeek, a récemment fait sensation dans le domaine de l’intelligence artificielle. En effet, DeepSeek Coder V2 est le premier modèle open-source à surpasser GPT-4 Turbo dans les benchmarks. Il s’agit d’un modèle de langage basé sur un mélange d’experts (MoE) qui excelle à la fois dans le codage et les tâches mathématiques. DeepSeek-Coder-V2 vise à combler l'écart de performance avec les modèles à source fermée, en offrant une alternative à source ouverte qui fournit des résultats compétitifs dans divers benchmarks.

Le domaine de la « code intelligence » se concentre sur la création de modèles avancés capables de comprendre et de générer du code de programmation. Ce domaine interdisciplinaire s'appuie sur le traitement du langage naturel et le génie logiciel pour améliorer l'efficacité et la précision de la programmation. Les chercheurs ont mis au point des modèles permettant d'interpréter le code, de générer de nouveaux extraits de code et de déboguer le code existant. Ces avancées réduisent l'effort manuel nécessaire aux tâches de codage, ce qui rend le processus de développement plus rapide et plus fiable. Les modèles de code intelligence se sont progressivement améliorés et sont prometteurs dans diverses applications, du développement de logiciels à l'éducation et au-delà.

La disparité de performance entre les modèles de code open source et les modèles à source fermée de pointe constitue un défi important en matière de code intelligence. Malgré les efforts considérables de la communauté des logiciels libres, ces modèles doivent rattraper leurs homologues à code fermé dans des tâches spécifiques de codage et de raisonnement mathématique. Cette lacune constitue un obstacle à l'adoption généralisée des solutions à code source ouvert dans les milieux professionnels et éducatifs. Des modèles open-source plus puissants et plus précis sont essentiels pour démocratiser l'accès aux outils de codage avancés et encourager l'innovation dans le développement de logiciels.

Les méthodes existantes en matière de code intelligence comprennent des modèles open-source notables tels que StarCoder, CodeLlama et le DeepSeek-Coder original. Ces modèles ont fait l'objet d'améliorations constantes grâce aux contributions de la communauté open-source. Cependant, ils doivent encore rattraper les capacités des principaux modèles à source fermée tels que GPT4-Turbo, Claude 3 Opus et Gemini 1.5 Pro. Ces modèles fermés bénéficient de vastes ensembles de données propriétaires et d'importantes ressources informatiques, ce qui leur permet d'obtenir des résultats exceptionnels dans les tâches de codage et de raisonnement mathématique. Malgré ces avancées, le besoin d'alternatives open-source compétitives demeure.


Vient alors DeepSeek-V2

La startup chinoise DeepSeek, qui a déjà fait parler d'elle avec un concurrent de ChatGPT entraîné sur 2 000 milliards de jetons anglais et chinois, a annoncé la sortie de DeepSeek Coder V2, un modèle de langage de code open-source issu d'un mélange d'experts (MoE).

Basé sur DeepSeek-V2, un modèle MoE lancé le mois dernier, DeepSeek Coder V2 excelle à la fois dans les tâches de codage et de mathématiques. Il prend en charge plus de 300 langages de programmation et surpasse les modèles fermés de pointe, notamment GPT-4 Turbo, Claude 3 Opus et Gemini 1.5 Pro. L'entreprise affirme que c'est la première fois qu'un modèle ouvert réalise cet exploit, devançant de loin le Llama 3-70B et d'autres modèles de la catégorie.

Elle note également que DeepSeek Coder V2 conserve des performances comparables en termes de raisonnement général et de capacités linguistiques.

Le modèle DeepSeek-Coder-V2 se décline en quatre variantes distinctes, chacune adaptée à des cas d'utilisation et à des besoins de performance spécifiques :

• DeepSeek-Coder-V2-Instruct : conçue pour les tâches de génération de texte avancées, cette variante est optimisée pour les scénarios de codage basés sur des instructions, offrant des capacités solides pour la génération et la compréhension de codes complexes.
• DeepSeek-Coder-V2-Base : cette variante offre une base solide pour la génération de texte général, adaptée à un large éventail d'applications, et sert de modèle de base sur lequel les autres variantes sont construites.
• DeepSeek-Coder-V2-Lite-Base : cette version légère du modèle de base met l'accent sur l'efficacité, ce qui la rend idéale pour les environnements disposant de ressources informatiques limitées, tout en offrant de bonnes performances dans les tâches de génération de texte.
• DeepSeek-Coder-V2-Lite-Instruct : combinant l'efficacité de la série Lite avec les capacités optimisées pour les instructions, cette variante excelle dans les tâches basées sur les instructions, fournissant une solution équilibrée pour une génération de code et une compréhension de texte à la fois efficaces et puissantes.

Qu'apporte DeepSeek Coder V2 ?

Fondée l'année dernière avec pour mission de « percer le mystère de l'IA avec curiosité », DeepSeek est un acteur chinois notable dans la course à l'IA, rejoignant des entreprises telles que Qwen, 01.AI et Baidu. En fait, moins d'un an après son lancement, l'entreprise a déjà mis en libre accès un certain nombre de modèles, dont la famille DeepSeek Coder.

Le DeepSeek Coder original, avec jusqu'à 33 milliards de paramètres, a obtenu des résultats satisfaisants sur les benchmarks avec des capacités telles que l'achèvement du code au niveau du projet et le remplissage, mais il ne prenait en charge que 86 langages de programmation et une fenêtre contextuelle de 16K. La nouvelle offre V2 s'appuie sur ce travail, en étendant la prise en charge des langages à 338 et la fenêtre de contexte à 128K - ce qui lui permet de gérer des tâches de codage plus complexes et plus étendues.

DeepSeek-Coder-V2 a surpassé les principaux modèles à source fermée dans les tâches de codage et de mathématiques lors des évaluations de référence. Le modèle a obtenu un score de 90,2 % sur le benchmark HumanEval, ce qui représente une amélioration notable par rapport à ses prédécesseurs. En outre, il a obtenu un score de 75,7 % sur le benchmark MATH, démontrant ainsi ses capacités de raisonnement mathématique améliorées. Par rapport aux versions précédentes, DeepSeek-Coder-V2 a fait des progrès significatifs en termes de précision et de performance, ce qui en fait un concurrent redoutable dans le domaine de l'intelligence des codes. La capacité du modèle à gérer des tâches de codage complexes et étendues marque une étape importante dans le développement de modèles de code open-source.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">DeepSeek-Coder-V2: First Open Source Model Beats GPT4-Turbo in Coding and Math<br><br>> Excels in coding and math, beating GPT4-Turbo, Claude3-Opus, Gemini-1.5Pro, Codestral.<br>> Supports 338 programming languages and 128K context length.<br>> Fully open-sourced with two sizes: 230B (also… <a href="https://t.co/6wocYVPPrj">pic.twitter.com/6wocYVPPrj</a></p>— DeepSeek (@deepseek_ai) <a href="https://twitter.com/deepseek_ai/status/1802680388256768145?ref_src=twsrc%5Etfw">June 17, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

Le seul modèle qui a réussi à surpasser l'offre de DeepSeek sur plusieurs benchmarks est le GPT-4o, qui a obtenu des scores légèrement supérieurs dans HumanEval, LiveCode Bench, MATH et GSM8K.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">In the Arena-Hard-Auto leaderboard, DeepSeek-Coder-V2 surpasses Yi-large,Claude3-Opus, GLM4, and Qwen2-72B. <a href="https://t.co/BJk7Gvwd3U">pic.twitter.com/BJk7Gvwd3U</a></p>— DeepSeek (@deepseek_ai) <a href="https://twitter.com/deepseek_ai/status/1802680392497168510?ref_src=twsrc%5Etfw">June 17, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

DeepSeek affirme avoir réalisé ces avancées techniques et de performance en utilisant comme base DeepSeek V2, qui est basé sur son cadre Mixture of Experts. Essentiellement, l'entreprise a pré-entraîné le modèle de base V2 sur un ensemble de données supplémentaire de 6 000 milliards de jetons - comprenant principalement des données liées au code et aux mathématiques provenant de GitHub et de...