IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Meta aurait mis en place des « cellules de crise » composées d'ingénieurs pour comprendre comment l'IA de DeepSeek peut battre tous les autres avec une fraction du prix

Le , par Mathis Lucas

112PARTAGES

3  0 
Le laboratoire d'IA chinois DeepSeek a publié sa nouvelle famille de modèles R1 sous une licence MIT ouverte, affirmant que le modèle présente des performances comparables au raisonnement simulé o1 d'OpenAI.

Le laboratoire d'IA chinois DeepSeek a publié une version open source de DeepSeek-R1, son modèle de raisonnement, qui, selon lui, est aussi performant que le modèle o1 d'OpenAI sur certains critères d'évaluation de l'IA. R1 est disponible sur la plateforme de développement d'IA Hugging Face sous licence MIT, ce qui signifie qu'il peut être utilisé commercialement sans restrictions. Selon DeepSeek, R1 bat o1 sur les benchmarks AIME, MATH-500 et SWE-bench Verified.

Le 20 janvier 2025, le laboratoire d'IA chinois DeepSeek a publié sa nouvelle famille de modèles R1 sous une licence ouverte du MIT, la plus grande version contenant 671 milliards de paramètres. L'entreprise affirme que les performances du modèle sont comparables à celles du modèle de raisonnement simulé (SR) o1 d'OpenAI sur plusieurs points de référence en mathématiques et en codage.

Parallèlement à la publication des modèles principaux DeepSeek-R1-Zero et DeepSeek-R1, DeepSeek a publié six versions plus petites "DeepSeek-R1-Distill" allant de 1,5 milliard à 70 milliards de paramètres. Ces modèles distillés sont basés sur des architectures open source existantes telles que Qwen et Llama, entraînées à l'aide de données générées par le modèle R1 complet. La plus petite version peut fonctionner sur un ordinateur portable, alors que le modèle complet nécessite des ressources informatiques beaucoup plus importantes.


Ces versions ont immédiatement attiré l'attention de la communauté de l'IA, car la plupart des modèles de pondération ouverts existants - qui peuvent souvent être exécutés et affinés sur du matériel local - sont restés à la traîne par rapport aux modèles propriétaires tels que le modèle o1 d'OpenAI dans ce que l'on appelle les benchmarks de raisonnement. Bien que les tests de référence n'aient pas encore été vérifiés de manière indépendante, DeepSeek rapporte que R1 a surpassé o1 d'OpenAI sur AIME (un test de raisonnement mathématique), MATH-500 (une collection de problèmes de mots), et SWE-bench Verified (un outil d'évaluation de la programmation).

"Ils sont TELLEMENT amusants à utiliser, les regarder penser est hilarant", a déclaré Simon Willison, chercheur indépendant en IA. Willison a testé l'un des plus petits modèles et décrit son expérience sur son blog : "Chaque réponse commence par une balise pseudo-XML contenant la chaîne de pensée utilisée pour générer la réponse", notant que même pour des invites simples, le modèle produit un raisonnement interne approfondi avant la sortie.

Le fait que ces capacités soient disponibles dans un modèle sous licence du MIT que tout le monde peut étudier, modifier ou utiliser commercialement marque potentiellement un changement dans ce qui est possible avec les modèles d'IA accessibles au public. En outre, trois laboratoires chinois - DeepSeek, Alibaba et Kimi de Moonshot AI - ont mis sur le marché des modèles qui égalent les capacités de o1.

Voici la présentation des modèles par DeepSeek :


Introduction

Nous présentons nos modèles de raisonnement de première génération, DeepSeek-R1-Zero et DeepSeek-R1. DeepSeek-R1-Zero, un modèle formé par apprentissage par renforcement à grande échelle (RL) sans réglage fin supervisé (SFT) en tant qu'étape préliminaire, a démontré des performances remarquables en matière de raisonnement. Grâce à l'apprentissage par renforcement, DeepSeek-R1-Zero s'est naturellement doté de nombreux comportements de raisonnement puissants et intéressants. Cependant, DeepSeek-R1-Zero rencontre des difficultés telles que des répétitions sans fin, une mauvaise lisibilité et des mélanges de langues. Pour résoudre ces problèmes et améliorer les performances de raisonnement, nous introduisons DeepSeek-R1, qui incorpore des données de départ à froid avant le RL. DeepSeek-R1 atteint des performances comparables à celles d'OpenAI-o1 pour les mathématiques, le code et les tâches de raisonnement. Pour soutenir la communauté des chercheurs, nous avons mis en open source DeepSeek-R1-Zero, DeepSeek-R1 et six modèles denses distillés à partir de DeepSeek-R1, basés sur Llama et Qwen. DeepSeek-R1-Distill-Qwen-32B surpasse OpenAI-o1-mini sur différents benchmarks, atteignant de nouveaux résultats de pointe pour les modèles denses.


Résumé du modèle

Post-entraînement : Apprentissage par renforcement à grande échelle sur le modèle de base

Nous appliquons directement l'apprentissage par renforcement (RL) au modèle de base sans recourir à un réglage fin supervisé (SFT) en tant qu'étape préliminaire. Cette approche permet au modèle d'explorer la chaîne de pensée (CoT) pour résoudre des problèmes complexes, ce qui a permis de développer DeepSeek-R1-Zero. DeepSeek-R1-Zero démontre des capacités telles que l'auto-vérification, la réflexion et la génération de longues chaînes de pensée, marquant ainsi une étape importante pour la communauté des chercheurs. Il s'agit notamment de la première recherche ouverte à valider le fait que les capacités de raisonnement des LLM peuvent être encouragées uniquement par le biais du RL, sans qu'il soit nécessaire de recourir au SFT. Cette avancée ouvre la voie à de futures avancées dans ce domaine.

Nous présentons notre processus de développement de DeepSeek-R1. Ce processus comprend deux étapes de RL visant à découvrir des modèles de raisonnement améliorés et à s'aligner sur les préférences humaines, ainsi que deux étapes de SFT qui servent de base aux capacités de raisonnement et de non-raisonnement du modèle. Nous pensons que ce pipeline profitera à l'industrie en créant de meilleurs modèles.

Distillation : Les petits modèles peuvent aussi être puissants

Nous démontrons que les schémas de raisonnement des grands modèles peuvent être distillés dans des modèles plus petits, ce qui se traduit par de meilleures performances que les schémas de raisonnement découverts grâce au RL sur les petits modèles. La source ouverte DeepSeek-R1, ainsi que son API, permettra à la communauté des chercheurs de distiller de meilleurs modèles plus petits à l'avenir.

En utilisant les données de raisonnement générées par DeepSeek-R1, nous avons affiné plusieurs modèles denses qui sont largement utilisés dans la communauté des chercheurs. Les résultats de l'évaluation démontrent que les modèles denses plus petits distillés sont exceptionnellement performants sur les bancs d'essai. Nous mettons à la disposition de la communauté des points de contrôle de 1,5 milliard, 7 milliards, 8 milliards, 14 milliards, 32 milliards et 70 milliards basés sur les séries Qwen2.5 et Llama3.
Source : Présentation de DeepSeek-R1

Et vous ?

Pensez-vous que les performances de ces modèles sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA chinoise DeepSeek Coder V2 devient le premier modèle de codage open-source à battre le GPT-4 Turbo d'OpenAI. Elle vise à combler l'écart de performance avec les modèles à source fermée

Apprendre à raisonner avec le nouveau LLM OpenAI o1 formé avec l'apprentissage par renforcement pour effectuer des raisonnements complexes car o1 réfléchit avant de répondre

Gemini 2.0 Flash Thinking Experimental : Pour ne pas être distancé par OpenAI et son modèle o1. Google lance son propre modèle d'IA qui utilise des techniques de « raisonnement »
Vous avez lu gratuitement 0 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 29/01/2025 à 18:28


Il est quand même sans gêne ce Altman.

Il trouve normal d'utiliser des données ayant un droit d'auteur gratuitement pour alimenter son IA, mais si on se sert de son droit d'auteur à lui, il est pas content le Monsieur. C'est un peu l'hopital qui se fout de la charité .

C'est un peu la jungle avec les IA. Si je demande à une IA de me montrer en direct un match de foot, je "bypass" les droits d'auteurs de la "chaîne TV" ayant chèrement payer ces droits, et cela serait légal ? Et si c'est illégale, pourquoi le reste de ce qui est pompé et recracher par l'IA ne le serait-il pas ?

Si je filme le match (qui sort d'une "machine", ici la TV) avec une super caméra (une autre machine) et que je diffuse cela en direct streaming sur "Internet" (qui repose au final sur des machines), c'est donc légal ?

Bref, les grands de ce monde vont arranger tout cela à leur prochaine réunion à Davos, et tous les autres seront raquetés. Deux poids, deux mesures. Les (quelques) forts d'un côté et la masse des faibles gueux de l'autre.

Elle est pas belle la vie .

BàV et Peace & Love.
6  0 
Avatar de noremorse
Membre actif https://www.developpez.com
Le 29/01/2025 à 20:48
Malgré cela, la somme dépensée par DeepSeek reste largement inférieure aux montants faramineux que comptent dépenser les occidentaux
5  0 
Avatar de
https://www.developpez.com
Le 29/01/2025 à 22:57
Citation Envoyé par Developpez.com
Mais les analystes de SemiAnalysis ont tenu à apporter quelques nuances aux déclarations de DeepSeek. SemiAnalysis est une société indépendante de recherche et d'analyse spécialisée dans les secteurs des semiconducteurs et de l'IA.
Citation Envoyé par SemiAnalysis
All matters arising out of or relating to these Terms are governed by and construed in accordance with the internal laws of the State of Florida without giving effect to any choice or conflict of law provision or rule (whether of the State of Florida or any other jurisdiction) that would cause the application of the laws of any jurisdiction other than those of the State of Florida.
Entreprise américaine 100% indépendante et impartiale. Mais tout à fait!
4  0 
Avatar de OrthodoxWindows
Membre expert https://www.developpez.com
Le 02/02/2025 à 17:47
Outre le domaine de la sécurité, DeepSeek est accusé d'appliquer une censure stricte sur des sujets politiquement sensibles en Chine. Les utilisateurs ont vu le chatbot chinois répondre, puis se censurer en temps réel. Pour certains critiques, il s'agit d'un aperçu saisissant du contrôle exercé par la Chine sur l'information, mais d'autres rappellent que n'importe qui peut télécharger le modèle open source de DeepSeek et l'adapter pour supprimer les restrictions de Pékin.
Ce qui veut aussi dire que n'importe qui peu télécharger n'importe quel modèle open-source pour supprimer les restrictions de sécurité, y compris concernant ce que Cisco nomme "six catégories de comportements nuisibles, dont la cybercriminalité, la désinformation, les activités illégales et le préjudice général"

De plus, DeepSeek n'est pas le premier modèle open-source à être sorti non-censuré là dessus. Il y a déjà eu plusieurs modèles de Mistral.
Pourtant, il me semble que la criminalité n'a pas sensiblement augmenté de part le monde de manière significative, la cybercriminalité non plus, et la Terre ne s'est pas arrêtée de tourner... Du coup, l'on est sérieusement en droit de se demander si Cisco n'exagère pas énormément en parlant de résultats "alarmants".
Et cela en prenant en compte le fait que de toute façon, à partir du moment où un modèle est open-source, n'importe qui peu le modifier...

Le vrai danger de l'IA ne sera pas lié au péquin lambda qui veut générer n'importe quel instruction illégale sur son ordi ou son portable. Les deux vrais danger de l'IA sont les entreprises qui cherchent à s’approprier à elle-seule certains algorithmes, afin de rendre dépendant des milliers de personnes et d'entreprises dans le monde. Et surtout, que des régimes autoritaires, voir totalitaires, s'en servent pour contrôler et surveiller les gens, censurer du contenu dynamiquement, et faire la guerre avec des robots tueurs.
4  0 
Avatar de NotABread
Membre actif https://www.developpez.com
Le 29/01/2025 à 15:54
Je suis loin d'être juriste ni d'avoir les détails techniques derrières tout ça, mais puisque les sorties des IA sont la propriété de personne, et que l'utilisation de contenu sous droit d'auteur pour la formation de réseau de neurone est du fair use d'après OpenAI:
- comment la distillation relève dans ce cas est une violation du droit d'auteur ? La sortie est libre de droit
- selon les principes d'OpenAI, pourquoi la distillation ne serait pas du fair use ?
- est-ce que refuser la distillation n'est pas un obstacle à la mission annoncée d'OpenAI (l’avènement d'une AIG) ?
- quelles sont les preuves OpenAI et peut-on démontrer que ce n'est pas lié à un jeu d'entrainement similaire ? Avec la reproduction ouverte de DeepSeck, il devrait être possible de trouver ces preuves, non ?
2  0 
Avatar de
https://www.developpez.com
Le 03/02/2025 à 8:34
D'abord DeepSeek est critiqué pour sa censure, ensuite pour le fait qu'il n'est pas assez sécurisé contre son détournement.

Que DeepSeek puisse être jailbreaké n'est pas mon problème ni celui d'une majorité d'utilisateurs, qui ne savent même pas de quoi il s'agit. Et ce ne sont pas les armes qui font les criminels, mais ceux qui les utilisent à mauvais dessein.

Par ailleurs, le fait que la Chine censure des éléments de sa politique interne dans DeepSeek n'a rien de surprenant ni d'illégal. Ce n'est pas comme si dans ChatGPT régnait la transparence et la liberté d'expression. Loin de là. Certains devraient cesser de juger de leur propre vertu.

Et franchement, qui passe ses journées à formuler des prompts à propos de la politique de la Chine, que ce soit sur DeepSeek ou ChatGPT ? Est-ce que la censure chinoise a une quelconque influence sur votre quotidien ?

Tout cela ressemble à une campagne de dénigrement qui ne dit pas son nom. C'est tout petit et tout moche. Très occidental en soi.
2  0 
Avatar de PomFritz
Membre confirmé https://www.developpez.com
Le 04/02/2025 à 19:57
Citation Envoyé par noremorse Voir le message
Nouveau coup dur pour les sanctions américaines : La Russie et la Chine multiplient par 800 les performances de NVIDIA

Des scientifiques des deux pays ont mis au point un algorithme révolutionnaire à partir d'informations issues de la rétroconception d'accélérateurs de cartes vidéo. Cet algorithme permet d'utiliser les GPU de jeu pour le calcul scientifique.


Cette innovation a été réalisée par des spécialistes de l'université MSU-BIT de Shenzhen, cofondée par l'université d'État de Moscou Lomonossov et l'Institut de technologie de Pékin.

Cela permet à la Russie et à la Chine de réduire leur dépendance vis-à-vis des GPU NVIDIA et d'atténuer l'impact des sanctions américaines.

Cela signifie également que la Russie et la Chine doivent acheter moins de GPU NVIDIA, ce qui a probablement conduit à l'effondrement du prix de l'action NVIDIA, a déclaré à Sputnik Valentin Makarov, président de l'association Russoft.

Selon lui, les recherches en cours comprennent de nouveaux algorithmes d'apprentissage automatique et un GPU de nouvelle génération en cours de développement en Russie.

Ces avancées mettent en évidence l'expertise technologique de la Russie, ce qui permet une collaboration avec la Chine et de futurs partenariats potentiels avec l'Inde.

PS : Les sanctions c’est pour les cons
C'est une info? Une opinion? Une déclaration? Des détails?
2  0 
Avatar de
https://www.developpez.com
Le 29/01/2025 à 10:05
Citation Envoyé par Jade Emy Voir le message
DeepSeek a déclaré que sa nouvelle application populaire a été victime d'une cyberattaque, ce qui a contraint l'entreprise chinoise à limiter temporairement les inscriptions. DeepSeek a déclaré avoir été victime d'une "attaque malveillante à grande échelle". Ces attaques interviennent après que la popularité de ses nouveaux modèles d'IA ait explosé.
Pas étonnant, une signature d'affrontement de blocs au sein d'une zone de domination concurrentielle, empruntant, qui plus est, des voies de développement opposées (force brute, optimisation process, en gros mais aussi enrichissement personnel, enrichissement communautaire) et paradoxalement complémentaires.
Vieux comme le monde.
1  0 
Avatar de
https://www.developpez.com
Le 29/01/2025 à 14:36
Pendant ce temps là, le copain de Macron (Alexandre Zapolsky) pond Lucie qui ressemble plus à Lucie Castets que Lucy (film de Besson)
En France, la recherche sur l'IA est essentiellement militaire et "classée secret défense", non ?
1  0 
Avatar de Garfaz
Membre du Club https://www.developpez.com
Le 29/01/2025 à 18:11
un journal fait un article
OpenAI récupère l'article pour son entrainement
Deepseek qui s'entraine sur openai

je vois pas ou est le problème
1  0