OpenAI a trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires d'OpenAI pour former son propre modèle open-source

En utilisant la technique de "distillation"

OpenAI a trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires d'OpenAI pour former son propre modèle open-source, en utilisant la technique de "distillation".

OpenAI affirme avoir trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires de l'entreprise américaine pour entraîner son propre concurrent à code source ouvert, alors que les inquiétudes grandissent quant à une violation potentielle de la propriété intellectuelle. L'éditeur de ChatGPT a déclaré au Financial Times qu'il avait constaté des preuves de "distillation", qu'il soupçonne être le fait de DeepSeek.

La sortie de DeepSeek R1 a provoqué une onde de choc dans la communauté de l'IA, bouleversant les hypothèses sur ce qui est nécessaire pour atteindre des performances d'IA de pointe. Ce modèle open-source correspondrait à l'o1 d'OpenAI pour seulement 3 à 5 % du coût selon le benchmark de la startup éponyme. Le document technique du modèle révèle que DeepSeek s'est délibérément écartée du processus conventionnel de mise au point supervisée (SFT pour supervised fine-tuning) et s'est appuyé sur l'apprentissage par renforcement (RL) pour atteindre ces performances.

Cependant, OpenAI vient d'affirmer que la startup d'intelligence artificielle (IA) DeepSeek pourrait avoir entraîné son modèle R1 open-source en utilisant la technologie propriétaire d'OpenAI. En d'autres termes, la start-up chinoise n'aurait pas tout construit à partir de zéro, mais se serait plutôt appuyée sur les modèles d'OpenAI pour développer son concurrent. Selon le Financial Times, l'éditeur de ChatGPT, basé à San Francisco, a constaté des preuves de "distillation", c'est-à-dire le processus de transfert de connaissances d'un grand modèle à un plus petit. Il s'agirait donc d'une violation des conditions d'utilisation d'OpenAI.

Le nouveau « tsar » de l'IA et des crypto-monnaies du président américain Donald Trump, David Sacks, a également déclaré : "Il existe des preuves substantielles que DeepSeek a distillé des connaissances à partir des modèles d'OpenAI, et je ne pense pas qu'OpenAI soit très heureux à ce sujet. Je pense que l'une des choses que vous verrez au cours des prochains mois, c'est que nos principales entreprises d'IA prendront des mesures pour essayer d'empêcher la distillation."

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">👀 DAVID SACKS: “There is substantial evidence that what DeepSeek did here is they distilled the knowledge out of OpenAI’s models, and I don’t think OpenAI is very happy about this.” <a href="https://t.co/IYXKwBbUh1">pic.twitter.com/IYXKwBbUh1</a></p>— Chief Nerd (@TheChiefNerd) <a href="https://twitter.com/TheChiefNerd/status/1884454109073244614?ref_src=twsrc%5Etfw">January 29, 2025</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

La distillation des connaissances a été utilisée à bon escient dans toutes sortes de domaines, du traitement du langage naturel et de la reconnaissance vocale à la reconnaissance d'images et à la détection d'objets. Mais ces dernières années, elle est devenue particulièrement importante pour les grands modèles de langage (LLM). En ce qui concerne les LLM, la distillation s'est avérée être un moyen important de transmettre les compétences avancées des modèles propriétaires de haut niveau à des modèles open-source plus petits et plus accessibles. Dans ce cas, DeepSeek a été accusé de violation de la propriété intellectuelle.

Une source a déclaré au Financial Times: "Le problème se pose lorsque vous [retirez le modèle de la plateforme et] le faites pour créer votre propre modèle à vos propres fins."

Cependant, OpenAI n'est pas vraiment à l'abri des critiques en matière de propriété intellectuelle. L'entreprise fait actuellement l'objet d'un procès, mené par le New York Times, dans lequel les entreprises de médias l'accusent d'utiliser leurs données sans autorisation. Une étude avait même révélé qu'OpenAI a mis en place un mécanisme pour éviter que son modèle de génération de texte ChatGPT ne révèle qu’il a été entraîné sur des livres protégés par le droit d’auteur.

En outre, OpenAI a également reconnu qu’il est impossible de créer des outils comme ChatGPT sans s’appuyer sur des contenus sous copyright. L'éditeur de ChatGPT avait notammanet déclaré : "Étant donné que le droit d'auteur couvre aujourd'hui pratiquement toutes les formes d'expression humaine, il serait impossible d’entraîner les meilleurs modèles d'IA d'aujourd'hui sans utiliser des documents protégés par le droit d'auteur. Limiter les données d'entraînement ... ne permettrait pas d'obtenir des systèmes d'IA répondant aux besoins des citoyens d'aujourd'hui."


Pour rappel, la publication par DeepSeek de son modèle R1 a provoqué une onde de choc sur les marchés financiers mondiaux. L'entreprise chinoise semble avoir obtenu des résultats comparables à ceux de ses plus grands rivaux, bien qu'elle ait utilisé beaucoup moins d'argent et de puissance de calcul. Le PDG d'OpenAI, Sam Altman, a applaudi publiquement le modèle R1 open-source, le qualifiant d'"impressionnant".

Cela a amené les investisseurs à reconsidérer l'une des principales hypothèses à l'origine de la récente flambée des marchés boursiers induite par l'IA. Les plus grands acteurs de l'IA, ou "hyperscalers", ont besoin d'énormes quantités de puissance de calcul pour rester en tête. L'incertitude a frappé Nvidia de plein fouet, faisant subir à son action la plus forte baisse de valeur boursière de l'histoire en une seule journée le lundi 27 janvier, bien qu'elle ait réussi à regagner un peu de terrain le mardi.

Néanmoins, ces dernières allégations à l'encontre de DeepSeek pourraient ajouter une nouvelle couche à la bataille technologique en cours entre les États-Unis et la Chine, rendant les choses encore plus compliquées.

Source : The Financial Times

Et vous ?

Pensez-vous que ces accusations sont crédibles ou pertinentes ?
Quel est votre avis sur le sujet ?

Voir aussi :

Sam Altman, PDG d'OpenAI, a qualifié DeepSeek de « modèle impressionnant », après que la sortie de DeepSeek R1 a provoqué une onde de choc dans la communauté de l'IA

Meta aurait mis en place des « cellules de crise » composées d'ingénieurs pour comprendre comment l'IA de DeepSeek peut battre tous les autres avec une fraction du prix

Des chercheurs chinois viennent de percer les secrets de l'AGI d'OpenAI, avec un plan détaillé qui révèle comment recréer les capacités de raisonnement du modèle o1 d'OpenAI à partir de zéro