Des chercheurs du MIT ont utilisé le modèle GPT-6 Astra d'OpenAI pour modifier directement le modèle IA Qwen d'Alibaba, améliorant ses performances mathématiques sans avoir à le réentraîner

Une intelligence artificielle (IA) peut-elle réparer le « cerveau » d’une autre IA ? Une nouvelle expérience menée par des chercheurs du Massachusetts Institute of Technology (MIT) suggère que cela pourrait être possible. Ces chercheurs ont utilisé GPT-6 Astra d’OpenAI pour réécrire directement une partie du modèle Qwen3.5-0.8B d’Alibaba, améliorant ainsi ses performances en mathématiques sans avoir à le réentraîner. L'équipe du CSAIL a modifié 131 072 paramètres dans le modèle d’Alibaba, empêchant ainsi ce dernier de se retrouver pris dans une boucle de raisonnement au lieu de fournir une réponse. Cette technique, appelée « Weight-Space Programming », n’a modifié que 0,016 % des 800 millions de poids du modèle. Les scores de Qwen au benchmark MATH-500 sont ainsi passés de 7,9 % à 48,1 %, et ceux au GSM8K de 13,8 % à 67,1 %. Les chercheurs précisent toutefois que GPT-6 Astra n’a pas enseigné de nouveaux concepts mathématiques à Qwen ; il a simplement débloqué des capacités que le modèle possédait déjà. Il reste à démontrer si cette approche est applicable à des modèles bien plus grands et plus complexes.

OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative « de pointe », notamment sa série de grands modèles de langage appelés « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT par OpenAI en novembre 2022 a accéléré l'essor de l'IA, conduisant à une utilisation généralisée de l'IA générative. En septembre 2026, ChatGPT est le cinquième site web le plus visité au monde.

OpenAI a lancé GPT-6 Astra en septembre 2026. Présenté comme l’aboutissement de « plusieurs années de recherche et de paris audacieux », il incarne, selon Sam Altman, PDG d'OpenAI, un « nouveau niveau de capacités » qui devrait favoriser l’entrepreneuriat, la créativité, la croissance économique et les découvertes scientifiques. Le lancement s'est fait par étapes, avec un accès prioritaire pour les entreprises du programme de cybersécurité « Daybreak », puis un déploiement auprès des abonnés aux formules ChatGPT Plus, Pro, Business et Enterprise.

Le modèle réparé par Astra appartient quant à lui à la famille de modèles Qwen d’Alibaba. En février 2026, Alibaba a officiellement lancé Qwen 3.5, un modèle natif de vision-langage à poids ouvert comprenant 397 milliards de paramètres. Celui-ci affiche d’excellents résultats en matière de raisonnement, de codage, de capacités d’agent et de compréhension multimodale. Il repose sur une architecture hybride qui combine l’attention linéaire via des réseaux Gated Delta et un système de mélange d’experts clairsemé.

Au cours de l'expérience menée par les chercheurs du MIT, le modèle GPT-6 Astra d’OpenAI a été utilisé pour identifier et résoudre un problème au sein du modèle d’IA Qwen3.5-0.8B d’Alibaba, améliorant ainsi considérablement ses performances mathématiques. Et tout cela sans avoir à entraîner à nouveau Qwen. Selon les chercheurs, Astra s'est contenté de modifier un très petit nombre de paramètres au sein du modèle d'IA pour résoudre le problème et le rendre plus « intelligent ».


L'expérience, décrite en détail dans un article de blog de recherche intitulé « Les LLM peuvent lire et écrire nativement les poids des réseaux neuronaux » (LLMs can natively read & write neural network weights), a été menée par les chercheurs Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT. Ils appellent cette technique « programmation dans l'espace des poids » (Weight-Space Programming).

Selon les chercheurs, l’idée derrière cette expérience était de vérifier si un modèle d’IA avancé pouvait comprendre le fonctionnement d’un autre modèle d’IA et modifier directement ses paramètres internes, appelés « poids », afin de résoudre des problèmes ou d’améliorer ses performances.

Comment l'IA GPT-6 Astra s'est mise en quête des défauts de Qwen

Pour cette expérience, les chercheurs ont donné à GPT-6 Astra accès au modèle Qwen3.5-0.8B d’Alibaba via un environnement Python. Ils ont également permis à Astra de tester les capacités et les performances de Qwen à l’aide d’exercices de mathématiques, avec une limite de 50 tentatives d’exécution du modèle. Cependant, les chercheurs n’ont pas autorisé Astra à réentraîner Qwen ni à utiliser les méthodes habituelles pour lui enseigner de nouvelles choses. Au lieu de cela, Astra a dû identifier le problème et le résoudre en modifiant directement une petite partie du modèle.

Selon l'article, lors des tests, Astra a constaté que les modèles Qwen se retrouvaient souvent bloqués, répétant sans cesse les mêmes raisonnements au lieu de résoudre un problème mathématique et de donner une réponse. Parfois, ils continuaient à se répéter jusqu’à atteindre leur limite maximale de réponse, fixée à 32 768 tokens.

Astra a ensuite identifié les parties du système interne de Qwen responsables de ce comportement et les a modifiées pour mettre fin à cette répétition. L'entreprise a modifié 131 072 poids pour résoudre le problème. Il est à noter que, même si ce chiffre peut sembler élevé, il ne représente que 0,016 % des 800 millions de poids que compte au total Qwen. En d'autres termes, Astra n'a modifié qu'une infime partie du modèle pour corriger un problème qui affectait ses réponses.

Une petite fraction de modifications pour de meilleurs performances mathématiques

GPT-6 Astra a-t-elle corrigé Qwen ? Oui. Selon l'article, après que Astra eut apporté ces modifications, le score de Qwen au test de référence MATH-500, qui évalue la résolution de problèmes mathématiques, est passé de 7,9 % à 48,1 %. Son score à un autre test de mathématiques, le GSM8K, a également augmenté, passant de 13,8 % à 67,1 %. Selon les chercheurs, ces modifications ont également amélioré la capacité de Qwen à suivre des instructions, son score IFEval passant de 21 % à 62,3 %.


Les chercheurs précisent toutefois qu’Astra n’a pas enseigné de nouveaux concepts mathématiques à Qwen. Il a plutôt résolu un problème qui empêchait le modèle de mener à bien son raisonnement et d’utiliser les capacités dont il disposait déjà.

Les chercheurs précisent néanmoins qu’il s’agit encore d’une expérience préliminaire et que cette technique présente des limites. Lors d’un autre test, Astra n’a pas pu déterminer, en se basant uniquement sur leurs poids, lequel des deux modèles d’IA avait été entraîné à se rallier à l’avis des utilisateurs. Elle n’y est parvenue qu’après que les chercheurs lui ont donné accès à des informations indiquant sur quoi les modèles concentraient leur attention.

L'équipe a publié les journaux de ses expériences et travaille actuellement à la mise au point d'un test de performance afin d'évaluer plus en détail cette technique. Bien que les résultats montrent qu'une IA est capable d'identifier et de corriger des problèmes au sein d'un autre modèle d'IA, il reste à voir si cette approche fonctionnera de manière fiable avec des modèles bien plus volumineux et complexes.

Cette capacité d’une IA à intervenir sur une autre confère une résonance particulière aux propos de Sam Altman, PDG d’OpenAI et l’une des personnalités centrales de la montée en puissance de l’IA. Dans un entretien récent, il a estimé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle aurait franchi le point de non-retour au-delà duquel elle dépasse l’intelligence humaine et devient difficile à contrôler.

Résumé de l'étude

Le résumé de l'article de recherche publié par les chercheurs du MIT est présenté ci-dessous :

« Si l'on vous demandait de créer de toutes pièces un réseau neuronal capable de jouer au Go, comment vous y prendriez-vous ? Si l'on vous remettait les poids bruts d'un réseau neuronal et qu'on vous demandait de prédire son comportement, par où commenceriez-vous ? Pour la quasi-totalité des êtres humains, cela relève pratiquement de l'impossible.

Aujourd’hui, les poids sont générés par des algorithmes d’optimisation, par des réseaux personnalisés entraînés à les créer, ou par des compilateurs à partir de programmes formels. Dans cet article, nous constatons que la génération actuelle de grands modèles de langage (LLM) de...