Une équipe de 5 modèles Qwen3.8-27B bat Fable 5 sur LiveCodeBench Hard, dans le cadre d'un workflow Memdoor

Cinq agents Qwen3.8-27B ont battu Fable 5 sur LiveCodeBench Hard, dans le cadre d’un workflow Memdoor. Memdoor est un agent de codage et un exécuteur de workflows. Il permet de confier à l’agent la tâche de lire des fichiers, de modifier du code et d’effectuer des vérifications. Pour les tâches répétitives, un workflow coordonne les étapes de vérification, les tâches parallèles et les étapes de validation. Le harnais des auteurs a obtenu un score de 9,6 et Fable 5, en un seul appel, 8,0. En tout, l’écart mesuré par les auteurs sur ces dix problèmes, sur l’ensemble des 100, est de 92,4 et 90,4.

Alibaba Cloud est une entreprise de cloud computing, filiale du groupe Alibaba. Alibaba Cloud fournit des services de cloud computing aux entreprises en ligne et à l'écosystème de commerce électronique d'Alibaba. Elle propose des services cloud disponibles selon un modèle de paiement à l'utilisation, notamment des ressources de calcul élastiques, le stockage de données, des bases de données relationnelles, le traitement du Big Data, la protection contre les attaques DDoS et des réseaux de diffusion de contenu (CDN).

Fin août, Alibaba Cloud a lancé Qwen3.8-Flash-Next, un modèle d'intelligence artificielle (IA) multimodal de type « mixture-of-experts », offrant un premier aperçu de l'architecture de la future famille Qwen4. Cette refonte architecturale porte à la fois sur le mécanisme d'attention, les connexions résiduelles, l’intégration et l’optimisation. Qwen3.8-Flash-Next dispose d'un modèle principal de 125 milliards de paramètres, complété par 51 milliards de paramètres supplémentaires, dont seuls 6 milliards sont activés par token. Alibaba revendique de meilleurs résultats en matière de codage et dans les tâches bureautiques par rapport à Qwen3.7-Plus, pour un coût d'entraînement environ neuf fois moindre, avec un contexte s'étendant jusqu'à 1 million de tokens via YaRN.

Récemment, cinq agents Qwen3.8-27B ont battu Fable 5 sur LiveCodeBench Hard, dans le cadre d’un workflow Memdoor. Memdoor est un agent de codage et un exécuteur de workflows. Il permet de confier à l’agent la tâche de lire des fichiers, de modifier du code et d’effectuer des vérifications. Pour les tâches répétitives, un workflow coordonne les étapes de vérification, les tâches parallèles et les étapes de validation. Exécutez-le avec un modèle local ou un fournisseur sur votre clé.

Selon le rapport, le harnais GVS5H a été reconstruit en reprenant exactement les consignes et la boucle des auteurs. Sur les dix premiers problèmes de leur liste, avec cinq passages chacun : une moyenne de 9,8 sur 10. Le harnais des auteurs a obtenu un score de 9,6 et Fable 5, en un seul appel, 8,0. En tout, l’écart mesuré par les auteurs sur ces dix problèmes, sur l’ensemble des 100, est de 92,4 et 90,4. Les 50 exécutions sont toutes publiées : chaque requête, réponse, programme et sortie du correcteur. Le workflow est au format YAML et ne spécifie aucun modèle.

Voici un extrait du rapport :

Le résultat

Le harnais des auteurs sur le même modèle, Qwen3.8-27B, avec leurs invites, une boucle et une limite de réponse de 128K. Les dix premiers problèmes de leur liste « Hard » de LiveCodeBench, cinq passages chacun, notés sur chaque test caché à l'aide de leur correcteur :


Les colonnes des auteurs : les fichiers de résultats réévalués dans leur dépôt, les chiffres de leur article. Les nôtres : bench/results/parity-5pass/, les 50 exécutions, chacune avec toutes les requêtes et réponses, le programme, la sortie du correcteur et le coût. Une médiane de 40 minutes et 0,39 $ par exécution ; 35,79 $ pour les 50.

Ce que cela montre et ce que cela ne montre pas :

- Échantillon : dix problèmes, cinq passages, contre les 100 des auteurs. 9,8 et 9,6 sont dans la marge d’erreur. L’affirmation porte sur la parité avec leur harnais.
- Contamination : les concours datent du printemps 2025 ; le modèle a peut-être déjà été confronté à ces problèmes. Ce n’est pas exclu pour aucune colonne.
- Fable 5 : un appel par problème, issu des fichiers des auteurs, non exécuté dans ce harnais.
- Sur ces dix problèmes, les données des auteurs pour cinq passages : Fable 5 à 80, leur harnais à 96. Le score de 98 du workflow reproduit cet écart. Sur l’ensemble de leurs 100 problèmes : 92,4 et 90,4 (leur fichier patched_verdicts.json).
- La boucle examine les échantillons publics ; le score correspond aux tests cachés.
- Hôte : OpenRouter, et non une machine locale.
- Le problème manquant : le responsable a inventé un contre-exemple erroné et l’équipe a réécrit un programme correct. À deux autres occasions, un programme correct a été écrasé puis récupéré. Ces deux cas constituent des lacunes dans la boucle des auteurs, conservées telles quelles.

Sources : Memdoor , Rapport

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les modèles à poids ouverts chinois n'accusent désormais plus que 4,4 mois de retard sur les modèles fermés américains et coûtent environ 5 fois moins cher, selon une étude de la Fondation Mozilla

Le modèle d'IA frontière de Google « Gemini 4 Carbon » détrône GPT-6 Astra et Claude Opus 5.5 à un prix inférieur, avec des progrès en matière de programmation, de tâches agentiques et de cybersécurité

Quel est le meilleur modèle d'IA pour la révision de code ? GPT-5.6 Luna a détecté 75 % des bugs repérés par GPT-6 Astra, pour un coût 28 fois inférieur, selon Entelligence AI