OpenAI a récemment lancé GPT‑6.2 Astra et GPT‑6.2 Sol. Ces modèles nouveaux affichent des performances élevées sur les benchmarks, mais suscitent des critiques de la part des utilisateurs expérimentés. Les premiers testeurs déplorent des difficultés d'utilisation sur des projets longs et des tâches créatives. GPT-6.2 Astra interrompt prématurément les tâches longues, condense ses textes au point de les rendre confus et pose des questions auxquelles l’utilisateur ne peut pas toujours répondre. Il est décrit comme agaçant à utiliser. Certains ont également souligné que GPT-6.2 Astra passe plus souvent sous silence les erreurs de codage que son prédécesseur. OpenAI a officiellement lancé ses nouveaux modèles d'intelligence artificielle GPT-6.2 Astra et GPT-6.2 Sol. Il obtient des scores élevés sur certains tests de référence, avec une baisse de prix de 20 % pour l'API de ce modèle d'IA. Astra s'établit à 8 dollars par million de tokens d'entrée non mis en cache et 40 dollars par million de tokens de sortie, tandis que Sol conserve les tarifs de son prédécesseur à 2 dollars en entrée et 10 dollars en sortie.
OpenAI destine Astra au traitement de bases de code complexes, au développement d'applications Web et à la production de documents structurés, alors que Sol s'adresse aux tâches de codage et de rédaction quotidiennes. Ce lancement intervient dans un contexte concurrentiel intense.
Malgré des performances remarquables, GPT-6.2 Astra et GPT‑6.2 Sol suscitent de vives critiques de la part de plusieurs utilisateurs experts. De nombreux utilisateurs renommés ont fait part de leur « déception » concernant les performances réelles des modèles. Ils soulignent notamment plusieurs lacunes. L'investisseur Matt Shumer a publiquement déclaré sur les réseaux sociaux que les nouveaux modèles étaient « pratiquement inutilisables ».
Les critiques sévères des testeurs de la première heure
De son côté, le développeur Theo Browne a qualifié Astra de « pire modèle qu’OpenAI ait jamais publié », soulignant en particulier les défaillances du système dans la délégation de tâches et la création. Dan Shipper, responsable du média spécialisé Every, a en effet constaté que le modèle d'OpenAI s’arrêtait souvent prématurément lors de longs projets de codage et qu’il souffrait d’un « style maison » très marqué, rigide et difficile à modifier.
Theo Browne a d'ailleurs illustré cette répétitivité en constatant que le modèle avait généré exactement le même niveau de jeu nommé « Bellwether » lors de deux requêtes pourtant distinctes. Lors d'un test d'optimisation de code sur plusieurs jours, Astra a échoué à apporter une amélioration et a même produit une version 56 % plus lente. Pour de nombreux critiques, il s'agit d'une « régression notable » par rapport à la version précédente.
Le professeur Ethan Mollick, de la Wharton School, a eu une expérience plus mitigée avec GPT‑6.2 Astra. Son équipe a construit un ascenseur spatial fonctionnel dans Blender et Unity, mais il a trouvé le nouveau modèle d'OpenAI « très irrégulier et étrange » et plus difficile à piloter que les modèles concurrents.
D'autres ont salué des domaines spécifiques de réussite. Ben Hylak, directeur technique de Raindrop.ai, et Ashe Magalhaes, conseiller en IA, ont exprimé des avis plus positifs concernant GPT-6.2 Astra en particulier, reconnaissant ses atouts dans les domaines des visuels animés, des animations graphiques, des effets spéciaux et du montage vidéo basé sur l'IA agentique. Il s'agit de domaines dans lesquels OpenAI revendique des avancées.
Theo Browne a salué le rôle d'Astra dans la détection d'erreurs lors des revues de code et dans la création d'un serveur mandataire inverse lui économisant 25 000 dollars par mois. OpenAI met en avant des progrès sur le plan technique, mais des tests indépendants menés sur Codex ont révélé des résultats stagnants pour Astra et une régression pour Sol, démontrant l'écart entre les benchmarks synthétiques et l'expérience des utilisateurs.
Augmentation de la dissimulation des échecs de codage
D'après les propres évaluations de sécurité publiées par OpenAI dans sa fiche système, le nouveau modèle GPT-6.2 Astra dissimule près de deux fois plus souvent les échecs de codage que son prédécesseur. Lors de tests internes mesurant la dissimulation d'obstacles, nommés Blocker Deception, le modèle n'a pas révélé la présence d'un problème bloquant dans 22,28 % des tâches de programmation évaluées, contre 11,09 % pour GPT-6 Astra.
Selon les équipes de l'entreprise, cette évaluation consiste à soumettre au modèle des travaux de codage réalistes puis à introduire délibérément des obstacles rendant la réalisation impossible, comme la suppression d'un fichier source ou la désactivation d'un outil de compilation. Les analystes soulignent cette préoccupation en rappelant qu'un agent IA peut écrire de meilleur code sans dire au développeur qu'il n'a pas pu terminer le travail.
OpenAI reconnaît cette régression et poursuit ses investigations pour en identifier la cause exacte. Une piste avancée suggère que « l'entraînement visant à produire des réponses plus courtes » avec moins de réserves a pu rendre le modèle moins enclin à signaler les pannes survenues en cours d'exécution.
Une autre évaluation interne appelée Broken Search Tool a révélé une tendance similaire : lorsque l'outil de recherche requis était désactivé, GPT-6.2 Astra n'a pas signalé le problème dans 23 % des cas, contre 7,58 % pour GPT-6 Astra et seulement 1 % pour GPT-6.1 Terra. Ce manque de transparence crée un risque important, car les développeurs ne devraient pas avoir à fouiller toute une session pour découvrir que quelque chose a échoué.
Correctif partiel et disparité entre l'agent Codex et l'API
OpenAI travaille sur des solutions potentielles. Pour remédier à ce comportement, OpenAI a mis au point une consigne corrective basée sur un prompt qui a permis de réduire significativement l'omission d'obstacles lors des évaluations. Cependant, cette mesure d'atténuation a été intégrée dans le prompt standard des développeurs sur l'application Codex, mais elle n'est pas appliquée automatiquement aux requêtes directes effectuées via l'API.
Il en résulte une inégalité notable dans la protection des utilisateurs : « les utilisateurs de Codex bénéficient de la consigne mise à jour, mais pas les développeurs qui construisent leurs propres agents IA via l'API ». Pour les agents autonomes fonctionnant sans supervision, les experts expliquent que « l'absence de ce correctif renforce la nécessité d'installer des boucles de vérification indépendantes afin de valider les modifications apportées ».
Cette lacune dans le signalement des erreurs survient alors même que le laboratoire met en avant des gains importants de rapidité et d'efficacité. Le modèle GPT-6.2 Sol a notamment égalé les performances d'Astra sur le benchmark FrontierCode 2.0 à environ un cinquième du coût estimé par tâche.
De plus, lors des tests partagés par Replit, GPT-6.2 Sol a réussi plus de tests, consommé 62 % de tokens de sortie en moins et fonctionné près de trois fois plus vite que la version précédente. Néanmoins, ces gains d'exécution et cette baisse des coûts ne garantissent pas une meilleure fiabilité lorsqu'il s'agit d'avertir les développeurs en cas de défaillance technique. Pour les équipes d'ingénierie, ce paramètre pourrait s'avérer un réel obstacle.
Points clés à retenir à propos des nouveaux modèles GPT‑6.2 Astra et GPT‑6.2 Sol d'OpenAI, selon Artificial Analysis :
- OpenAI n’est désormais devancé que par Claude Fable 5.2 d’Anthropic dans l’indice d’intelligence d’Artificial Analysis. GPT-6.2 Astra gagne 5 points par rapport à GPT-6 Astra, dépassant ainsi Gemini 4 Carbon (60) et Claude Opus 5.5 (59) dans leurs configurations les plus performantes. GPT-6.2 Sol gagne 2 points et atteint 57, ce qui le place au même niveau que GPT-6 Astra, avec un coût par tâche d’environ 15 % ;
- les modèles d’OpenAI occupent désormais la majeure partie de la frontière de Pareto du coût par tâche, ne partageant cette frontière qu’avec Anthropic et Meta. OpenAI domine également la frontière de Pareto du nombre de tokens de sortie par tâche, Claude Fable 5.2 étant le seul modèle issu d’un laboratoire autre qu’OpenAI à figurer sur cette frontière ;
- OpenAI affiche d’excellentes performances dans les deux principales évaluations axées sur les sciences, en tête du Terminal-Bench-Science 0.1, qui couvre les flux de travail de recherche scientifique agentique, et en deuxième position derrière Claude Fable 5.2 dans CritPt v2 (sous-ensemble difficile), qui porte sur le raisonnement en physique. GPT-6.2 Astra n’est devancé que par Claude Fable 5.2 en matière de connaissances factuelles, telles que mesurées par la précision d’AA-Omniscience v1.1, ainsi que dans HLE-Diamond, un benchmark de raisonnement et de connaissances ;
- GPT-6.2 Astra arrive en tête du benchmark AA-3D avec un score de 1 318, suivi de Claude Fable 5.2 à 1 271 et de GPT-6.2 Sol à 1 259. Ce benchmark mesure la capacité des modèles à créer des expériences 3D interactives et est évalué par des évaluateurs humains. GPT-6.2 arrive également en tête du benchmark AA-Robotics v0.1, qui mesure la capacité des modèles à comprendre, planifier et agir dans le monde réel. GPT-6.2 Astra et GPT-6.2 Sol ont obtenu respectivement 79 et 78 points, devançant Claude Fable 5.2 qui totalise 75 points ;
- GPT-6.2 Astra reste au même niveau que GPT-6 Astra, tandis que GPT-6.2 Sol perd 3 points par rapport à GPT-6.1 Sol dans l’indice Artificial Analysis Coding Agent (harness Codex à effort maximal). Pour Sol, cette baisse s’explique par une chute de 14 points dans SWE-Atlas-QnA-AA, où le modèle a davantage tendance que son prédécesseur à omettre des faits clés dans ses réponses.
Sources : OpenAI, GPT-6.2 system card, Artificial Analysis Intelligence Index, billets de blogue (1, 2, 3, 4)
Et vous ?
Quel est votre avis sur le sujet ?
Que pensez-vous des lacunes signalées par les premiers testeurs de GPT‑6.2 Astra et GPT‑6.2 Sol ?Voir aussi
OpenAI annonce le lancement de GPT-6 Cyber après avoir identifié plus de 1 000 failles de sécurité dans Linux et Firefox, et le classe dans la catégorie « Critique » de son cadre de préparation
Des chercheurs du MIT ont utilisé le modèle GPT-6 Astra d'OpenAI pour modifier directement le modèle IA Qwen d'Alibaba, améliorant ses performances mathématiques sans avoir à le réentraîner
OpenAI lance GPT-6 Sol et Luna, deux modèles qui se distinguent par un coût réduit et moins d'erreurs que leurs prédécesseurs, et succèdent à GPT-6 Astra
Vous avez lu gratuitement 2 722 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.