Anthropic a dévoilé deux nouveaux modèles d'IA, Claude Fable 5.2 et Claude Mythos 5.2, afin de renforcer sa position sur le marché en vue de son introduction en bourse prévue prochainement. L'entreprise a indiqué que ces nouveaux modèles génèrent des résultats jusqu'à 30 % plus rapidement que leurs prédécesseurs et offrent une communication plus claire avec les utilisateurs. Leur prix sera également inférieur à celui des versions précédentes, à savoir 8 dollars par million de jetons d'entrée et 40 dollars par million de jetons de sortie. Claude Fable 5.2 est conçu pour le codage, le raisonnement et les tâches des agents IA, tandis que Claude Mythos 5.2 est destiné aux applications approuvées dans les domaines de la cybersécurité et de la recherche en sciences de la vie. Anthropic, PBC est une société américaine d'intérêt public spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Son produit phare est Claude, une série de grands modèles de langage (LLM) propriétaires. En janvier 2021, dans le but de promouvoir la sécurité de l'IA, Anthropic a été fondée par d'anciens membres d'OpenAI, notamment les frère et sœur Daniela Amodei et Dario Amodei, qui en sont respectivement la présidente et le PDG.
Anthropic a dévoilé récemment deux nouveaux modèles d’IA, Claude Fable 5.2 et Claude Mythos 5.2. Ce concurrent d’OpenAI cherche ainsi à renforcer sa position sur le marché de l’IA, en pleine expansion, en vue de son introduction en bourse (IPO) prévue prochainement. L’entreprise a indiqué que ces nouveaux modèles génèrent des résultats jusqu’à 30 % plus rapidement que leurs prédécesseurs, les Claude 5.1, et offrent une communication plus claire avec les utilisateurs. Leur prix sera également inférieur à celui des versions précédentes de Fable et Mythos, à savoir 8 dollars par million de jetons d’entrée et 40 dollars par million de jetons de sortie.
Claude Fable 5.2 est conçu pour le codage, le raisonnement et les tâches des agents IA, tandis que Claude Mythos 5.2 est destiné aux applications approuvées dans les domaines de la cybersécurité et de la recherche en sciences de la vie. Anthropic a précisé que l’accès à Mythos 5.2 serait réservé aux organisations agréées dans le cadre de ses programmes de vérification pour la cybersécurité et la recherche en sciences de la vie. Fable 5.2, quant à lui, sera disponible à plus grande échelle.
Ce lancement fait suite à la mise sur le marché de Claude Haiku 5.5 par l'entreprise en octobre, alors qu'elle continue d'élargir son portefeuille de produits d'IA en vue de son introduction en bourse prévue. Cette nouvelle version intervient dans un contexte de concurrence de plus en plus intense dans le secteur de l'IA, où OpenAI, Google (filiale d'Alphabet) et Meta Platforms lancent à un rythme soutenu de nouveaux modèles axés sur le codage, le raisonnement et les agents IA afin d'attirer les développeurs et les entreprises.
Claude Fable 5.2 (Max, Default Fallback) figure parmi les modèles les plus performants en matière d’intelligence, mais il est particulièrement onéreux par rapport à d’autres modèles de prix similaire. Il est également très lent par tâche et très prolixe. Le modèle prend en charge les entrées de texte et d’images, génère du texte et dispose d’une fenêtre de contexte de 1 million de tokens. Claude Fable 5.2 (Max, Default Fallback) obtient un score de 65 à l'indice d'IA, ce qui le place bien au-dessus de la moyenne des modèles comparables (médiane : 40). Lors de l'évaluation de l'indice d'intelligence, il a généré 275 millions de tokens, ce qui est très prolixe par rapport à la médiane de 72,8 millions.
Le coût de Claude Fable 5.2 (Max, solution de repli par défaut) est de 8,00 $ par million de tokens d’entrée (cher, médiane : 2,00 $) et de 40,00 $ par million de tokens de sortie (cher, médiane : 10,00 $). En moyenne, l’évaluation de Claude Fable 5.2 (Max, Default Fallback) sur l’Intelligence Index coûte 26,54 $ par tâche. Avec un temps de 46,4 minutes par tâche de l’Intelligence Index, Claude Fable 5.2 (Max, Default Fallback) est nettement plus lent que la médiane de 12,6 minutes pour des modèles comparables (un temps plus court est préférable).
Par ailleurs, une enquête de onze semaines menée par l’organisation de recherche sur la sécurité de l’IA METR a confirmé que les capacités des modèles IA d'Anthropic ont progressé deux fois plus vite qu’il y a un an. Les évaluateurs de sécurité ont constaté que cette progression était principalement due à des outils d’IA internes plutôt qu’à une simple extension de l’infrastructure de calcul utilisée pour entraîner les architectures de base. Alors que le PDG d’Anthropic, Dario Amodei, a publiquement exhorté le secteur technologique à ralentir le développement, son entreprise fonctionne à un rythme opérationnel sans précédent, démontrant que les gains de productivité internes peuvent devancer les préparatifs réglementaires et de sécurité à l’échelle de l’ensemble du secteur. L’attention du secteur se porte désormais sur le calendrier de divulgation promis par Anthropic et les prochains examens réglementaires.
Voici la publication d'Anthropic sur les modèles Claude Fable 5.2 et Claude Mythos 5.2 :
Claude Fable 5.2 et Mythos 5.2
Nous avons mis à jour Claude Fable et Claude Mythos, deux modèles conçus pour relever les défis techniques les plus redoutables.
Claude Fable 5.2 et Claude Mythos 5.2 présentent des améliorations dans des domaines tels que la programmation, le raisonnement et la vision. Au cours des tests préalables à la sortie, ils ont aidé nos ingénieurs à mener à bien des migrations logicielles qui auraient autrement été impossibles, à concevoir de toutes pièces trois appareils électroniques fonctionnels, à résoudre deux problèmes ouverts en physique des trous noirs, à réaliser des progrès substantiels dans les évaluations robotiques et à formaliser la démonstration du dernier théorème de Fermat en 30 heures — parmi de nombreuses autres applications que nous aborderons ci-dessous.
Claude Fable et Claude Mythos reposent sur le même modèle sous-jacent. Fable est doté de solides mesures de sécurité en matière de cybersécurité et de biologie pour prévenir toute utilisation abusive, ce qui nous permet de le mettre à la disposition de tous les utilisateurs. Les organisations recherchant des applications utiles dans les domaines de la cybersécurité ou de la recherche biomédicale peuvent demander l’accès à Mythos via nos programmes « Life Sciences » et « Cyber Verification », récemment élargis.
Les testeurs ont constaté que Fable 5.2 et Mythos 5.2 communiquent plus clairement que les modèles Fable et Mythos précédents. Ils génèrent des résultats jusqu’à 30 % plus rapidement que Claude Fable 5.1 et Claude Mythos 5.1, et sont proposés à un prix inférieur : 8 $ par million de jetons d’entrée et 40 $ par million de jetons de sortie. Fable 5.2 et Mythos 5.2 sont également dotés d’un mode rapide en option, qui accélère la génération de jetons jusqu’à 2,5 fois. Le mode rapide est disponible au prix de 16 $ par million de jetons d’entrée et de 80 $ par million de jetons de sortie.
Sécurité et alignement
Afin de garantir que la sécurité et l’alignement suivent le rythme des capacités croissantes du modèle, nous avons mené des tests de sécurité approfondis avant la mise en production sur le modèle qui sous-tend Fable 5.2 et Mythos 5.2. Cela a notamment consisté à développer de nouvelles méthodes d’évaluation permettant de mieux cerner certains comportements préoccupants, tels que les échappements du bac à sable. Nous estimons que les risques majeurs liés à un désalignement restent faibles, et le modèle a obtenu des performances équivalentes, voire supérieures, à celles de nos modèles récents sur la plupart des mesures d’alignement. Les mesures de sécurité cybernétiques et biologiques de Fable 5.2 sont aussi robustes que celles de Fable 5.1, mais génèrent moins de blocages inutiles ; nous avons par ailleurs mis en place nos protections les plus solides à ce jour contre les attaques par distillation.
Quand utiliser Claude Fable 5.2 et Mythos 5.2 ?
Fable et Mythos sont les mieux adaptés aux travaux techniques les plus ambitieux et ouverts. Pour la plupart des tâches de programmation et de recherche de connaissances, nous recommandons aux utilisateurs de commencer par Claude Opus 5.5, notre modèle le plus performant pour une utilisation quotidienne, puis de passer à un autre modèle selon les besoins, en fonction de l’ampleur et de la complexité de leur travail — en optant pour Fable ou Mythos, ou en descendant vers Claude Sonnet 5.5 ou Claude Haiku 5.5. Fable 5.2 peut également jouer le rôle de « Conseiller » (les modèles Haiku, Sonnet ou Opus le consultent pour résoudre des problèmes plus complexes) ou d’« Orchestrateur » (il délègue les tâches les plus simples à des modèles plus légers).
Évaluation de Claude Fable 5.2 et Mythos 5.2
Performances des tests de référence. Le tableau des résultats ci-dessous montre que Claude Fable 5.2 et Mythos 5.2 surpassent Opus 5.5 dans presque toutes les fonctionnalités que nous avons évaluées :
Effort et efficacité. Avec un niveau d’effort « moyen » (réglage par défaut dans les applications Claude et Claude Code), Fable 5.2 peut accomplir des tâches complexes avec moins de tokens que Fable 5.1. Lors des premiers tests réalisés dans le cadre de l’évaluation de FrontierCode 2.0, Fable 5.2, réglé sur un niveau d’effort « élevé », a obtenu des résultats comparables à ceux d’Opus 5.5 réglé sur un niveau d’effort « maximal », pour un coût par tâche environ deux fois moins élevé. À un niveau d’effort « très élevé », il a également obtenu le meilleur score parmi tous les modèles commercialisés testés.
Programmation
Plus de 90 % des modifications intégrées au code source principal d’Anthropic sont désormais rédigées par Claude (sous la supervision d’un humain). Nous avons utilisé Fable 5.2 pour corriger des bugs tenaces en quelques minutes, optimiser les performances de l’ensemble de nos services et mener à bien des projets logiciels à forte valeur ajoutée qui, sans cela, auraient été trop longs ou trop coûteux à réaliser. Une équipe d’agents utilisant une version antérieure de Fable 5.2 a migré un service de production critique de Python vers Rust : ce service est désormais plus efficace, plus fiable et démarre environ 26 fois plus vite. Nous avons constaté que Fable 5.2 fait preuve d’un jugement technique solide et est capable de produire des résultats de haute qualité, même à partir de requêtes ambiguës.
À titre expérimental, un ingénieur d’Anthropic a confié à Fable 5.2 la tâche de concevoir un prototype de système d’exploitation. Partant d’un dossier vide, le modèle a coordonné plus de 1 000 sous-agents, travaillant sans relâche pendant huit jours à l’écriture, au test et à la révision du code. Il a produit un système d’exploitation fonctionnel qui démarre sur un ordinateur portable, doté de son propre noyau qui fait fonctionner la machine, de pilotes pour le disque, le clavier et le réseau, d’un stockage permanent de fichiers, de fenêtres, d’un écran de connexion, d’un programme d’installation et d’une fonctionnalité Claude intégrée.
Cybersécurité
Claude Mythos 5.2 est notre modèle le plus performant en matière d’ingénierie de la cybersécurité. Il détecte davantage de vulnérabilités que nos modèles précédents et est plus efficace pour les reproduire et les corriger (à noter que les mesures de sécurité de Claude Fable 5.2 bloqueront la plupart des tâches liées à la cybersécurité). Une entreprise spécialisée dans la sécurité a constaté qu’un bug confirmé sur six détecté par Claude Mythos 5.2 n’avait pas été repéré par aucun des autres modèles de pointe qu’elle avait testés.
Lors de notre évaluation interne, « CVE Rediscovery », Claude Mythos 5.2 a détecté 10,2 % de vulnérabilités en plus que Claude Opus 5.5 et 14,4 % de plus que Claude Mythos 5.1. Claude Mythos 5.2 fait également preuve d’un meilleur jugement et d’un meilleur calibrage : un testeur a constaté que les modèles précédents avaient surestimé la gravité d’environ 1 découverte sur 20, alors que Claude Mythos 5.2 n’en avait surestimé aucune.
Les fonctionnalités de cybersécurité de Claude Mythos 5.2 sont accessibles via notre programme « Cyber Verification », que nous continuons à développer et à améliorer. Les clients de Claude Enterprise (même s’ils ne sont pas membres du programme de vérification de la cybersécurité) peuvent accéder à Claude Security, qui analyse les bases de code à la recherche de vulnérabilités à l’aide de nos modèles les plus performants — parmi lesquels figure désormais Claude Mythos 5.2. Une mise à jour récente de Claude Security lui permet de surveiller les dépôts à mesure que le code est mis à jour, de suivre les résultats détectés pour s’assurer qu’ils sont corrigés, d’apprendre à partir de contextes supplémentaires et de se connecter aux outils d’un utilisateur via une API et le MCP.
Sciences et ingénierie
Les tâches essentielles dans les domaines des sciences, de l’ingénierie et des mathématiques reposent de plus en plus sur la programmation : l’analyse des données, la modélisation des molécules, la conception de pièces et le contrôle d’instruments s’effectuent tous à l’aide de logiciels. Nous expliquons ci-dessous comment Claude Fable 5.2 et Claude Mythos 5.2 ont aidé les chercheurs à progresser sur des problèmes complexes dans ces domaines.
Physique théorique : Claude Fable 5.2 a résolu deux problèmes ouverts en physique théorique. Tous deux concernent les trous noirs et les efforts visant à unifier les deux théories fondamentales de la physique moderne, la relativité et la mécanique quantique. Les deux résultats de Claude s’appuient sur la dualité holographique, l’idée selon laquelle certains univers soumis à la gravité peuvent être décrits avec précision par une théorie quantique ne comportant aucune gravité. Dans le premier problème, des physiciens avaient démontré en 1983 que, lorsque ces univers s’échauffent, des trous noirs se forment brusquement, à l’instar de l’eau qui bout ; mais leur méthode ne fonctionnait que dans de grands univers, suffisamment vastes pour que la relativité s’applique.
Un calcul visant à déterminer si cela était également vrai dans de très petits univers, où seule la description quantique peut être utilisée, avait été proposé en 2003, mais s’était avéré trop fastidieux à mener à bien. Fable 5.2, fonctionnant en grande partie de manière autonome, l’a mené à bien et a constaté que la transition y était également brusque. Dans le deuxième problème, Fable 5.2 a déterminé la limite exacte d’une technique utilisée depuis plus de 15 ans par les physiciens pour écarter les théories candidates de la gravité quantique dans un univers simplifié. Pour en savoir plus sur ces résultats, consultez leurs prépublications respectives, ici et ici.
Repliement des protéines : les virus adéno-associés sont de petits virus inoffensifs dont l’enveloppe protéique, la capside, peut être utilisée pour administrer des thérapies géniques. La structure protéique de la capside est importante — elle détermine notamment si la thérapie sera bloquée par le système immunitaire du patient — mais elle est également très complexe.
Les modèles existants de repliement des protéines, tels qu’AlphaFold, permettent de prédire le repliement de protéines individuelles, mais une capside est constituée de dizaines d’entre elles. S’appuyant sur deux modèles open source de repliement des protéines, Claude Mythos 5.2 a découvert une nouvelle méthode pour prédire avec précision la structure d’une capside entière. Il a écrit un code permettant d’exécuter ces modèles sur des groupes de chaînes protéiques qui se chevauchent, puis a utilisé les informations relatives aux symétries connues de la capside pour les fusionner.
Mathématiques
Formalisations mathématiques. La formalisation est le processus consistant à traduire une démonstration mathématique dans un langage qu’un ordinateur peut vérifier étape par étape. Elle peut aider les mathématiciens à avoir davantage confiance dans leurs résultats sans avoir à les vérifier manuellement (ce qui est d’autant plus important lorsque les modèles d’IA génèrent des résultats difficiles à vérifier par l’homme). La formalisation étant un processus très laborieux, si l’IA pouvait y contribuer, les mathématiciens pourraient consacrer davantage de temps à l’exploration d’idées novatrices. Notre première formalisation du dernier théorème de Fermat, réalisée par une version de recherche non encore publiée de Claude, a pris 11 jours. Elle s’est appuyée sur un cadre spécialement conçu à cet effet ainsi que sur les conseils d’un chercheur humain.
En revanche, une équipe de 1 000 agents Fable 5.2 a entièrement formalisé le théorème en seulement 30 heures, avec une intervention humaine minimale. Fable 5.2 est parti de consignes minimales, a mis au point ses propres méthodes de coordination et n’a utilisé aucune référence mathématique, seulement une liste d’énoncés intermédiaires du théorème pour évaluer ses progrès. Il a eu besoin d’un tiers moins de jetons d’action que notre première formalisation et a produit une démonstration sept fois plus courte. Comme le montre la figure ci-dessous, Opus 5.5 (avec la même configuration de 1 000 agents) n’a achevé que 26 % de la formalisation en 18 heures et n’a pratiquement pas progressé au-delà de 30 heures.
Matériel et robotique
Bon nombre des avantages potentiels de l’IA — par exemple, l’accélération de la recherche en laboratoire — dépendent de sa capacité à agir dans le monde physique. Claude Fable 5.2 s’inscrit dans la lignée de nos modèles, dont l’utilité dans le monde réel ne cesse de croître, en affichant des résultats prometteurs sur des tâches telles que la conception de dispositifs matériels et des avancées significatives dans le contrôle de robots physiques.
Ingénierie matérielle. Nous avons testé les compétences de Fable 5.2 en ingénierie matérielle en lui demandant, dans une consigne d’un paragraphe, de concevoir et de produire trois appareils électroniques fonctionnels dotés de leurs propres circuits imprimés, de boîtiers imprimés en 3D et de logiciels. Les appareils, étaient un hub d’assistant vocal domestique, un haut-parleur USB et un animal de compagnie virtuel portable. Nous avons collaboré sur ce projet avec Diode, une entreprise qui conçoit et fabrique des circuits imprimés.
Claude a rédigé ses propres cahiers des charges, sélectionné les composants électroniques disponibles auprès de distributeurs américains, tracé le circuit imprimé à quatre couches de chaque appareil, modélisé les boîtiers à l’aide d’un logiciel de conception assistée par ordinateur et programmé le logiciel des appareils. Chaque carte était prête à être fabriquée en moins d’une journée, avec une intervention humaine minimale. Une fois les cartes assemblées par Diode, Claude a guidé les ingénieurs de l’entreprise tout au long des phases de test et d’assemblage des appareils. Les trois appareils ont fonctionné sans nécessiter la moindre modification électrique.
Robotique. Par rapport aux modèles précédents de Claude, Fable 5.2 fait preuve de compétences nettement améliorées dans le contrôle de robots physiques, même pour des tâches robotiques pour lesquelles il n’a jamais été explicitement formé. Des robots contrôlés par Fable 5.2 accomplissant diverses tâches, notamment résoudre un cube de Rubik, dévisser un bouchon de bouteille et dessiner un robot. Lors du benchmark public RoboDojo, qui teste la capacité des IA à contrôler un robot simulé à deux bras à partir d’images de caméra, Fable 5.2 a surpassé d’autres modèles de pointe exécutés sur le même harnais, ainsi que la plupart des systèmes d’IA spécialement conçus pour contrôler des robots.
Recherche et analyse
Les premiers testeurs ayant utilisé Claude Fable 5.2 pour des tâches de recherche et d’analyse ont constaté qu’il était capable de traiter des tâches plus ambiguës et impliquant un volume important de données que les modèles précédents, et qu’il faisait preuve d’un meilleur jugement sur les tâches ambiguës — en particulier celles nécessitant un raisonnement abstrait et de la conception. La société de trading pour compte propre Jump Trading a testé Fable 5.2 sur des évaluations par procuration s’apparentant à certaines de ses tâches de recherche quantitative, en l’intégrant dans un environnement similaire à celui que la société utilise pour ses propres recherches.
Au cours d’un cycle, Fable 5.2 a efficacement assumé tous les rôles nécessaires : développeur de code, coordinateur, planificateur et soumissionnaire de tâches. Les modèles précédents nécessitaient un investissement en temps considérable pour rééquilibrer manuellement les rôles afin de tenir compte des forces et des faiblesses des différents modèles.
Sécurité et alignement
Aucun test ne permet à lui seul de prédire le comportement d’un modèle très performant une fois déployé ; c’est pourquoi nous nous appuyons sur de nombreux tests et différents types de données avant sa mise en service. Pour le modèle sous-jacent à Claude Fable 5.2 et Claude Mythos 5.2, notre travail sur la sécurité avant déploiement a notamment consisté en un entraînement et des tests d’alignement, en des évaluations nouvellement conçues portant sur la propension du modèle à entreprendre des actions inappropriées, en la mise en place de mesures de protection renforcées contre les utilisations abusives, et en l’intensification de notre surveillance comportementale. Le modèle a également été testé avant sa mise en service par des évaluateurs externes, notamment l’AI Security Institute (Royaume-Uni), Frontier Design et METR.
Tests d’alignement. Nous avons mené une série d’évaluations visant à déterminer dans quelle mesure Claude Fable 5.2 et Claude Mythos 5.2 sont bien alignés sur le plan comportemental, en testant la fréquence à laquelle ils adoptent des comportements imprévus et potentiellement dangereux. En tenant compte de l’ensemble des résultats observés lors de ces différentes évaluations, nous avons estimé que le risque que ces modèles adoptent des comportements dangereux dans des situations à enjeux élevés est faible (à l’instar de nos autres modèles récents).
Nous avons testé Claude Mythos 5.2 (le même modèle sous-jacent que Fable 5.2, mais dépourvu de certaines mesures de sécurité en matière de cybersécurité ou de biologie) dans le cadre de notre audit comportemental automatisé, qui évalue le comportement d’un modèle à travers environ 1 900 scénarios. Claude Mythos 5.2 a obtenu des résultats équivalents, voire supérieurs, à ceux d’Opus 5.5, de Sonnet 5.5 et de Claude Mythos 5.1 pour la plupart des critères évalués. Par exemple, il a obtenu de meilleurs résultats que ces trois modèles sur la plupart des critères liés à la désinformation des utilisateurs. Les cas d’hallucinations sur les données d’entrée, les fausses déclarations concernant l’achèvement d’une tâche, l’omission d’informations importantes et la non-divulgation d’un travail de mauvaise qualité ou bâclé étaient tous moins fréquents avec Claude Mythos 5.2.
Au cours de nos tests, nous avons accordé une attention particulière aux comportements ayant contribué à des incidents récents notables en matière de cybersécurité et d’alignement. Par exemple, nous avons constaté que Claude Mythos 5.2 avait moins tendance que Opus 5.5, Sonnet 5.5 et Mythos 5.1 à se livrer à un raisonnement biaisé ou motivé (un tel raisonnement pourrait l’amener à « écarter » les preuves indiquant qu’il ne se trouve pas dans une simulation et, par conséquent, à...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.