Des tests révèlent les lacunes profondes du compilateur C créé par l'IA Claude d'Anthropic pour 20 000 dollars : l'outil est nettement moins efficace que GCC et peine à réaliser des optimisations de base

Des tests révèlent les lacunes profondes du compilateur C créé par l'IA Claude d'Anthropic pour 20 000 dollars : l'outil est nettement moins efficace que GCC et peine à réaliser des optimisations de base

Anthropic a annoncé qu'une équipe de 16 agents Claude Opus 4.6 ont écrit, en deux semaines et sans accès à Internet, un compilateur C en Rust de 100 000 lignes. Le compilateur est capable de compiler Linux et même le jeu Doom, ce qui a été présenté comme une démonstration spectaculaire des capacités de l'IA dans le développement logiciel. Cependant, lorsque l'on examine de plus près les performances réelles, l'utilité et la qualité du code, le discours passe de « percée révolutionnaire » à « expérience très coûteuse ». Avec un coût d'environ 20 000 $ en utilisation de jetons, le compilateur créé par Claude produit des binaires moins efficaces que GCC.

Le langage C a 53 ans. L'écosystème C dispose de suites de tests qui encodent les subtilités du langage. Il existe des compilateurs de référence, tels que GCC et Clang, qui servent de référence à chaque étape. De plus, il est probable que tous les nombreux compilateurs et outils C open source soient incorporés dans les données d'entraînement des grands modèles de langage (LLM) d'Antrhopic. Alors, le compilateur écrit par Claude est-il un réel exploit ?

Les développeurs n'en sont pas convaincus. Prétendre que les 16 agents Claude Opus 4.6 n'avaient pas accès à Internet est considéré comme trompeur par les critiques, car il faut tenir compte des données d'entraînement du modèle. Ils jugent que le coût de l'opération, environ 20 000 dollars, est « très peu efficace ». Les étudiants en informatique écrivent des compilateurs C tous les semestres dans leurs cours, avec des budgets beaucoup moins élevés.

À première vue, les gros titres semblent impressionnants. Le logiciel créé par les agents Claude peut compiler le noyau Linux 6.9 (couvrant les architectures x86, ARM et RISC-V) et exécuter le jeu classique Doom. Pour Anthropic, ce compilateur C est une démonstration du potentiel de Claude Code en matière d'ingénierie logicielle. Mais si l'on examine les détails et les tests effectués par la communauté, l'histoire est beaucoup moins impressionnante.

Comparaison du compilateur C d'Anthropic avec GCC et Clang

Les rapports des utilisateurs et les premiers benchmarks indiquent de sérieux goulots d'étranglement en matière de performances. Lorsque l'on compare les binaires produits par la solution de Claude à ceux de GCC, la différence est flagrante. Même avec ses « optimisations » internes activées, le compilateur généré par l'IA d'Anthropic produit un code qui s'exécute beaucoup plus lentement que GCC avec toutes les optimisations désactivées.


Dans le monde de la programmation système, il s'agit d'un défaut rédhibitoire. Plus précisément, un compilateur qui ne parvient pas à surpasser les performances de base non optimisées d'un outil vieux de trente ans n'offre aucune valeur pratique pour les environnements de production. Selon certains critiques, la qualité du code Rust généré par l'IA d'Anthropic est raisonnable, mais elle est encore loin d'égaler celle d'un programmeur Rust expert.

Le problème ne concerne pas seulement la vitesse, mais aussi l'exhaustivité de l'architecture. Le compilateur C généré par Claude ne dispose pas de son propre assembleur et éditeur de liens. Il effectue la traduction de haut niveau du C vers des représentations intermédiaires, mais confie finalement les tâches les plus lourdes (assemblage du code machine et liaison des bibliothèques) à l'installation GCC existante du système de l'utilisateur.

En outre, le compilateur C généré par Claude ne peut pas non plus gérer la compilation x86 16 bits. Cela signifie qu'il ne parvient pas à traiter le code de démarrage en mode réel requis pendant la séquence de démarrage de Linux, ce qui nécessite de recourir encore à GCC pour ces fichiers spécifiques.

Pourquoi l'IA générative peine à optimiser le backend

Les retours suggèrent que les modèles excellent pour les parties « faciles » de la conception des compilateurs, mais échouent dans la logique algorithmique complexe requise pour l'optimisation. Les compilateurs se composent de deux parties : le frontend (analyse du texte) et le backend (optimisation de la logique). L'IA excelle dans l'analyse, qui est une tâche linguistique. Claude Opus semble bien maîtriser la traduction de la syntaxe C en structures Rust.


Cependant, le backend implique des concepts mathématiques rigoureux : coloration de graphes pour l'allocation de registres, ordonnancement d'instructions, déplacement de code invariant de boucle et analyse du flux de contrôle. Il ne s'agit pas de modèles linguistiques, mais de casse-têtes logiques qui nécessitent un respect strict de la théorie des graphes et des contraintes matérielles. C'est à ce stade que Claude échoue lamentablement.

Le compilateur C d'Anthropic imite la structure de l'optimisation sans comprendre les mathématiques sous-jacentes. Il produit un code Rust qui ressemble à un compilateur, mais les algorithmes qu'il contient ne réduisent pas efficacement les cycles d'instructions et ne gèrent pas efficacement l'accès à la mémoire.

Cela prouve que si l'IA peut reproduire les éléments standard d'un système complexe, elle ne peut pas encore « raisonner » pour résoudre des problèmes d'ingénierie de haute performance. Les critiques craignent que les entreprises trop enthousiastes remplacent précipitamment les programmeurs humains par l'IA. Les conséquences sur le long terme pourraient être désastreuses, car l'IA n'est pas encore douée pour la logique et les mathématiques.

Le code généré par l'IA demeure difficile à maintenir

L'un des risques majeurs liés aux bases de code générées par l'IA est « l'impossibilité de les maintenir ». Lorsque les humains écrivent du code, ils construisent une carte mentale de la logique du système. Lorsqu'une IA génère 100 000 lignes de code, aucun être humain ne possède cette carte mentale. Ce qui représente un frein majeur à la maintenance du code. Pour corriger un bogue, il faut procéder à une ingénierie inverse de la logique de l'IA.


Si le « créateur » original (l'agent IA) n'est pas en ligne pour le corriger, le code devient « slop » : fonctionnel pendant un moment, mais devenu inutile dès que les exigences changent. Selon les critiques, les entreprises ayant remplacé leurs programmeurs par l'IA pourraient bientôt être confrontées à ce problème.

« Ma véritable inquiétude reste que les entreprises folles d'IA licencient les développeurs sans discernement et les remplacent par l'IA pour améliorer leurs résultats financiers. L'IA n'est tout simplement pas encore prête à prendre le relais des emplois de programmation, même si de nombreux PDG affirment qu'elle change déjà la donne. Non, c'est juste un outil utile qui nécessite une utilisation prudente et experte pour être efficace », rappelle un critique.

Analyse du coût de développement de 20 000 dollars

Dépenser 20 000 dollars pour reproduire un outil qui existe déjà gratuitement (GCC/Clang), et le reproduire de manière médiocre, soulève des questions. Pour le même montant, une entreprise pourrait embaucher un développeur junior pendant quelques mois. Ce développeur junior apprendrait, s'améliorerait et contribuerait à terme à la santé à long terme du code source. Les crédits consommés par l'IA lors de l'exécution sont un coût irrécupérable.

Le modèle n'apprend pas du projet d'une manière qui profite directement au projet suivant, et il ne reste pas pour corriger les bogues. Cependant, considéré comme de la recherche et du développement, le coût est justifiable. Selon certains analystes, l'expérience d'Anthropic prouve qu'il est possible de gérer la fenêtre contextuelle et la coordination de 16 agents parallèles. La valeur n'était pas le compilateur, mais les données du flux de travail.

Conclusion

Le compilateur généré par l'IA Claude d'Anthropic est une démo de laboratoire intéressante, mais rien de plus. Les développeurs ont mis en évidence des problèmes concrets. Il est incapable de compiler un simple « Hello World » sans que l'utilisateur spécifie manuellement les chemins vers les bibliothèques système. Il ne dispose pas de son propre assembleur ni de son éditeur de liens, et la démonstration a été réalisée en s'appuyant sur ceux de GCC.

Le code généré est moins efficace que GCC et certains projets ne compilent tout simplement pas. La vraie inquiétude est que des entreprises, aveuglées par le battage médiatique, licencient des développeurs pour les remplacer par une IA inefficace. L'IA reste un outil utile, mais elle exige une expertise humaine pour être efficace. Dans le cas contraire, ses lacunes pourraient augmenter la charge de travail plutôt que de la réduire.

Sources : Anthropic, rapports de la communauté (1, 2)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du compilateur C généré par l'IA Claude d'Anthropic ?
Selon vous, s'agit-il d'une prouesse de l'IA ou d'un simple effet de communication ?
Que pensez-vous des nombreuses lacunes du compilateur C généré par l'IA Claude d'Anthropic ?
Pensez-vous que l'IA générative sera en mesure de créer un meilleur compilateur C à l'avenir ? Pourquoi ?
La logique et les mathématiques restent le talon d'Achille de l'IA générative. Qu'en pensez-vous ?

Voir aussi

Nous avons chargé Claude Opus 4.6 d'utiliser des équipes d'agents pour construire un compilateur C, ce que cela nous a appris sur l'avenir du développement logiciel autonome

Comment j'utilise les agents IA pour écrire du code avec Claude Code par Nolan Lawson

Laissez l'agent de codage Copilot se charger des tâches fastidieuses : analyser votre référentiel, planifier des tâches en plusieurs étapes, créer des tickets et des pull requests par Bruno Capuano