Les assistants d'IA de codage sont censés accélérer le développement de logiciels. Les entreprises d'IA comme Microsoft affirment que leurs outils améliorent déjà la productivité des développeurs, mais les études rigoureuses indépendantes révèlent le contraire. Une nouvelle étude du Model Evaluation & Threat Research rapporte que l'utilisation d'outils d'IA fait perdre du temps aux développeurs. Ils s'attendaient à une augmentation de 24 % de leur productivité, mais l'équipe a constaté un ralentissement de 19 %. Une précédente étude a révélé que l'utilisation d'outils d'IA n'augmente pas la vitesse de codage, mais augmente significativement le taux de bogues.Le débat se poursuit au sein de la communauté des développeurs, avec des opinions divergentes sur les véritables avantages en matière de productivité des outils d'IA de codage, soulignant la nécessité d'une évaluation minutieuse de leur impact dans le monde réel. Si certaines entreprises ont fait état de gains de productivité significatifs grâce aux outils d'IA, d'autres ont constaté qu'ils introduisaient des erreurs et compliquaient les processus de débogage.
Les outils de codage ont été un cas d'utilisation précoce évident dans la ruée vers l'IA générative. Cependant, certaines observations montrent que les développeurs débutants ont souvent du mal à égaler l'efficacité des développeurs confirmés, même lorsqu'ils se font aider par les assistants d'IA.
La nouvelle étude du Model Evaluation & Threat Research (METR) rapporte que les outils d'IA de codage ralentissaient les développeurs, alors qu'on s'attendait à ce qu'il en soit autrement. Le METR est un organisme à but non lucratif qui se consacre à l'évaluation des capacités et de l'alignement des modèles d'apprentissage automatique. Il collabore avec des laboratoires d'IA tels qu'Anthropic et OpenAI pour réaliser des évaluations préliminaires de leurs modèles.
Méthodologie
L'étude a porté sur 16 développeurs expérimentés qui travaillent sur de grands projets open source. Les développeurs ont fourni une liste de problèmes réels (corrections de bogues, nouvelles fonctionnalités, etc.) qu'ils devaient traiter - 246 au total - et ont prévu combien de temps ces tâches allaient prendre. Ensuite, les chercheurs ont attribué au hasard à chaque problème l'autorisation ou l'interdiction d'utiliser l'IA pendant le travail sur le problème.
Lorsque l'IA est autorisée, les développeurs peuvent utiliser les outils de leur choix (principalement Cursor Pro avec Claude 3.5/3.7 Sonnet) ; lorsqu'elle est interdite, ils travaillent sans l'aide de l'IA générative. Les développeurs accomplissent ces tâches (qui durent en moyenne deux heures chacune) tout en enregistrant leur écran, puis déclarent eux-mêmes le temps total de mise en œuvre dont ils ont eu besoin. Le travail s'est déroulé entre février et juin 2025.
Principaux résultats
Lorsque les développeurs sont autorisés à utiliser des outils d'IA, ils mettent 19 % plus de temps à résoudre les problèmes, ce qui représente un ralentissement significatif qui va à l'encontre des convictions et des prévisions des experts. L'écart entre la perception et la réalité est frappant : les développeurs s'attendaient à ce que l'IA les accélère de 24 %, et même après avoir subi le ralentissement, ils pensaient encore que l'IA les avait accélérés de 20 %.
« Nous pouvons clairement constater que les développeurs mettent beaucoup plus de temps lorsqu'ils sont autorisés à utiliser des outils d'IA », ont écrit les chercheurs dans leur rapport. L'équipe indique que le ralentissement induit par l'IA générative peut être attribué à cinq facteurs :
- optimisme excessif quant à l'utilité de l'IA (les développeurs avaient des attentes irréalistes) ;
- grande familiarité des développeurs avec les référentiels (les développeurs étaient suffisamment expérimentés pour que l'aide de l'IA n'ait rien à leur apporter) ;
- référentiels vastes et complexes (l'IA est moins performante dans les grands référentiels de plus d'un million de lignes de code) ;
- faible fiabilité de l'IA (les développeurs ont accepté moins de 44 % des suggestions générées et ont ensuite passé du temps à les nettoyer et à les réviser) ;
- contexte implicite du référentiel (l'IA ne comprenait pas le contexte dans lequel elle opérait).
D'autres considérations telles que la latence de génération de l'IA et l'incapacité à fournir aux modèles un contexte optimal (entrée) peuvent avoir joué un rôle dans les résultats, mais les chercheurs affirment qu'ils ne sont pas certains de l'impact de ces éléments sur l'étude.
L'IA n'est pas toujours à la hauteur des espérances
D'autres études ont tiré des conclusions similaires. Une étude de l'entreprise Qodo, spécialisée dans les outils d'IA de codage, a montré que certains des avantages de l'assistance logicielle de l'IA sont amoindris par la nécessité d'effectuer un travail supplémentaire pour vérifier les suggestions de code de l'IA. Une étude économique a montré que l'IA générative n'a eu aucun impact sur l'emploi ou les salaires, sur la base de données provenant du Danemark.
Une étude d'Intel a montré que les PC propulsés par l'IA rendent les utilisateurs moins productifs. Enfin, les employés d'un centre d'appel d'une compagnie d'électricité chinoise affirment que si l'assistance de l'IA peut accélérer certaines tâches, elle les ralentit également en créant davantage de travail.
Les outils d'IA de codage augmentent le taux de bogues
Une étude publiée en septembre 2024 par la société d'analyse Uplevel indique que les améliorations de productivité promises par l'IA sont loin d'être au rendez-vous, si tant est qu'elles existent. Uplevel rapporte que l'utilisation de GitHub Copilot (de Microsoft) n'augmente pas la vitesse de codage, mais augmente significativement le taux de bogues. Selon les données de l'étude, l'utilisation de GitHub Copilot a introduit 41 % de bogues supplémentaires.
« Cela suggère que Copilot peut avoir un impact négatif sur la qualité du code. Les responsables de l...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
, trop de gens croient que l'IA c'est magique mais non, il faut quand même un minimum de réflexion/vérification derrière si on veut garder un code propre, maintenable et surtout qui fait ce qu'on veut.