Les outils de développement GenAI n'améliorent pas l'efficacité du codage et augmentent le nombre de bogues : avec Microsoft Copilot les développeurs ont constaté une augmentation de 41 % des bogues

Les outils de développement GenAI n'améliorent pas l'efficacité du codage et peuvent même augmenter le nombre de bogues : les développeurs ont constaté une augmentation de 41 % des bogues.

Un rapport d'Uplevel suggère que les outils de développement d'IA générative n'améliorent pas l'efficacité du codage et peuvent même augmenter le nombre de bogues. Le rapport révèle que les développeurs ont constaté une augmentation de 41 % des bogues après la mise en œuvre de Microsoft Copilot.

Un rapport révèle un décalage entre les dirigeants qui sont pressés à adopter les outils de codage IA et les développeurs qui sont plus prudents à l'égard de l'IA. Le rapport montre que les directeurs techniques et les RSSI sont cinq fois plus nombreux que les développeurs à penser que les outils de codage IA ne présentent aucun risque et deux fois plus nombreux que les développeurs à penser qu'ils sont "extrêmement prêts" à adopter des outils de codage IA.

Dans l'ensemble, le rapport constate que la sécurité du code généré par l'IA n'est pas une préoccupation majeure pour la majorité des organisations interrogées. Près des deux tiers (63,3 %) des personnes interrogées considèrent que la sécurité est excellente ou bonne, et seulement 5,9 % la considèrent comme mauvaise.

Un nouveau rapport d'Uplevel suggère que les outils de développement actuels basés sur la GenAI n'ont pas tendance à améliorer l'efficacité du codage et peuvent même augmenter le taux de bogues. Après la mise en œuvre de Microsoft Copilot, les développeurs ont constaté une augmentation de 41 % des bogues.


Alors que l'IA est souvent présentée comme la solution à toutes sortes de tâches, il semble qu'elle n'améliore pas toujours les choses lorsqu'il s'agit de développer des logiciels. L'étude, menée par Uplevel Data Labs, la branche d'Uplevel spécialisée dans la science des données, a porté sur un échantillon de 800 développeurs de logiciels appartenant à de grandes équipes d'ingénieurs et dont les organisations avaient adopté GitHub Copilot de Microsoft, un assistant de codage et un outil de développement basé sur la GenAI.

L'étude révèle que les développeurs utilisant Copilot n'ont pas constaté d'augmentation de la vitesse de codage. En termes de temps de cycle des demandes d'extraction (PR) (le temps nécessaire pour fusionner le code dans un dépôt) et de débit des PR (le nombre de demandes d'extraction fusionnées), Copilot n'a ni aidé ni nui aux développeurs.

Après la mise en œuvre de Copilot, les développeurs ont constaté une augmentation de 41 % des bogues dans les demandes d'extraction, ce qui suggère que l'outil peut avoir un impact sur la qualité du code. L'étude suggère également que l'utilisation de Copilot n'a qu'un effet limité sur le temps que les développeurs consacrent au travail en dehors des heures de travail. Ce temps a diminué de 17 % pour ceux qui ont accès à Copilot, mais surtout de 28 % pour un groupe de contrôle composé de ceux qui n'y ont pas accès.

Joe Levy, PDG d'Uplevel déclare : "Les équipes d'ingénieurs d'aujourd'hui cherchent à allouer leur temps au travail de plus grande valeur, à réaliser ce travail aussi efficacement que possible, et à le faire sans s'épuiser. Elles s'appuient sur les données pour prendre des décisions, et pour l'instant, les données ne montrent pas de gains appréciables dans ces domaines spécifiques grâce à l'IA générative."

Il ajoute : "Mais l'innovation évolue rapidement, et nous ne suggérons pas aux développeurs d'ignorer les outils basés sur l'IA générative tels que Copilot, Gemini ou CodeWhisperer. Ces outils sont tous nouveaux, il y a une courbe d'apprentissage et la plupart des équipes doivent encore trouver les cas d'utilisation les plus efficaces pour améliorer la productivité. Nous continuerons à observer ces informations au fur et à mesure que l'adoption de la GenAI continuera à croître, et nous recommandons à tous ceux qui investissent dans des outils GenAI de faire de même."


À propos d'Uplevel

Uplevel fournit un système de décision dont les leaders de l'ingénierie ont besoin pour prendre les bonnes décisions. En interprétant et en corrélant les données provenant de la gestion du travail, du code, de CI/CD, du calendrier, du chat et des outils de réponse aux incidents, Uplevel vous aide à aligner les investissements sur les résultats afin que vous puissiez fournir les bonnes choses de la bonne manière.

Source : "Can GenAI Actually Improve Developer Productivity?" (Uplevel)

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Génération de code à l'aide de grands modèles de langage : 62 % du code généré contient des erreurs d'API qui auraient des conséquences inattendues si le code était introduit dans un logiciel réel

Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness

Les développeurs utilisent l'IA pour déboguer leur code, des rapports de tests, et même créer des applications, mais ils sont confrontés a des biais et des erreurs, d'après Applause