Quel est l'impact de l'assistance IA sur l'acquisition de compétences en codage ? L'assistance IA a entraîné une baisse statistiquement significative du niveau de maîtrise, d'après une recherche

Des recherches montrent que l'IA aide les gens à accomplir certaines tâches plus rapidement. D'autres recherches montrent qu'ils délèguent leur réflexion à l'IA. On ne sait pas encore si ce transfert cognitif peut empêcher les personnes de développer leurs compétences au travail ou, dans le cas du codage, de comprendre les systèmes qu'elles construisent. Une nouvelle étude d'Anthropic, un essai contrôlé randomisé mené auprès de développeurs de logiciels, examine cet inconvénient potentiel de l'utilisation de l'IA au travail. Ils ont constaté que l'utilisation de l'assistance IA entraînait une baisse statistiquement significative de la maîtrise.

Dans le monde en rapide évolution des technologies éducatives, les observateurs tirent la sonnette d'alarme sur les conséquences imprévues des outils d'intelligence artificielle sur l'apprentissage des étudiants. Selon le développeur Namanyay, l'IA est en train de créer une génération de programmeurs illettrés et des nouveaux développeurs juniors qui ne savent pas coder. Dans ces analyses, il affirme que la génération actuelle de développeurs peut poser les bonnes questions à l'IA, mais ne comprend pas le fonctionnement du code produit par l'IA et ne possède pas les connaissances fondamentales de la programmation. Chaque fois que l'IA tombe en panne, ils se retrouvent de plus en plus impuissants.

Une étude de septembre 2025 semble confirmer ces propos. Des chercheurs de l'université de Tartu en Estonie ont découvert que le recours fréquent à l'IA, comme ChatGPT, dans les cours de programmation est corrélé à de moins bons résultats scolaires. L'étude suggère que si l'IA peut fournir des solutions et des explications rapides, elle peut court-circuiter les processus cognitifs approfondis essentiels à la maîtrise de sujets complexes. Les étudiants ont déclaré utiliser ces outils principalement pour résoudre des erreurs ou comprendre des concepts complexes, mais les données ont montré une corrélation négative entre la fréquence d'utilisation et les notes finales, ce qui suggère une dépendance excessive qui nuit au développement des compétences.

D'autres recherches montrent que l'IA aide les gens à accomplir certaines tâches plus rapidement. Dans une étude observationnelle des données de Claude.ai, Anthropic a constaté que l'IA pouvait accélérer certaines tâches de 80 %. Mais cette augmentation de la productivité s'accompagne-t-elle de compromis ? D'autres recherches montrent que lorsque les gens utilisent l'assistance IA, ils s'impliquent moins dans leur travail et réduisent les efforts qu'ils y consacrent. En d'autres termes, ils délèguent leur réflexion à l'IA.

On ne sait pas encore si ce transfert cognitif peut empêcher les personnes de développer leurs compétences au travail ou, dans le cas du codage, de comprendre les systèmes qu'elles construisent. Une nouvelle étude d'Anthropic, un essai contrôlé randomisé mené auprès de développeurs de logiciels, examine cet inconvénient potentiel de l'utilisation de l'IA au travail. Ils ont constaté que l'utilisation de l'assistance IA entraînait une baisse statistiquement significative de la maîtrise.

Lors d'un quiz portant sur des concepts qu'ils avaient utilisés quelques minutes auparavant, les participants du groupe IA ont obtenu des scores inférieurs de 17 % à ceux qui avaient codé à la main, soit l'équivalent de près de deux notes. L'utilisation de l'IA a légèrement accéléré la tâche, mais cela n'a pas atteint le seuil de signification statistique. L'utilisation de l'assistance IA ne garantissait pas un score plus faible. La manière dont une personne utilisait l'IA influençait la quantité d'informations qu'elle retenait. Les participants qui ont montré une meilleure maîtrise ont utilisé l'assistance IA non seulement pour produire du code, mais aussi pour renforcer leur compréhension pendant qu'ils le faisaient, que ce soit en posant des questions complémentaires, en demandant des explications ou en posant des questions conceptuelles tout en codant de manière indépendante.


Conception de l'étude

Ils ont recruté 52 ingénieurs logiciels (pour la plupart juniors), qui utilisaient tous Python au moins une fois par semaine depuis plus d'un an. Ils étaient au moins quelque peu familiarisés avec l'aide au codage par IA et qu'ils ne connaissaient pas Trio, la bibliothèque Python sur laquelle reposaient les tâches. Les chercheurs ont divisé l'étude en trois parties : un échauffement, la tâche principale consistant à coder deux fonctionnalités différentes à l'aide de Trio (ce qui nécessite de comprendre les concepts liés à la programmation asynchrone, une compétence souvent acquise dans un contexte professionnel) et un quiz.

Ils ont conçu la tâche de codage de manière à imiter la façon dont une personne pourrait apprendre à utiliser un nouvel outil grâce à un tutoriel autoguidé. Chaque participant a reçu une description du problème, un code de démarrage et une brève explication des concepts Trio nécessaires pour le résoudre. Ils ont utilisé une plateforme de codage en ligne avec un assistant IA dans la barre latérale qui avait accès au code des participants et pouvait à tout moment produire le code correct si on le lui demandait.1

Les chercheurs se sont appuyés sur des recherches en informatique pédagogique pour identifier quatre types de questions couramment utilisées Pour évaluer la maîtrise des compétences en codage, les chercheurs se sont concentrés sur le débogage, la lecture de code et les problèmes conceptuels.

- Débogage : capacité à identifier et à diagnostiquer les erreurs dans le code. Cette compétence est essentielle pour détecter les erreurs dans le code généré par l'IA et comprendre pourquoi il échoue.
- Lecture de code : capacité à lire et à comprendre ce que fait le code. Cette compétence permet aux humains de comprendre et de vérifier le code écrit par l'IA avant son déploiement.
- Conceptuel : capacité à comprendre les principes fondamentaux qui sous-tendent les outils et les bibliothèques. La compréhension conceptuelle est essentielle pour évaluer si le code généré

Résultats

En moyenne, les participants du groupe IA ont terminé environ deux minutes plus vite, bien que la différence ne soit pas statistiquement significative. Il y avait cependant une différence significative dans les résultats des tests : le groupe IA a obtenu en moyenne 50 % au quiz, contre 67 % pour le groupe de codage manuel, soit l'équivalent de près de deux notes (Cohen's d=0,738, p=0,01). L'écart le plus important entre les deux groupes concernait les questions de débogage, ce qui suggère que la capacité à comprendre quand un code est incorrect et pourquoi il échoue peut être un sujet de préoccupation particulier si l'IA entrave le développement du codage.


Analyse qualitative : modes d'interaction avec l'IA

L'un des résultats surprenant est de constater le temps que les participants ont passé à interagir avec l'assistant IA. Plusieurs d'entre eux ont passé jusqu'à 11 minutes (30 % du temps total alloué) à rédiger jusqu'à 15 requêtes. Cela explique pourquoi, en moyenne, les participants utilisant l'IA ont terminé plus rapidement, même si l'amélioration de la productivité n'était pas statistiquement significative. L'IA est plus susceptible d'augmenter considérablement la productivité lorsqu'elle est utilisée pour des tâches répétitives ou familières.

Les participants du groupe sans IA ont rencontré plus d'erreurs. Il s'agissait notamment d'erreurs de syntaxe et de concepts Trio, ces dernières correspondant directement aux sujets testés lors de l'évaluation. Les chercheurs émèttent l'hypothèse que les participants qui ont rencontré plus d'erreurs Trio (à savoir le groupe témoin) ont probablement amélioré leurs compétences en matière de débogage en résolvant ces erreurs de manière indépendante.

Modèles d'interaction à faible score

Les modèles à faible score impliquaient généralement une forte dépendance à l'IA, soit par la génération de code, soit par le débogage. Les scores moyens au quiz dans ce groupe étaient inférieurs à 40 %. Ils ont montré moins de réflexion indépendante et plus de déchargement cognitif. Les chercheurs ont ensuite séparés les résultats en :

- Délégation à l'IA (n=4) : les participants de ce groupe se sont entièrement appuyés sur l'IA pour écrire le code et accomplir la tâche. Ils ont accompli la tâche le plus rapidement et ont rencontré peu ou pas d'erreurs au cours du processus.

- Dépendance progressive à l'IA (n=4) : les participants de ce groupe ont commencé par poser une ou deux questions, mais ont finalement délégué toute l'écriture du code à l'assistant IA. Ils ont obtenu de mauvais résultats au quiz, principalement parce qu'ils ne maîtrisaient aucun des concepts de la deuxième tâche.

- Débogage itératif par l'IA (n=4) : les participants de ce groupe se sont appuyés sur l'IA pour déboguer ou vérifier leur code. Ils ont posé davantage de questions, mais se sont appuyés sur l'assistant pour résoudre les problèmes plutôt que pour clarifier leur propre compréhension. Ils ont donc obtenu de mauvais résultats et ont également été plus lents à accomplir les deux tâches.

Modèles d'interaction à score élevé

Les chercheurs ont considéré comme modèles de quiz à score élevé les comportements pour lesquels le score moyen au quiz était de 65 % ou plus. Les participants de ces groupes ont utilisé l'IA à la fois pour la génération de code et pour les requêtes conceptuelles.

- Génération puis compréhension (n=2) : les participants de ce groupe ont d'abord généré du code, puis l'ont copié ou collé manuellement dans leur travail. Une fois leur code généré, ils ont posé des questions complémentaires à l'assistant IA afin d'améliorer leur compréhension. Ces participants n'étaient pas particulièrement rapides dans leur utilisation de l'IA, mais ont montré un niveau de compréhension plus élevé lors du quiz. Il est intéressant de noter que cette approche était presque identique à celle du groupe de délégation de l'IA, à l'exception du fait qu'ils utilisaient l'IA pour vérifier leur propre compréhension.

- Explication hybride du code (n = 3) : les participants de ce groupe ont composé des requêtes hybrides dans lesquelles ils demandaient la génération de code ainsi que des explications sur le code généré. La lecture et la compréhension des explications qu'ils demandaient leur ont pris plus de temps, mais les ont aidés à mieux comprendre.

- Recherche conceptuelle (n=7) : les participants de ce groupe ont uniquement posé des questions conceptuelles et se sont appuyés sur leur meilleure compréhension pour accomplir la tâche. Bien que ce groupe ait rencontré de nombreuses erreurs, il les a également résolues de manière indépendante. En moyenne, ce mode était le plus rapide parmi les modèles à score élevé et le deuxième plus rapide dans l'ensemble, après la délégation à l'IA.

L'analyse qualitative n'établit pas de lien de causalité entre les modèles d'interaction et les résultats d'apprentissage, mais elle met en évidence des comportements associés à différents résultats d'apprentissage. Pourtant, une étude de 2024 a montré que les étudiants qui utilisent l'IA sont moins productifs et ont peu de chances de réussir à l'avenir. Les données montrent que les étudiants moins performants utilisent davantage l'IA pour combler leurs compétences. Mais l'IA générative encourage la tricherie et rend les étudiants paresseux et incompétents.

Conclusion

Voici les conclusions de la recherche d'Anthropic :

Nos résultats suggèrent que l'intégration massive de l'IA dans le milieu professionnel, en particulier dans le domaine du génie logiciel, comporte des compromis. Les conclusions soulignent que toutes les formes de dépendance à l'IA ne se valent pas : la manière dont nous interagissons avec l'IA tout en cherchant à être efficaces influe sur notre apprentissage. Compte tenu des contraintes de temps et des pressions organisationnelles, les développeurs juniors ou d'autres professionnels peuvent s'appuyer sur l'IA pour accomplir leurs tâches le plus rapidement possible, au détriment du développement de leurs compétences, notamment leur capacité à déboguer les problèmes en cas de dysfonctionnement.

Bien que préliminaires, ces résultats soulèvent des considérations importantes alors que les entreprises passent à un ratio plus élevé de code écrit par l'IA par rapport au code écrit par l'homme. Les gains de productivité peuvent se faire au détriment des compétences nécessaires pour valider le code écrit par l'IA si le développement des compétences des ingénieurs juniors a été freiné par l'utilisation de l'IA. Les...