L'IA générative ne remplacera pas les développeurs de sitôt, d'après des chercheurs

Qui concluent que le développement de logiciels va bien au-delà des tâches de complétion de code

L’IA générative ne remplacera pas les développeurs de sitôt, d’après des chercheurs
Qui concluent que le développement de logiciels va bien au-delà des tâches de complétion de code

Les discussions battent leur plein à propos de l’intelligence artificielle dans le domaine du génie logiciel. Un sujet central : son impact dans la filière. La technologie divise. Linus Torvalds la considère comme un outil qui n’a rien de révolutionnaire en comparaison aux compilateurs. Il rejoint Bill Gates qui est d’avis que l’intelligence artificielle servira d’outil pour améliorer la productivité des tiers qui s’en servent. Ce sont des sorties à controverse quand on sait qu’elles viennent en opposition à celles de plusieurs acteurs du domaine qui laissent penser que l’intelligence artificielle a même déjà pris le pouvoir dans la filière. Une récente publication de recherche vient raviver le débat en arrivant à la conclusion que l’IA générative ne remplacera pas les développeurs de sitôt.

Des chercheurs de l'université de Princeton ont développé un cadre d'évaluation basé sur près de 2300 problèmes courants de génie logiciel montés à partir de rapports de bogues et de feature requests soumis sur GitHub afin de tester la performance de divers modèles de grands langages (LLM).

Les chercheurs ont fourni à différents modèles de langage le problème à résoudre et le code du dépôt. Ils ont ensuite demandé au modèle de produire un correctif réalisable. Ce dernier a ensuite fait l’objet de tests pour s'assurer qu'il était correct. Mais le LLM n'a généré une solution efficace que dans 4 % des cas.



Leur modèle spécialement entraîné, SWE-Llama, n'a pu résoudre que les problèmes d'ingénierie les plus simples présentés sur GitHub, alors que les LLM classiques tels que Claude 2 d'Anthropic et GPT-4 d'OpenAI n'ont pu résoudre que 4,8 % et 1,7 % des problèmes, de façon respective.

Et l’équipe de recherche de conclure : « le génie logiciel n’est pas simple dans la pratique. La correction d'un bogue peut nécessiter de naviguer dans un grand référentiel, comprendre l'interaction entre des fonctions dans différents fichiers ou repérer une petite erreur dans du code alambiqué. Cela va bien au-delà des tâches de complétion de code. »

C’est la raison pour laquelle Linus Torvalds a tenu à se désolidariser de tout le battage médiatique autour de l’intelligence artificielle. Il la considère comme un outil au stade actuel de son évolution. Il suggère d’ailleurs la révision de code comme domaine d’application de l’intelligence artificielle. La capacité de l’intelligence artificielle à « deviner » l’intention du développeur lui sera utile pour obtenir du code fiable en un temps réduit. Une condition demeurera toutefois nécessaire : le développeur devra à son tour examiner ce que l’intelligence artificielle lui propose.


En fait, « le développeur reste l'expert, qui comprend le code et vérifie que ce qui a été synthétisé par l'intelligence artificielle correspond bien à l'intention du développeur », comme le souligne le CEO de GitHub. Grosso modo, l’intelligence artificielle est à un stade d’évolution tel qu’elle ne saurait servir de raccourci à des personnes qui pensent ne plus avoir à faire usage de leur créativité ou de leur esprit critique.

Même Google le confirme lors de l’annonce selon laquelle son IA Bard peut désormais aider à coder et à créer des fonctions pour Google Sheets : « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »

Certains acteurs laissent pourtant penser que l’on n’a plus besoin de développeurs informatiques spécialisés dans la programmation des jeux vidéo en raison de la montée en puissance de l’intelligence artificielle

C’est le cas du propriétaire de la forge logicielle FRVR. Il l’illustre avec l’échantillon de jeu Space Aliens à propos duquel il déclare dans un débat contradictoire : « Il n’a fallu que 8 minutes pour le réaliser et 8 minutes supplémentaires pour la gestion du côté artistique. »



Ce type de production s’appuie sur la forge FRVR à propos de laquelle le propriétaire déclare : « Elle permet à quiconque de créer des jeux juste en les décrivant. L’objectif est de mettre sur pied une plateforme où créer, jouer et partager des jeux est aussi facile que d'enregistrer, de regarder et de partager des vidéos sur des plateformes telles que TikTok et Instagram. » Une démonstration (d’une dizaine de minutes) des possibilités offertes par la plateforme est disponible. Elle montre les étapes de l’implémentation d’un jeu de tir spatial en s’appuyant sur ladite forge.


Une étude de l’OIT liste les programmeurs parmi les métiers sous la menace de l’intelligence artificielle même si Linus Torvalds laisse penser le contraire

Environ 21 millions d’emplois occupés par des femmes et 9 millions d’emplois occupés par des hommes sont susceptibles d’être remplacés par l’intelligence artificielle. C’est ce qui ressort d’un récent rapport de l’Organisation Internationale du Travail. Ce dernier précise pour ce qui est de la filière des technologies de l’information les programmeurs d’applications font partie des professions menacées par l’automatisation.



ChatGPT a réussi à l’édition 2022 de l’examen d’informatique pour élèves du secondaire désireux d’obtenir des crédits universitaires US. Un internaute a proposé une compilation des réponses proposées par le chatbot après avoir souligné que l’intelligence artificielle a pris 32 points sur les 36 possibles. ChatGPT a en sus réussi l’examen de codage Google pour un ingénieur de niveau 3 avec un salaire de 183 000 $. Ce sont des raisons pour lesquelles certains observateurs sont d’avis que les travailleurs de la filière du développement informatique sont sous la menace de l’intelligence artificielle. Emad Mostaque, PDG de Stability AI en fait partie et prédit qu’il n’y aura plus de programmeurs dans 5 ans.



Et vous ?

La comparaison de Linus Torvalds de l’intelligence artificielle aux compilateurs vous paraît-elle appropriée pour déboucher sur la conclusion que l'intelligence artificielle restera un outil ?
Le développeur restera-t-il toujours l'expert qui comprend le code et vérifie que ce qui a été synthétisé par l'intelligence artificielle correspond bien à l'intention du développeur ? L'intelligence artificielle peut-elle finir par atteindre un stade d'évolution qui soit tel que l'intervention humaine ne soit plus requise ?
Quelles évolutions du métier de développeur entrevoyez-vous dès 2024 au vu de l'adoption de l'intelligence artificielle dans la filière ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur