Le coût de développement d'un logiciel serait-il beaucoup plus abordable si le code était écrit par GPT-4 ?

Le 31 mai 2023 à 16:39, par Michael Guilloux

21PARTAGES

Combien cela vous aurait-il coûté si votre code avait été écrit par GPT-4 ? Un développeur essaie de répondre à cette question par la mise en place d'un outil Python qui permet d'évaluer le coût de votre projet sur la base de la tarification pratiquée par OpenAI pour GPT-4. Son approche de calcul du coût d'un code s'il avait été écrit avec GPT-4 est toutefois beaucoup trop simpliste pour ne pas susciter de critiques. Elle tend en effet à réduire le développement de logiciels à l'écriture de code et laisse croire qu'un code fonctionnel peut être écrit en seule fois ; Ce qui permettrait de conclure que le coût de développement d'un logiciel serait beaucoup plus abordable si le code était écrit par GPT-4.

Depuis la sortie de ChatGPT, la place de l'IA dans le monde du développement logiciel fait l'objet de multiples débats aussi bien chez les sachants que chez les profanes. Entre ceux qui estiment que ces IA sont beaucoup plus stupides que nous ne le pensons et ceux qui pensent qu'elles pourraient bientôt remplacer les développeurs, il y a un fait qui est reconnu : les compétences impressionnantes de l'IA générative en matière de codage facilitent grandement le développement de logiciels.

A titre d'exemple, le PDG de Freshworks, un éditeur de logiciels, affirme que l'utilisation de ChatGPT lui a permis de réduire le temps nécessaire à la réalisation de certaines tâches de codage, d'entre huit et neuf semaines à moins d'une semaine seulement. Et qui parle de réduction de temps de développement, pourrait aussi parler de réduction de coût. Cela dit, combien cela coûterait d'écrire une base de code avec une IA ? C'est à cet exercice que s'est prêté le développeur Souradeep Nanda avec un projet Python.

Combien cela aurait coûté si GPT-4 avait écrit votre code : l'approche du projet Cost Of Code

Cost Of Code, c'est le nom du projet créé par le développeur Souradeep Nanda pour évaluer le coût de votre code s'il avait été écrit par GPT-4.

Rappelons que GPT-4 est le système d'IA générative le plus avancé d'OpenAI. OpenAI estime qu'il est capable de « produire des réponses plus sûres et plus utiles » et de « résoudre des problèmes difficiles avec une plus grande précision, grâce à ses connaissances générales plus larges et à ses capacités de résolution de problèmes ». GPT-4 est disponible via ChatGPT Plus et en tant qu'API permettant aux développeurs de créer des applications et des services.

Le script cost-of-code peut calculer le coût d'un dépôt lorsqu'on lui fournit un certain d'arguments, à savoir : le chemin d'accès au référentiel git, le nom de la branche à analyser, le coût (en USD) pour mille jetons selon la tarification d'OpenAI et une liste d'extensions de fichiers séparées par des virgules à prendre en compte lors de l'analyse du référentiel.

Le script va analyser le dépôt et retourner le nombre total de jetons dans le référentiel ainsi que le coût estimé pour générer ces jetons avec GPT-4. Notons que les jetons sont comme des morceaux de mots, et que 1000 jetons correspondent à environ 750 mots. En fin de compte, on pourrait donc se retrouver avec des coûts beaucoup plus abordables si le code avait été écrit par GPT-4.

Les limites de cette approche de calcul du coût du code

Cette approche de calcul du coût d'un code s'il avait été écrit avec GPT-4 est beaucoup trop simpliste pour ne pas susciter de critiques. Elle tend en effet à réduire le développement de logiciels à l'écriture de code et laisse croire qu'un code fonctionnel peut être écrit en seule fois.

Ce script calcule « plutôt combien cela coûterait de produire des fichiers texte dans votre code avec GPT-4 », estime un internaute. « Je pense que la plupart des ingénieurs logiciels conviendront que l'écriture du code est la partie la plus facile du travail. Les parties difficiles consistent à déterminer le problème, modéliser les données, ce qui va fonctionner et ce que cela coûterait, en tenant compte des compromis en termes de vitesse, d'évolutivité, de maintenabilité, etc. Et faire en sorte que la chose fonctionne réellement », dit-il. Pour ce dernier, « il ne fait aucun doute que l'IA jouera un rôle important dans le codage. Mais il va falloir changer beaucoup de choses pour qu'elle remplace carrément les humains. »

Un autre critique allant dans le même sens soutient que cette approche « n'inclut pas le coût de la compréhension du problème, de la connaissance suffisante du domaine pour proposer une bonne solution, et de la coordination et de la communication avec tout le monde tout au long du processus ». Pour lui, l'IA a bien sa place dans la programmation, mais elle ne peut qu'apporter des solutions purement techniques, alors que ces dernières « ne sont très souvent pas de bonnes solutions à beaucoup de problèmes réels ».

« Je n'ai toujours pas vu d'exemple généré par GPT qui ne soit pas une traduction naïve d'un code déjà dans sa base d'entraînement. Ce qui est une bonne chose, nous obtenons un moteur de recherche de codes beaucoup plus intelligent. Mais nous sommes très loin de remplacer n'importe quel programmeur digne de ce nom ». Lance un autre internaute pour rappeler qu'on aura toujours besoin de développeurs. On ne peut donc confier l'écriture d'une base de code à GPT-4.

La plupart des critiques vont dans le même sens : la plus grande partie du travail dans le génie logiciel n'est pas l'écriture de code. Il est impossible de créer un système fonctionnel en une seule fois, et donc cet outil ne donnera pas une idée réaliste du coût pour écrire un système avec rien d'autre que GPT-4. Cela dit, et si l'on se limitait strictement à l'écriture de code ?

Source : Cost of Code

Et vous ?