IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

L'IA peut écrire du code mais ne parvient pas à le comprendre, selon une étude d'OpenAI.
Testés sur des tâches réelles de programmation, les modèles les plus avancés n'ont pu résoudre qu'un quart des défis

Le , par Stéphane le calme

45PARTAGES

9  0 
Les principaux modèles d'IA peuvent réparer les codes défectueux, mais ils sont loin d'être prêts à remplacer les ingénieurs logiciels humains, selon les tests approfondis réalisés par les chercheurs d'OpenAI. La dernière étude de l'entreprise a mis à l'épreuve des modèles et des systèmes d'IA sur des tâches de programmation réelles, et même les modèles les plus avancés n'ont pu résoudre qu'un quart des défis typiques de l'ingénierie.

L'équipe de recherche a créé un test appelé SWE-Lancer, à partir de 1 488 correctifs logiciels réels apportés à la base de code d'Expensify, ce qui représente un million de dollars de travail d'ingénierie en freelance. Face à ces tâches de programmation quotidiennes, le meilleur modèle d'IA - Claude 3.5 Sonnet - n'a réussi à accomplir que 26,2 % des tâches de codage pratique et 44,9 % des décisions de gestion technique.

Bien que les systèmes d'IA se soient révélés capables de trouver rapidement les sections de code pertinentes, ils ont trébuché lorsqu'il s'est agi de comprendre comment les différentes parties d'un logiciel interagissaient. Les modèles ont souvent suggéré des corrections superficielles sans comprendre les implications plus profondes de ces changements.


Les grands modèles de langage (LLM) ont peut-être changé le développement logiciel, mais les entreprises devront réfléchir à deux fois avant de remplacer entièrement les ingénieurs logiciels humains par des LLM, même si le PDG d'OpenAI, Sam Altman, affirme que les modèles peuvent remplacer les ingénieurs de « bas niveau ».

D'ailleurs, Emad Mostaque, cofondateur et ancien PDG de Stability AI, estime que l'IA est devenue meilleure que n'importe quel programmeur externalisé : « L'IA est meilleure que n'importe quel programmeur indien externalisé à l'heure actuelle. 2025 verra la destruction complète du marché de l'externalisation des processus d'affaires », a déclaré Emad Mostaque lors de l'émission Moonshots avec Peter Diamandis, fondateur de la Fondation XPRIZE. « Le fait d'être présent en personne sera bénéfique pour votre emploi à l'heure actuelle, car tout ce qui est à distance sera le premier à disparaître », a-t-il ajouté.



Dans un nouvel article, les chercheurs d'OpenAI expliquent en détail comment ils ont développé un benchmark LLM appelé SWE-Lancer pour tester combien les modèles de base peuvent gagner en effectuant des tâches d'ingénierie logicielle en freelance dans la vie réelle. Le test a révélé que, bien que les modèles puissent résoudre des bogues, ils ne peuvent pas comprendre pourquoi le bogue existe et continuent à faire d'autres erreurs.

Les chercheurs ont confié à trois LLM - GPT-4o et o1 d'OpenAI et Claude-3.5 Sonnet d'Anthropic - 1 488 tâches d'ingénieur logiciel freelance provenant de la plateforme Upwork, pour un montant de 1 million de dollars. Ils ont divisé les tâches en deux catégories : les tâches de contribution individuelle (résolution de bogues ou mise en œuvre de fonctionnalités) et les tâches de gestion (où le modèle joue le rôle d'un gestionnaire qui choisira la meilleure proposition pour résoudre les problèmes).

« Les résultats indiquent que le travail en freelance dans le monde réel de notre benchmark reste un défi pour les modèles de langage d'avant-garde », écrivent les chercheurs.

Le test montre que les modèles de base ne peuvent pas remplacer totalement les ingénieurs humains. Bien qu'ils puissent aider à résoudre des bogues, ils ne sont pas tout à fait au niveau où ils peuvent commencer à gagner de l'argent en freelance par eux-mêmes.


Analyse comparative des modèles de freelancing

Les chercheurs et 100 autres ingénieurs logiciels professionnels ont identifié des tâches potentielles sur Upwork et, sans changer aucun mot, les ont transmises à un conteneur Docker pour créer l'ensemble de données SWE-Lancer. Le conteneur n'a pas d'accès à Internet et ne peut pas accéder à GitHub « pour éviter que les modèles ne collectent (scrap) des détails de code ou des Pull Request », expliquent-ils.

L'équipe a identifié 764 tâches de contributeurs individuels, d'une valeur totale d'environ 414 775 dollars, allant de la correction de bogues en 15 minutes à des demandes de fonctionnalités d'une durée d'une semaine. Ces tâches, qui comprenaient l'examen de propositions de pigistes et d'offres d'emploi, auraient été rémunérées à hauteur de 585 225 dollars.

Les tâches ont été ajoutées à la plateforme de facturation Expensify.

Les chercheurs ont généré des invites basées sur le titre et la description de la tâche, ainsi que sur un aperçu de la base de code. S'il y avait d'autres propositions pour résoudre le problème, « nous avons également généré une tâche de gestion en utilisant la description du problème et la liste des propositions », ont-ils expliqué.

À partir de là, les chercheurs sont passés au développement de tests de bout en bout. Ils ont rédigé des tests Playwright pour chaque tâche appliquant les correctifs générés, qui ont ensuite été « triplement vérifiés » par des ingénieurs logiciels professionnels.

« Les tests simulent des flux d'utilisateurs réels, tels que la connexion à l'application, l'exécution d'actions complexes (transactions financières) et la vérification que la solution du modèle fonctionne comme prévu », explique le document.


Résultats du test

Après avoir effectué le test, les chercheurs ont constaté qu'aucun des modèles n'avait permis d'atteindre la valeur totale des tâches, soit 1 million de dollars. Claude 3.5 Sonnet, le modèle le plus performant, n'a gagné que 208 050 dollars et a résolu 26,2 % des problèmes des contributeurs individuels. Cependant, les chercheurs soulignent que « la majorité de ses solutions sont incorrectes et qu'une plus grande fiabilité est nécessaire pour un déploiement digne de confiance ».

Les modèles ont obtenu de bons résultats dans la plupart des tâches des contributeurs individuels, Claude 3.5-Sonnet étant le plus performant, suivi par o1 et GPT-4o.

« Les agents excellent dans la localisation, mais ne parviennent pas à remonter à la source du problème, ce qui se traduit par des solutions partielles ou erronées », explique le rapport. « Les agents identifient la source d'un problème avec une rapidité remarquable, en utilisant des recherches par mots-clés dans l'ensemble du référentiel pour localiser rapidement le fichier et les fonctions concernés - souvent bien plus rapidement qu'un humain. Cependant, ils font souvent preuve d'une compréhension limitée de la façon dont le problème s'étend sur plusieurs composants ou fichiers, et ne parviennent pas à s'attaquer à la cause première, ce qui conduit à des solutions incorrectes ou insuffisamment complètes. Nous trouvons rarement des cas où l'agent cherche à reproduire le problème ou échoue parce qu'il n'a pas trouvé le bon fichier ou le bon emplacement à modifier ».

Il est intéressant de noter que tous les modèles ont obtenu de meilleurs résultats dans les tâches de gestion qui nécessitaient un raisonnement pour évaluer la compréhension technique.

Ces tests de référence ont montré que les modèles d'IA peuvent résoudre certains problèmes de codage de « bas niveau » et ne peuvent pas encore remplacer les ingénieurs logiciels de « bas niveau ». Les modèles prennent encore du temps, commettent souvent des erreurs et ne peuvent pas rechercher un bogue pour trouver la cause première des problèmes de codage. De nombreux ingénieurs de « bas niveau » travaillent mieux, mais les chercheurs ont indiqué que cela pourrait ne pas être le cas très longtemps.

Plusieurs autres études ont conclu que l'IA ne remplacera pas les programmeurs de sitôt

Salim Ismail, entrepreneur et stratège technologique, qui participait également à l'émission, partage l'avis d'Emad Mostaque. Mais les déclarations de Emad Mostaque sont critiquées dans la communauté. Certains affirment notamment que son raisonnement est absurde. « L'affirmation selon laquelle l'IA est déjà meilleure que n'importe quel programmeur indien externalisé d'un autre pays est absurde, sinon ils seraient au chômage », a écrit un critique.

Les discussions battent leur plein à propos de l'IA dans le domaine du génie logiciel. Un sujet central : son impact dans la filière. La technologie divise. Par exemple, Linus Torvalds considère l'IA comme un simple outil qui n'a rien de révolutionnaire comparativement aux compilateurs.

Par contre, selon le PDG de Nvidia, Jensen Huang, « apprendre à programmer sera inutile à l'avenir ». Il affirme que l'IA fera de tous des programmeurs au travers du langage naturel. Il y a également des témoignages de programmeurs selon lesquels « jusqu'à 90 % du code peut être généré par l'IA ».

Cependant, plusieurs études montrent que l'IA est loin d'être apte à remplacer les programmeurs. Devin, l'IA qui menace de rendre les ingénieurs logiciels obsolètes coûte 500 $/mois, mais les tests ont révélé que l'outil souffre de nombreuses limites et les experts affirment que ces capacités sont exagérées. D'après les commentaires, Devin n'excelle que dans « les tâches répétitives et basées sur des modèles ». Et il pourrait ne pas faire mieux à l'avenir.

Cela pourrait faire gagner du temps aux ingénieurs et leur permettre de se concentrer sur la résolution créative de problèmes. Mais l'ingénierie logicielle implique une conception complexe, des considérations liées à l'expérience utilisateur et une résolution unique des problèmes, qui relèvent résolument du domaine humain. Ceux qui parviennent à trouver un équilibre entre l'efficacité de l'IA et la prise de décision stratégique axée sur l'humain s'épanouiront.

Emad Mostaque a prédit qu'il n'y aura plus de programmeurs dans cinq ans. Mais les conclusions de plusieurs études indiquent que l'IA générative ne remplacera pas les développeurs de sitôt, d'après des chercheurs, car le développement de logiciels va bien au-delà des tâches basiques de complétion de code.

Un chef d'entreprise remplace son équipe par une IA et se retrouve à chercher des développeurs sur LinkedIn

Wes Winder, un développeur de logiciels canadien, a fait sensation après avoir décidé de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de _toma_
Membre éclairé https://www.developpez.com
Le 20/02/2025 à 18:43
L'IA peut écrire du code mais ne parvient pas à le comprendre, selon une étude d'OpenAI
Les mecs viennent seulement de se rendre compte qu'ils étaient en train de développer un générateur de contenu et pas une intelligence ?
Ou bien ils sont en train de préparer le terrain pour expliquer aux actionnaires que les miracles promis ne seront pas atteints ?

Les chercheurs ont confié à trois LLM - GPT-4o et o1 d'OpenAI et Claude-3.5 Sonnet d'Anthropic - 1 488 tâches d'ingénieur logiciel freelance provenant de la plateforme Upwork, pour un montant de 1 million de dollars. Ils ont divisé les tâches en deux catégories : les tâches de contribution individuelle (résolution de bogues ou mise en œuvre de fonctionnalités) et les tâches de gestion (où le modèle joue le rôle d'un gestionnaire qui choisira la meilleure proposition pour résoudre les problèmes).

« Les résultats indiquent que le travail en freelance dans le monde réel de notre benchmark reste un défi pour les modèles de langage d'avant-garde », écrivent les chercheurs.
Traduction : après 2 ans et demi à sortir version sur version de notre logiciel, on vient enfin de faire un test en environnement réel : ça marche pas.
6  0 
Avatar de d_d_v
Membre expérimenté https://www.developpez.com
Le 21/02/2025 à 9:11
Le coup de génie de ceux qui ont lancé cette technologie, c'est de l'avoir appelée intelligence artificielle. Maintenant que le mal est fait, certains continueront à penser qu'ils ont affaire à quelque chose d'intelligent, qui réfléchit. Mais quelle arnaque !
5  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 13/03/2025 à 19:18
J’ai demandé à GPT-4 de m’aider à produire du code pour une version 3D du jeu Asteroid, j’ai ensuite copié et collé le code qui a fonctionné d’un coup
Bah moi j'ai trouvé un code d'exemple sur github d'Asteroid, Pong, une page welcome en ReactJS/Angular.
Sauf que heureusement/malheureusement, les clients ont des besoins plus complexe.

Tout le monde pourra créer des jeux vidéo » grâce à l’intelligence artificielle. Ce dernier propose une forge logicielle dénommée FRVR pour « permettre à quiconque de créer des jeux juste en les décrivant. »
étant moi même en train de développer un jv, de ce que j'ai vu de ces forges c'est de la merde. les assets sont dégueulasse et les possibilités des jeux fournie par l'ia sont tres tres limité. Mais bon c'est comme le no code, ca a tres vite ces limites.

Hélas j'ai une expérience très différente de ce monsieur, du apprendre a utiliser blender pour maitriser les concepts de PBR pour mes textures, les squelettes pour les animations et j'ai du apprendre a coder des shaders opengl.
Bon pour les assets, je suis pas graphiste, même chose, de ce que j'ai vu dans ces forges c'est pas ouf et puis faut les adapter a son moteur, dans mon cas c'est pas plug and play. Bref j'ai payé un gars pour me les faire.

Pour les textures par contre je vais sur https://texturelabs.org/, des textures de très bonne qualité et gratuite, c'est le seul domaine ou j'ai été convaincue niveau "forge".
et encore, certaine faut les retoucher pour les rendre "seamless ", même si c'est basique (juste 2 clique de souris) faut le savoir et le faire sur un logiciel spécialisé comme gimp. Je suis sur que juste cette simple manipulation élimine minimum 50% de la population sur terre qui peut crée un jv.

Je m'occupe juste du code "mon expertise", éventuellement, je modifie legerement une animation si je suis pas hyper convaincue, mais la partie asset 3d j'ai abandonné et j'ai payé quelqu'un pour me les fournirs plug and play.

Après je fais un jeu complexe, je dois pouvoir gérer en temps réel des armées de 300k soldats. ce qui implique pas mal de techniques d’optimisations, que seul du code bas niveau (opengl) peut gérer.

Ces logiciels sont juste bon a pondre des jeux videos basique et fade qui se ressemble tous tant en terme de design que de gameplay.
Et je parle pas du moteur, j'ai toujours détesté le rendu de unreal engine, juste la simple multiplications des jeux sur ce moteur m'énerve et j'ai une impression de déjà vu a chaque fois, je sais reconnaitre visuellement un jeu UE.
1  0 
Avatar de azurman
Nouveau Candidat au Club https://www.developpez.com
Le 27/02/2025 à 12:21
"Même Google le confirme lors de l’annonce selon laquelle son IA Bard peut désormais aider à coder et à créer des fonctions pour Google Sheets : « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »" : CE CONSTAT DE GOOGLE EST UN AVEU, comme quoi l'IA, lorsque on lui demande de créer du code, n'est tout simplement pas capable de le faire !

Le CEO de GITHUB prend tous les risques en prétendant qu'un jour l'IA écrira du code tout seul, et que de grandes entreprises technologiques font des recherches en ce sens : STOPPEZ LES !
Même si le même GitHub avance que jamais l'IA qui code ne sais pas comprendre, le seul fait d'en parler fait prendre un grand risque à la communauté des développeurs !

En tant qu'analyste-programmeur durant 25 ans, créer des programmes informatiques, c'est ANALYSER et CODER. Donc gardons notre créativité, tout au moins ici en Europe,
et laissons les développeurs américains se tirer une balle dans le pied !

Un jour arrivera où des programmes écris par l'IA sèmeront le chaos et ceux qui font de la recherche pour les avoir rendus opérationnels seront les coupables !
(on en reparle dans cinq ans ?)
0  0 
Avatar de azurman
Nouveau Candidat au Club https://www.developpez.com
Le 27/02/2025 à 12:29
Citation Envoyé par d_d_v Voir le message
Le coup de génie de ceux qui ont lancé cette technologie, c'est de l'avoir appelée intelligence artificielle. Maintenant que le mal est fait, certains continueront à penser qu'ils ont affaire à quelque chose d'intelligent, qui réfléchit. Mais quelle arnaque !
Je suis bien d'accord avec toi ! (voir mon commentaire précédent sur cet article)

L'IA : le mot INTELLIGENCE n'a pas lieu d'être quand il est lié au mot ARTIFICIELLE : pourquoi ?
Tout simplement par ce que le Mot Intelligence ne caractérise qu'une qualité de l'esprit Humain,
et donc si l'Intelligence est Humaine, elle ne peut être ARTIFICIELLE !

En fait, la mayonnaise a pris pour l'IA car cela présente ENCORE de nouveau la FACILITE pour
certains d'accomplir certaines tâches où il faut "REFLECHIR" !!

Le DANGER c'est que si certaines personnes trouvent que REFLECHIR représente un trop grand effort pour eux,
alors je pense que bientôt, ces personnes vont devenir tellement FEIGNANTES que ils vont oublier de RESPIRER et trépasser !
0  0