IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le PDG de Salesforce, Marc Benioff, déclare que l'assistant IA Copilot de Microsoft ne fonctionne pas, qu'il n'offre « aucun niveau de précision » et que les clients sont « obligés de nettoyer le désordre »

Le , par Anthony

43PARTAGES

5  0 
Marc Benioff, PDG de Salesforce, a intensifié sa critique de l'assistant d'intelligence artificielle (IA) de Microsoft, Copilot, le qualifiant de peu fiable et d'imprécis. Dans un billet publié sur X (anciennement Twitter), Marc Benioff a déclaré que la livraison de l'outil d'IA aux clients est décevante, qu'il « n'offre aucun niveau de précision » et laisse les clients aux prises avec des problèmes de données. Il a également comparé Copilot à « Clippy 2.0 », soulignant sa frustration quant à ses performances et à la charge imposée aux clients pour développer des LLM personnalisés après la mise en œuvre.

Alors que l'intelligence artificielle (IA) est censée faciliter le travail des développeurs, le code généré par l'IA pourrait en réalité augmenter la charge de travail des développeurs et accroître les risques, selon Harness. L'augmentation du volume de code livré accroît en effet les risques de failles et de vulnérabilités si les tests et les mesures de sécurité ne sont pas rigoureusement appliqués. Bien que neuf développeurs sur dix utilisent déjà des outils d'IA pour accélérer la livraison de logiciels, cette tendance nécessite une vigilance accrue à chaque étape du cycle de vie du développement logiciel pour prévenir les incidents de sécurité.


Le 7 avril 2023, Microsoft a lancé son chatbot Microsoft Copilot. Basé sur Prometheus, un grand modèle de langage de Microsoft construit à partir de modèles de fondation d'OpenAI comme GPT-4, Copilot est capable de citer des sources, de créer des poèmes et d'écrire des chansons. Il s'agit du principal remplaçant de Cortana, dont la commercialisation a été interrompue. Le service a initialement été lancé sous le nom de Bing Chat, en tant que fonctionnalité intégrée à Microsoft Bing et Microsoft Edge, et, au cours de l'année 2023, Microsoft a commencé à unifier la marque Copilot dans ses différents produits de chatbot.

Dans un billet publié sur X, le fondateur et directeur général de Salesforce, Marc Benioff, a réitéré ses critiques à l'égard de Microsoft Copilot, l'outil doté d'une intelligence artificielle (IA) capable de rédiger des documents Word, de créer des présentations PowerPoint, d'analyser des feuilles de calcul Excel et même de répondre à des courriels via Outlook.

Citation Envoyé par Marc Benioff

La manière dont Copilot a été livré aux clients est décevante. Il ne fonctionne tout simplement pas et n'offre aucun niveau de précision. Selon Gartner, les données se répandent partout et les clients doivent nettoyer le désordre. Pour ajouter l'insulte à l'injure, on demande ensuite aux clients de construire leurs propres LLM personnalisés. Je n'ai encore trouvé personne qui ait eu une expérience transformatrice avec Microsoft Copilot ou avec la poursuite de la formation et du recyclage des LLM personnalisés. Copilot ressemble davantage à Clippy 2.0.


Ces affirmations de Marc Benioff viennent renforcer les révélations d'un récent rapport d'Uplevel qui suggère que les outils de développement GenAI n'améliorent pas l'efficacité du codage mais, au contraire, augmentent le nombre de bogues. En effet, selon les conclusions du rapport, les développeurs ont constaté une augmentation de 41 % des bogues après la mise en œuvre de Microsoft Copilot, ce qui suggère que l'outil peut avoir un impact sur la qualité du code. L'étude d'Uplevel révèle par ailleurs que les développeurs utilisant Copilot n'ont pas constaté d'augmentation de la vitesse de codage. En termes de temps de cycle des demandes d'extraction (PR) (temps nécessaire pour fusionner le code dans un dépôt) et de débit des PR (nombre de demandes d'extraction fusionnées), Copilot n'a ni aidé ni nui aux développeurs.

Source : Marc Benioff, PDG de Salesforce

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les critiques de Marc Benioff à l'égard de Microsoft Copilot sont pertinentes et justifiées ?
Avez-vous utilisé cet outil ou un outil similaire pour votre usage ou le développement d'applications, et si oui, qu'en pensez-vous ?

Voir aussi :

Microsoft annonce que son assistant d'IA de productivité Copilot est maintenant disponible pour tous, et affirme que cela vise à améliorer son accessibilité et son utilité pour les utilisateurs

« Si vous confiez les rênes à Copilot, ne vous étonnez pas qu'il dévoile vos secrets », d'après une récente étude selon laquelle cette IA peut être transformée en outil d'exfiltration de données

L'exploitation de Microsoft Copilot Studio permet d'accéder à des données sensibles du cloud, un bug SSRF dans l'outil de création de Copilot personnalisée a potentiellement exposé des informations critiques

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de calvaire
Expert éminent https://www.developpez.com
Le 21/10/2024 à 16:50
je présuppose que tous le monde dans mon équipe utilise chatgpt ou équivalent.
je viens de regarder les stats de notre gitlab, et je constate la meme chose:
1122 merge request en 2023
en 2024 on est à 1087 actuellement

sachant que 1 merge request dans notre équipe est égal à 1 tache jira.
la nature des taches entre 2023 et 2024 n'a pas vraiment changé sur mon projet.

donc visiblement pas de gains à la clé.

maintenant perso je reviendrais pas en arrière, les llm sont de bons outils, c'est vraiment top quand on cherche un truc ou qu'on cherche a faire quelque chose sans trop savoir comment faire.

cas concret: je cherchait un module ansible pour faire un truc précis, j'ai demandé a chatgpt, il m'a donné le nom du module et un exemple de code, je suis allé sur la doc d'ansible pour vérifier et voir les arguments, c'est vraiment plus rapide que si j'avais du aller fouiller et lire la doc ansible.

mais il me génère toujours du code faux, voir obsolete parfois, et il est bien incapable de créer un programme informatique complet, il est juste capable d'écrire correctement des fonctions.

enfin chatgpt ou copilot sont des outils "professionnel", il est important de bien se former sur comment écrire des prompts et pour pouvoir l'utiliser, et surtout il faut maitriser son domaine d'expertise. Un gars qui n'y connait rien à l'informatique ne sera pas plus capable de faire un logiciel avec chatgpt. Chatgpt c'est une autocomplétion d'un ide tres avancée, mais un comptable ne sera jamais capable de coder un vrai logiciel.

avec chatgpt le comptable sera plus a l'aise pour coder sa macro excel, mais il ne va pas monter un serveur mongodb, automatiser l'insertions des données et remplacer excel par grafana et enfin integrer les graphs dans une page web ou un client lourd.

ou un domaine plus visuel, chatgpt peut me coder un jeu video basique en 2d sous pygame, mais il est bien incapable de me coder un équivalent call of duty ou autre jeux complexe. Meme un "simple" rayman 2d ou mario 2d chatgpt a vite ces limites.
5  0 
Avatar de jnspunk
Membre habitué https://www.developpez.com
Le 30/10/2024 à 11:25
« En comparant le temps de cycle, le débit et la complexité des RP avec les RP avec tests, GitHub Copilot n'a ni aidé ni nui aux développeurs de l'échantillon, et n'a pas non plus augmenté la vitesse de codage. Bien que certaines de ces mesures soient statistiquement significatives, le changement réel n'a pas eu d'incidence sur les résultats techniques, par exemple le temps de cycle a diminué de 1,7 minute », indique le rapport d'Uplevel.
L'étude est complétement bidon, ca peut aussi vouloir dire que les participants ont levés le pied car ils avaient moins de travail à fournir grace à copilot.
D'ailleurs quiconque l'a déjà utilisé (github copilot) sait le temps que cela fait gagner rien qu'avec l'écriture de la documentation et des commentaires...
0  0 
Avatar de calvaire
Expert éminent https://www.developpez.com
Le 30/10/2024 à 12:05
Citation Envoyé par jnspunk Voir le message
L'étude est complétement bidon, ca peut aussi vouloir dire que les participants ont levés le pied car ils avaient moins de travail à fournir grace à copilot.
D'ailleurs quiconque l'a déjà utilisé (github copilot) sait le temps que cela fait gagner rien qu'avec l'écriture de la documentation et des commentaires...
je ne saurais l'expliquer, dans mon équipe, il y'a un gain de temps de mon coté, mais pour autant je ne constate pas une amélioration de la productivité ou de la qualité.
le nombre de bug et de tache Jira avec le status "finish" et similaire entre 2022, 2023 et 2024. a plus au moins 8% pres. Meme si chatgpt a permis d 'augmenter la productivité de 8% (ce qui reste a prouvé avec juste comme panel 1 projet celui ou je bosse, difficile d'en l'affirmer), 8% reste faible comme gain par rapport aux promesses des startups.

il serait intéressant sur developpez.com qu'on se partage les stats du nombre de tache jira finis et/ou des mr mergé sur 1 année, histoire de voir la tendance.
0  0 
Avatar de Metal3d
Membre habitué https://www.developpez.com
Le 31/10/2024 à 7:48
De mon côté je peux dire que la productivité a augmenté de 10 à 20% avec une IA de complétion. Je prends en compte le temp de dev et le temps de fix. On a moins de bugs et moins de tickets.

On a aussi testé Tabby en mode communautaire et pro. La productivité est moins impacté mais on n'avait pas les modèles adaptés selon moi.

Ce qui a compté, aussi, c'est le confort de dev. Les ingénieurs apprécient l'aide de l'IA, ça leur donne des idées ou carrément ça leur apprend des choses. Par contre il est nécessaire de bien préparé, surtout les jeunes, à vérifier ce qui est proposé.
0  0