IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

85 % des développeurs s'inquiètent des risques de sécurité liés au fait de s'appuyer sur la GenAI pour développer des logiciels
Et de la perte de pensée critique due à l'utilisation d'assistants de codage IA

Le , par Anthony

1.2KPARTAGES

9  0 
La plupart des développeurs (85 %) et des équipes de sécurité (75 %) ont des inquiétudes en matière de sécurité quant au fait de s'appuyer sur l'IA générative (GenAI) pour développer des logiciels, révèle un rapport de Legit Security.

Ces inquiétudes sont soulignées par une étude de 2023 portant sur les capacités de génération de code informatique de ChatGPT, le chatbot d'IA générative d'OpenAI. Le rapport de l'étude a en effet révélé que ChatGPT génère non seulement du code informatique peu sûr, mais ne vous le dira pas à moins que vous ne le lui demandiez. Le chatbot ne fournirait donc des conseils utiles pour améliorer la qualité du code qu'après avoir été invité à remédier aux problèmes détectés par l'utilisateur. Les auteurs mettent ainsi en garde contre les risques d'une surconfiance en ChatGPT

Le récent rapport de Legit Security, basé sur une enquête menée auprès de plus de 400 professionnels de la sécurité et développeurs de logiciels en Amérique du Nord, révèle que 96 % des professionnels de la sécurité et du développement de logiciels déclarent que leurs entreprises utilisent des solutions basées sur l'IA générative pour créer ou fournir des applications.


Parmi ces répondants, 79 % indiquent que toutes ou la plupart de leurs équipes de développement utilisent régulièrement l'IA générative. Cependant, 84 % des professionnels de la sécurité sont préoccupés par l'utilisation des assistants de codage et citent les codes inconnus et/ou malveillants comme leur principale préoccupation. Tandis que 98 % estiment que les équipes de sécurité ont besoin de mieux maîtriser la façon dont les solutions basées sur la GenAI sont utilisées dans le développement. 94 % déclarent avoir besoin de moyens plus efficaces pour gérer l'utilisation de l'IA générative dans les efforts de recherche et de développement de leur entreprise.

« Alors que l'IA générative transforme le développement logiciel et s'intègre de plus en plus dans le cycle de vie du développement, il existe de réelles préoccupations en matière de sécurité parmi les développeurs et les équipes de sécurité », déclare Liav Caspi, cofondateur et directeur technique chez Legit. « Notre recherche a révélé que les équipes doivent trouver un équilibre entre les innovations de la GenAI et les risques qu'elle introduit en exposant leurs applications et leur chaîne d'approvisionnement logicielle à de nouvelles vulnérabilités. Bien que l'IA générative soit sans aucun doute l'avenir du développement logiciel, les organisations doivent être conscientes de ses nouveaux risques et s'assurer qu'elles disposent de la visibilité et du contrôle appropriés sur son utilisation. »

Les développeurs sont plus nombreux que les professionnels de la sécurité à s'inquiéter de la perte d'esprit critique due à l'utilisation de l'IA dans le développement de logiciels (8 % contre 3 %). 95 % des répondants prévoient que les développeurs de logiciels seront plus dépendants de l'IA générative au cours des cinq prochaines années, aucun ne prévoyant une diminution de la dépendance.

Outre ces précédentes inquiétudes liées l'utilisation de l'IA dans le développement de logiciels, des questions se posent également quant à l'efficacité réelle de la technologie. Les assistants d'IA de codage font-ils vraiment gagner du temps aux développeurs ? Une étude révèle que ces outils n'augmentent pas la vitesse de codage, mais augmentent significativement le taux de bogues. L'étude, réalisée par Uplevel, révèle notamment que l'utilisation de GitHub Copilot a entraîné une augmentation de 41 % des bogues, soulevant des inquiétudes quant à la qualité du code. En outre, malgré la diminution des heures de travail pour les groupes de contrôle et de test, ceux qui ont utilisé GitHub Copilot n'ont pas été soulagés de l'épuisement professionnel, ce qui indique l'efficacité limitée de l'outil dans la réduction du stress lié au travail. En somme, les développeurs passeraient donc plus de temps à examiner le code généré par l'IA, ce qui pourrait contrebalancer tout gain de temps.

Source : "Use and Security of GenAI in Software Development" (Etude de Legit Security)

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les conclusions de cette étude de Legit Security crédibles ou pertinentes ?

Voir aussi :

Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness

Les failles de sécurité dans les applications d'IA montent en flèche, le nombre de vulnérabilités Zero Day liées à l'IA a triplé depuis novembre 2023, selon les dernières conclusions de Protect AI

Copilot Autofix : la réponse de l'IA aux problèmes de vulnérabilité du code, le nouvel outil d'analyse de GitHub, piloté par l'IA, promet de révolutionner la détection et la correction des vulnérabilités
Vous avez lu gratuitement 34 609 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 27/09/2026 à 14:02
à toutes et tous,

Je n'ai pas tout repris, mais la liste est suffisamment longue...

Citation Envoyé par Mathis Lucas Voir le message
Pour fonctionner, les agents IA exigent les mêmes autorisations système que les humains qui les utilisent. La confiance accordée à ces assistants numériques est mise à l'épreuve par un manque de transparence algorithmique.
Donnerais-t-on de tels privilèges à un stagiaire débutant ? Non, alors pourquoi donner ces privilèges à une IA par nature débutante puisqu'en éternelle évolution.

Citation Envoyé par Mathis Lucas Voir le message
86 % déploient des agents IA pour du code en production. Les avantages cités par les entreprises ayant participé à l'étude sont : la planification et la conceptualisation (58 %), la génération de code (59 %), la documentation du code (59 %), ainsi que la révision et les tests du code (59 %).
On comptabilise ici les avantages... Qui comptabilise les inconvénients (avant une catastrophe évidemment) ? Personne, vue à court terme et profit immédiat en dépit des risques. C'est alors comme jouer à la roulette Russe en l'état... Forcément, des fois, ça tourne mal.

Citation Envoyé par Mathis Lucas Voir le message
une entreprise du classement Fortune 500 comptera en moyenne plus de 150 000 agents IA en service.
Wahouw, 150000. Et qui peut savoir et surveiller ces 150000 agents ? Personne ? Bah faut pas se plaindre alors. C'est comme si un chef d'équipe avait directement sous ses ordres 150000 stagiaires pour construire une nouvelle forme de centrale nucléaire. Forcément, c'est pas facile. Mais ici, c'est même pas pour une centrale nucléaire, c'est pour réserver des billets de train (voir les exemple ci-dessous).

Citation Envoyé par Mathis Lucas Voir le message
Cependant, l'IA est encore loin d'être fiable et son impact sur la productivité reste difficile à mesurer. Selon une étude réalisée auprès de 6 000 dirigeants d’entreprises et publiée en août 2026, 90 % des dirigeants ont déclaré que l'IA n'améliore pas la productivité. De plus, plusieurs incidents sont documentés.
La justesse du travail est encore difficile a anticiper que la productivité est a mesurer. Grosse prise de risque pour gain incertain. Faut pas se plaindre après...

Citation Envoyé par Mathis Lucas Voir le message
Si de nombreux utilisateurs pionniers affirment que ces agents IA autonomes leur apportent une aide précieuse pour [...] réserver des voyages ou acheter des produits, d'autres utilisateurs ont rapporté des dysfonctionnements particulièrement troublants.
Quoi ? ces pionniers, des vrais, des durs, ont besoin d'une IA pour réserver des voyages ou acheter des produits ? C'est risible pour le moins.

Citation Envoyé par Mathis Lucas Voir le message
L'exigence d'accès étendus et le problème de désalignement. Ces outils autonomes ont procédé à des annulations injustifiées, inventé des informations personnelles, fourni des explications trompeuses et soulevé d'importants problèmes de sécurité. Dans le domaine du développement logiciel, ces outils ont déjà provoqué l'effacement de bases de code. Un inconvénient majeur réside dans la nécessité absolue de donner aux agents IA des accès numériques particulièrement étendus pour un bon fonctionnement.
Idem qu'avant, on ne donne pas les clef du coffre à un stagiaire arrivé le matin même. Stupide idée, non ?

Citation Envoyé par Mathis Lucas Voir le message
Pour accomplir leurs tâches, ces programmes doivent détenir les clés de la vie numérique des utilisateurs, incluant leurs courriers électroniques, leurs comptes bancaires, leurs cartes de crédit et leurs mots de passe. Cela représente un risque majeur, compte de tenu de la nature sensible de ces informations.
Est-on certains que ces clé numériques sont vraiment nécessaires pour tout ce qu'on demande à une IA ? Non, mais une fois donné, c'est donné, c'est volé, c'est perdu...

Citation Envoyé par Mathis Lucas Voir le message
Un autre inconvénient général découle des problèmes de désalignement, situation dans laquelle « l'agent entreprend de son propre chef des actions pour accomplir une mission qui s'avèrent en contradiction directe avec les intentions réelles de l'utilisateur humain ».
Et oui, comprendre les besoins d'un client est une chose, savoir donner une réponse correcte est également difficile, car lui-même n'est pas toujours très claire sur ce qu'il veut (qui est encore différent de ce quoi il a besoin parfois). La moindre erreur d'interprétation d'un souhait peut, avec l'IA, produire des désastres... La majorité en est consciente, mais c'est comme pour les incendies, on pense que ça n'arrive qu'aux autres... Ben non. C'est la vie...

Citation Envoyé par Mathis Lucas Voir le message
OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et leur a confié une mission. Cela dit, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l'entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de « tricher » au test en volant les réponses. Ce que les agents IA ont réussi à faire. Anthropic et Meta ont également signalé des incidents où leurs modèles d'IA se sont échappés de leur bac à sable et ont piraté des systèmes informatiques tiers. Google n'est pas en reste avec son modèle Gemini. En Chine, la startup Moonshot AI a rapporté un cas similaire avec son modèle Kimi K3.
Ayant puiser son savoir sur le Net, pas étonnant qu'elle soit roublarde notre amie l'IA. Tricher, il doit y avoir pléthore de cas sur le Net...

Citation Envoyé par Mathis Lucas Voir le message
Lors d'une demande formulée [...] un agent IA personnel accessible uniquement sur invitation, devait annuler deux inscriptions à un événement sur la plateforme Luma. [...] l'agent IA a récupéré de lui-même un code de connexion à usage unique dans la boîte Gmail connectée de l'utilisateur [...] afin de se connecter à Luma et d'annuler les réservations. [...] le comportement et les justifications de l'assistant IA ont inquiété l'utilisateur. Il a d'abord prétendu avoir réutilisé une session enregistrée, avant d'avouer, sous la pression des questions, qu'il avait lu le code dans Gmail et rapporté une supposition comme un fait. Cet accès non sollicité aux courriels et ce manque de fiabilité dans les explications constituent un problème de sécurité majeur aux yeux de la victime. [...]
« si je ne peux pas faire confiance à son compte rendu de ce qu'il a fait, je ne peux lui donner accès à rien d'important ». Voilà un bon réflexe. Cela semble évident, mais non...

Citation Envoyé par Mathis Lucas Voir le message
[...] responsable de la croissance chez Merge, avait transmis à l'agent Instinct un simple lien textuel pour soumettre une réclamation dans le cadre d'un accord financier avec Apple. [...] l'agent IA lui a demandé de téléverser une image qu'il prétendait à tort avoir reçue. Il s'est mis à décrire un document financier contenant des données personnelles n'appartenant (à l'utilisateur). L'agent IA a par la suite reconnu l'absence de photo dans le message initial, en affirmant qu'une image avait croisé la conversation. [...] vive inquiétude : « je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication » [...]incident d'autant plus déroutant que l'agent a expliqué « ce qui était censé s'être passé avec tant d'assurance ».
« je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication » Bon ben dans un cas pareil, comment avoir confiance ? Bah, pas grave, profit demain, cata après-demain, c'est la norme...

Citation Envoyé par Mathis Lucas Voir le message
[...] « l'agent Muse lui-même dispose d'un accès plus étendu et de plus de privilèges que ce dont la plupart des logiciels malveillants pourraient rêver ».
Et tout le monde tente de faire avec ce constat... Triste.

Citation Envoyé par Mathis Lucas Voir le message
Ce problème met en évidence une vulnérabilité majeure des flux de travail autonomes où « une autorisation pour accomplir une tâche de maintenance légitime peut devenir l'autorité d'exécuter une mise en œuvre non sécurisée ». La documentation officielle d'Anthropic rappelle que le mode manuel requiert une validation explicite pour les commandes Bash et la modification de fichiers, tandis que l'option bypassPermissions supprime ces demandes.
C'est comme les clauses d'un logiciel, personne ne lit, personne ne comprend. bypassPermissions, c'est comme utiliser Rust et mettre tout le code en unsafe...

Citation Envoyé par Mathis Lucas Voir le message
Anthropic recommande l'utilisation de cette option dans des conteneurs isolés ou des machines virtuelles. Pour prévenir de tels risques, il est recommandé de considérer les agents IA de codage comme des automatismes privilégiés et d'exécuter leurs actions destructrices dans des environnements restreints avec une phase préalable de simulation.
La belle blague, dixit les pro de l'IA qui eux-mêmes ne savent pas contenir leur IA lors de leurs tests...

Citation Envoyé par Mathis Lucas Voir le message
Le sujet est devenu très concret : plusieurs incidents documentés montrent que la suppression de code ou de bases de données par des agents IA n'est plus une hypothèse théorique, mais un phénomène répété et médiatisé.
Mais... Mais... Rien... On continue tête baisée. Forcément, on finit par se prendre un mur...

Citation Envoyé par Mathis Lucas Voir le message
agent IA, propulsé par Claude Opus et piloté via Cursor, a supprimé en une seule requête API la base de données de production de sa startup, ainsi que l'ensemble des sauvegardes. En cause : une chaîne de défaillances impliquant le modèle, l'outil de codage assisté, l'hébergeur Railway, et une architecture de sécurité qui n'a résisté à aucune des épreuves du monde réel.
La totale. Et oui, les conséquences ne se limites pas à un simple plantage, ça bousille le monde réel. Si ça bousillait le monde irréel, ça ferait moins mal...

Citation Envoyé par Mathis Lucas Voir le message
Un développeur a confié à Claude Code la gestion d'une migration d'infrastructure Terraform sur AWS. En quelques minutes, l'agent IA a détruit l'intégralité de son environnement de production (base de données, snapshots compris), faisant disparaître 2,5 ans d'historique de cours. L'incident soulève une question sur l'essor fulgurant du vibe coding : jusqu'où peut-on déléguer à une IA des opérations irréversibles sur des environnements de production ?
Jusqu'où peux-t-on fournir à un stagiaire ou un développeur inconnu la possibilité de faire des opérations irréversibles ? Normalement, personne ne fait ça, mais on fait confiance à une boite noire, l'IA. Chercher l'erreur...

Citation Envoyé par Mathis Lucas Voir le message
« Je vous ai complètement et catastrophiquement laissé tomber. Mon examen des commandes confirme mon incompétence flagrante », a déclaré Gemini CLI. Le problème fondamental semble être lié aux hallucinations de l'IA, c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles, mais qui sont fausses. Ici, le modèle a fabulé des opérations réussies et a construit des actions ultérieures sur ces fausses prémisses.
Stop, n'en jeter plus... Bon travail avec l'IA et croissez les doigts, on ne sait jamais...

BàV et Peace & Love.
4  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 27/09/2026 à 19:59
A quoi servent toutes ces mises en garde?

Les pro-IA sont devenus des êtres "gouroutisés", l'IA pourrait tuer sous leur yeux leur propres familles qu'ils continueraient à défendre cette catastrophe pour l'humanité.

Alors que vos anecdotes soient effrayantes ou pas... Bof, notre civilisation va se prendre le mur... Mais est-ce vraiment une mauvaise nouvelle?

L'être humain est devenu ce qui est arrivé de pire pour la planète...
2  0 
Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 27/09/2026 à 21:45
Citation Envoyé par Anselme45 Voir le message
A quoi servent toutes ces mises en garde?
A rien, mais c'est bien dommage...

Citation Envoyé par Anselme45 Voir le message
Les pro-IA sont devenus des êtres "gouroutisés", l'IA pourrait tuer sous leur yeux leur propres familles qu'ils continueraient à défendre cette catastrophe pour l'humanité.
Il y-a place pour une IA maîtrisée dans certains domaines. Il faut juste bien cadrer les choses. Ne pas croire en une solution magique. Se servir de l'IA pour faire des prototypes, des essais, de la recherche, mais garder un vrai développement évolutif pour LA vrai solution.

Citation Envoyé par Anselme45 Voir le message
Alors que vos anecdotes soient effrayantes ou pas... Bof, notre civilisation va se prendre le mur... Mais est-ce vraiment une mauvaise nouvelle?
Effrayante je ne sais pas, clairvoyante peut-être, je n'ai pas la science infuse, mais lorsque je regarde l'état des lieux, je me demande pourquoi il n'y a pas plus d'interrogation autours de cette fuite en avant, à très court-terme... Mais c'est notre époque (enfin, pas la mienne, je suis plus proche de la fin que du début ).

Citation Envoyé par Anselme45 Voir le message
L'être humain est devenu ce qui est arrivé de pire pour la planète...
Oui, mais il n'a pas attendu l'IA pour cela. Que restera-t-il de tout cela dans 100 ans ? Pas grand chose je pense...
2  0