Les mainteneurs de projets libres et open source sont submergés par des rapports de bogues inutiles rédigés par l'IA. S'ils semblent convaincants en apparence, ces rapports sont souvent basés sur les hallucinations de l'IA et nécessitent un temps considérable pour être vérifiés, ce qui détourne les ressources limitées des développeurs bénévoles. Cette situation peut entraîner une perte de temps, de l'épuisement et une diminution de la motivation des contributeurs bénévoles. Daniel Stenberg, créateur du projet cURL, a surnommé ces rapports de faible qualité « AI slop ». Dans un récent billet, il a formellement interdit les rapports de bogues générés par l'IA.CURL est un outil et une bibliothèque de ligne de commande essentiels pour interagir avec les ressources Internet. Le projet open source reçoit des rapports de bogues et des problèmes de sécurité par le biais de nombreux canaux, notamment HackerOne, un service de signalement qui aide les entreprises à gérer les rapports de vulnérabilité et les primes aux bogues. Mais les pratiques ont évolué au cours de ces dernières années.
HackerOne s'est passionné pour les outils d'IA. « Une plateforme, une force double : l'esprit humain + la puissance de l'IA », peut-on lire sur sa page d'accueil. Ainsi, les utilisateurs s'appuient de plus en plus sur les outils d'IA de la plateforme pour générer des rapports de bogue et de sécurité.
Un afflux de rapports de bogues de mauve qualité générés par IA
L'adoption des outils d'IA par les plateformes telles que HackerOne pose un problème majeur à la communauté des logiciels libres : la multiplication de rapports de vulnérabilités générés par des outils d'IA, souvent erronés ou trompeurs, qui submergent les mainteneurs. Les fabricants de modèles d'IA s'attendent à ce que l'IA aide les développeurs à détecter les bogues beaucoup plus rapidement afin de jouir de plus de temps pour innover.
Mais il s'avère que ces rapports sont en majorité le résultat des hallucinations de l'IA, et donc inutiles. Seth Larson, développeur de sécurité en résidence à la Python Software Foundation, a soulevé la question dans un billet de blogue en décembre dernier. Il a exhorté les personnes qui signalent des bogues à ne pas utiliser de systèmes d'IA pour la chasse aux bogues. Selon lui, les systèmes d'IA actuels ne sont pas fiables dans ce contexte.
« J'ai remarqué une augmentation des rapports de sécurité de qualité extrêmement médiocre, spammés et hallucinés par les LLM dans les projets open source. À première vue, ces rapports de bogue semblent potentiellement légitimes et nécessitent donc du temps pour être réfutés », écrivait-il, rappelant les résultats similaires obtenus par le projet cURL en janvier 2024. Récemment, c'est le créateur du projet cURL qui a exprimé son ras-le-bol :
Envoyé par Daniel Stenberg, créateur du projet cURL
Voilà, c'est fait. J'en ai assez. Je mets un terme à cette folie.
1. Tous les rapporteurs qui soumettent des rapports de sécurité sur le hashtag#Hackerone pour le hashtag#curl doivent désormais répondre à cette question : « avez-vous utilisé une IA pour trouver le problème ou générer cette soumission ? »
(Et s'ils le sélectionnent, ils peuvent s'attendre à un flot de questions de suivi prouvant l'existence d'une intelligence réelle.)
2. Nous bannissons INSTANTANÉMENT tous les rapporteurs qui soumettent des rapports que nous considérons comme un déchet généré par l'IA. Un seuil a été atteint. Nous sommes effectivement victimes d'un DDoS. Si nous le pouvions, nous les ferions payer pour cette perte de temps.
Nous n'avons toujours pas vu un seul rapport de sécurité valide réalisé avec l'aide de l'IA.
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.