Les mainteneurs de logiciels libres sont noyés dans des rapports de bogues inutiles rédigés par l'IA.

« Ces systèmes ne sont pas encore capable de comprendre le code », estime un développeur

L'open source est-il en danger ? Les mainteneurs de logiciels libres sont noyés dans des rapports de bogues inutiles rédigés par l'IA,
« ces systèmes ne sont pas encore capables de comprendre le code », estime un développeur

Les soumissions de vulnérabilités logicielles générées par des modèles d'IA ont inauguré une « nouvelle ère de rapports de sécurité bâclés pour l'open source » - et les développeurs qui maintiennent ces projets souhaiteraient que les chasseurs de bogues s'appuient moins sur les résultats produits par les assistants d'apprentissage automatique.

Seth Larson, développeur de sécurité en résidence à la Python Software Foundation, a soulevé la question dans un billet de blog la semaine dernière, exhortant les personnes qui signalent des bogues à ne pas utiliser de systèmes d'IA pour la chasse aux bogues. « Récemment, j'ai remarqué une augmentation des rapports de sécurité de qualité extrêmement médiocre, spammés et hallucinés par LLM dans les projets open source », écrit-il, rappelant les résultats similaires obtenus par le projet Curl en janvier. « Ces rapports semblent à première vue potentiellement légitimes et nécessitent donc du temps pour être réfutés ».

Larson estime que les rapports de mauvaise qualité doivent être traités comme s'ils étaient malveillants.

Une montée en flèche des rapports automatisés

Les mainteneurs jouent un rôle essentiel dans l'univers de l'open source. Ces bénévoles consacrent leur temps et leur expertise à maintenir des projets utilisés par des millions de personnes à travers le monde. Pourtant, ces derniers mois, un phénomène inquiétant perturbe leur travail : une multiplication des rapports de bogues de mauvaise qualité générés par des intelligences artificielles (IA).

Avec l’essor des outils d'IA comme ChatGPT, Bard ou Copilot, il est devenu plus facile que jamais pour les utilisateurs de générer des rapports de bogues. Ces outils, bien qu’impressionnants, génèrent parfois des rapports qui manquent de pertinence, sont mal formulés ou complètement hors sujet. Résultat : les mainteneurs se retrouvent à gérer une quantité croissante de « bruit », au détriment des problèmes légitimes.

Les mainteneurs rapportent une tendance claire : des rapports contenant des descriptions vagues, des solutions proposées incorrectes, ou des erreurs inexistantes. Dans certains cas, des IA « inventent » des problèmes à partir d’une compréhension superficielle du code. Ces rapports peuvent sembler crédibles, mais nécessitent souvent un temps considérable pour être vérifiés et écartés.

Une pression accrue sur les mainteneurs

Ce phénomène exacerbe une charge de travail déjà lourde. Beaucoup de mainteneurs sont des bénévoles qui jonglent entre leur travail, leur vie personnelle, et leurs responsabilités dans des projets open source. Traiter des rapports inutiles prend du temps, fatigue émotionnellement et peut entraîner un épuisement professionnel.

En outre, ces rapports nuisent aux discussions communautaires. Lorsque les canaux de communication sont saturés de contenu généré par l’IA, il devient plus difficile pour les utilisateurs humains de se faire entendre.

Pour Seth Larson, cette tendance est très préoccupante

Et d'estimer que répondre aux rapports de sécurité coûte cher :

« Si cela arrive à une poignée de projets pour lesquels j'ai de la visibilité, alors je soupçonne que cela arrive à grande échelle aux projets open source. Cette tendance est très préoccupante.

« La sécurité est déjà un sujet qui n'est pas aligné avec la raison pour laquelle de nombreux mainteneurs donnent de leur temps aux logiciels open source, considérant plutôt la sécurité comme importante pour aider à protéger leurs utilisateurs. En tant que rapporteurs, il est essentiel de respecter ce temps souvent bénévole.

« Les rapports de sécurité qui font perdre du temps aux mainteneurs sont source de confusion, de stress, de frustration et, pour couronner le tout, d'un sentiment d'isolement dû à la nature secrète des rapports de sécurité. Tous ces sentiments peuvent contribuer à l'épuisement des contributeurs aux projets open source, qui jouissent probablement d'une grande confiance.

« À bien des égards, ces rapports de mauvaise qualité devraient être traités comme s'ils étaient malveillants. Même si ce n'est pas leur intention, le résultat est que les mainteneurs sont épuisés et plus réticents au travail de sécurité légitime ».

L'illustration de la persistance de ces préoccupations avec un rapport de bogue du projet Curl

Comme pour souligner la persistance de ces préoccupations, un rapport de bogue du projet Curl publié le 8 décembre montre que près d'un an après que le responsable Daniel Stenberg a soulevé le problème, il est toujours confronté à la « lenteur de l'IA » - et perd son temps à discuter avec un auteur de bogue qui pourrait être partiellement ou entièrement automatisé.

En réponse au rapport de bogue, Stenberg a écrit :

« Nous recevons régulièrement et en grand nombre des erreurs d'IA de ce type. Vous contribuez à [la] charge inutile des mainteneurs de Curl et je refuse de prendre cela à la légère et je suis déterminé à agir rapidement contre cela. Maintenant et à l'avenir.

« Vous avez soumis ce qui semble être un "rapport" d'IA évident où vous dites qu'il y a un problème de sécurité, probablement parce qu'une IA vous a trompé en vous faisant croire cela. Vous nous faites ensuite perdre notre temps en ne nous disant pas qu'une IA a fait cela pour vous et vous poursuivez la discussion avec des réponses encore plus merdiques - apparemment générées elles aussi par une IA

« Il est tout à fait possible d'utiliser l'IA pour apprendre des choses et résoudre des problèmes potentiels, mais lorsque vous supposez aveuglément qu'un outil stupide est automatiquement juste parce qu'il semble plausible, vous nous rendez à tous (le projet curl, le monde, la communauté open source) un très mauvais service. Vous auriez dû étudier l'affirmation et la vérifier avant de la rapporter. Vous auriez dû nous dire qu'une IA vous l'avait signalée. Vous auriez dû fournir l'emplacement exact du code source ou les étapes de la reproduction lorsqu'on vous l'a demandé - parce que lorsque vous ne l'avez pas fait, vous avez prouvé que votre "rapport" n'avait aucune valeur particulière ».


[B][SIZE=3]« Ces systèmes ne[/size=3]...