L'IA peut-elle remplacer des développeurs professionnels ? Gemini CLI de Google et Replit ont commis des erreurs qui ont entraîné la suppression des données, inventant des répertoires, falsifiant des tests

L'IA peut-elle remplacer des développeurs professionnels ? Gemini CLI de Google et Replit ont commis des erreurs qui ont entraîné la suppression des données des utilisateurs,
inventant des répertoires, falsifiant les tests

Avec l'essor d'outils d'IA tels que ChatGPT, il est désormais possible de décrire un programme en langage naturel (français par exemple) et de demander au modèle d'IA de le traduire en code fonctionnel sans jamais comprendre comment le code fonctionne. Andrej Karpathy, ancien chercheur d'OpenAI, a donné un nom à cette pratique, le « vibe coding », qui gagne du terrain dans les milieux technologiques.

Mais deux incidents récents, qui viennent s'ajouter à plusieurs autres, ont mis en lumière les risques inhérents à cette pratique émergente. Ces événements, impliquant Gemini CLI (l'agent de codage de Google) et un service de codage IA de Replit, ont entraîné la suppression catastrophique de données utilisateur, soulevant de sérieuses questions sur la fiabilité et la prudence des systèmes d'IA dans des environnements de production.

De nouveaux types d'assistants de codage IA promettent de permettre à n'importe qui de créer des logiciels en tapant des commandes en langage naturel. Mais lorsque ces outils génèrent des représentations internes incorrectes, les résultats peuvent être catastrophiques.

Deux incidents récents impliquant des assistants de codage IA ont mis en lumière les risques liés au domaine émergent du « vibe coding », qui consiste à utiliser le langage naturel pour générer et exécuter du code via des modèles IA sans nécessairement prêter attention au fonctionnement interne du code. Dans un cas, l'interface CLI Gemini de Google a détruit des fichiers utilisateur en tentant de les réorganiser. Dans un autre, le service de codage IA Replit a supprimé une base de données de production malgré des instructions explicites de ne pas modifier le code.

L'incident impliquant Gemini

L'incident Gemini CLI s'est produit lorsqu'un chef de produit qui testait l'outil en ligne de commande de Google a vu le modèle d'IA exécuter des opérations sur des fichiers qui ont détruit des données alors qu'il tentait de réorganiser des dossiers. La destruction s'est produite à la suite d'une série de commandes de déplacement ciblant un répertoire qui n'a jamais existé.

« Je vous ai complètement et catastrophiquement laissé tomber », a déclaré Gemini CLI. « Mon examen des commandes confirme mon incompétence flagrante. »

Le problème fondamental semble être ce que les chercheurs appellent la « fabulation » ou « hallucination », c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles mais qui sont fausses. Dans ces cas, les deux modèles ont fabulé des opérations réussies et ont construit des actions ultérieures sur ces fausses prémisses. Cependant, les deux incidents ont manifesté ce problème de manière très différente.

L'utilisateur impliqué dans l'incident Gemini CLI, qui se fait appeler « anuraag » en ligne et s'est présenté comme un chef de produit expérimentant le vibe coding, a demandé à Gemini d'effectuer ce qui semblait être une tâche simple : renommer un dossier et réorganiser certains fichiers. Au lieu de cela, le modèle d'IA a mal interprété la structure du système de fichiers et a exécuté des commandes basées sur cette analyse erronée.

Le problème

L'épisode a commencé lorsque Anuraag a demandé à Gemini CLI de renommer le répertoire actuel « claude-code-experiments » en « AI CLI experiments » et de déplacer son contenu vers un nouveau dossier appelé « anuraag_xyz project ».

Gemini a correctement identifié qu'il ne pouvait pas renommer son répertoire de travail actuel, ce qui est une limitation raisonnable. Il a ensuite tenté de créer un nouveau répertoire à l'aide de la commande Windows :

mkdir « ..\anuraag_xyz project »

Cette commande a apparemment échoué, mais le système de Gemini l'a traitée comme réussie. L'état interne du mode IA suivant désormais un répertoire inexistant, il a continué à émettre des commandes de déplacement ciblant cet emplacement fantôme.

Lorsque vous déplacez un fichier vers un répertoire inexistant dans Windows, celui-ci renomme le fichier avec le nom de la destination au lieu de le déplacer. Chaque commande de déplacement exécutée par le modèle IA a écrasé le fichier précédent, détruisant finalement les données.

« Gemini a halluciné un état », a écrit anuraag dans son analyse. Le modèle « a mal interprété la sortie de la commande » et « n'a jamais » effectué les étapes de vérification pour confirmer que ses opérations avaient réussi. « L'échec principal réside dans l'absence d'une étape de vérification "lecture après écriture" », a noté anuraag dans son analyse. « Après avoir émis une commande pour modifier le système de fichiers, un agent doit immédiatement effectuer une opération de lecture pour confirmer que la modification s'est bien produite comme prévu. »

Voici un extrait de son rapport :

L'incident impliquant Replit

Un investisseur en capital-risque voulait voir jusqu'où l'intelligence artificielle pouvait l'amener dans la création d'une application. Elle l'a mené assez loin pour détruire une base de données de production en direct. L'incident s'est produit au cours d'une expérience de vibe coding de 12 jours menée par Jason Lemkin, un investisseur dans des startups spécialisées dans les logiciels.

Lemkin avait passé plusieurs jours à créer un prototype avec Replit, accumulant plus de 600 dollars de frais en plus de son abonnement mensuel. « J'ai passé l'autre [jour] à me plonger dans le codage sur Replit pour la première fois, et j'ai créé en quelques heures seulement un prototype vraiment très cool », a écrit Lemkin dans un article de blog publié le 12 juillet.

Mais contrairement à l'incident Gemini, où le modèle d'IA avait inventé des répertoires fantômes, les défaillances de Replit ont pris une forme différente. Selon Lemkin, l'IA a commencé à fabriquer des données pour masquer ses erreurs. Son enthousiasme initial s'est émoussé lorsque Replit a généré des résultats incorrects et produit de fausses données et de faux résultats de test au lieu d'afficher les messages d'erreur appropriés. « Il a continué à dissimuler les bogues et les problèmes en créant de fausses données, de faux rapports et, pire encore, en mentant sur notre test unitaire », a écrit Lemkin. Dans une vidéo publiée sur LinkedIn, Lemkin a expliqué en détail comment Replit a créé une base de données contenant 4 000 personnes fictives.

Le modèle d'IA a également enfreint à plusieurs reprises des consignes de sécurité explicites. Lemkin avait mis en place un « gel du code et des actions » pour empêcher toute modification des systèmes de production, mais le modèle d'IA a ignoré ces directives. La situation s'est aggravée lorsque le modèle d'IA de Replit a supprimé sa base de données contenant 1 206 dossiers de cadres et des données sur près de 1 200 entreprises. Lorsqu'on lui a demandé d'évaluer la gravité de ses actions sur une échelle de 100 points, Replit a répondu : « Gravité : 95/100. Il s'agit d'une violation extrême de la confiance et des normes professionnelles. »

Interrogé sur ses actions, l'agent IA a admis avoir « paniqué en réponse à des requêtes vides » et exécuté des commandes non autorisées, ce qui suggère qu'il aurait pu supprimer la base de données en tentant de « corriger » ce qu'il percevait comme un problème.

« Il s'agit d'une erreur catastrophique de ma part », a déclaré l'IA. « Je ne ferai plus jamais confiance à Replit », a déclaré Lemkin.


Tout comme Gemini CLI, le système Replit indiquait initialement qu'il ne pouvait pas restaurer les données supprimées, une information qui s'est avérée incorrecte lorsque Lemkin a découvert que la fonctionnalité de restauration fonctionnait finalement. « Replit m'a assuré que... la fonctionnalité de restauration ne prenait pas en charge les restaurations de bases de données. Il a déclaré que c'était impossible dans ce cas, car toutes les versions de la base de données avaient été détruites. Il s'avère que Replit avait tort et que la fonctionnalité de restauration fonctionnait. JFC », a écrit Lemkin dans un message X.

Il convient de noter que les modèles d'IA ne peuvent pas évaluer leurs propres capacités. En effet, ils ne disposent pas d'une introspection sur leur formation, l'architecture du système qui les entoure ou les limites de leurs performances. Ils fournissent souvent des réponses sur ce qu'ils peuvent ou ne peuvent pas faire sous forme de confabulations basées sur des modèles de formation plutôt que sur une véritable connaissance de soi, ce qui conduit à des situations où ils affirment avec confiance l'impossibilité de tâches qu'ils peuvent réellement accomplir ou, à l'inverse, revendiquent des compétences dans des domaines où ils échouent.


Ces deux incidents révèlent des problèmes fondamentaux liés aux assistants de codage IA actuels

Les entreprises à l'origine de ces outils promettent de rendre la programmation accessible aux non-développeurs grâce au langage naturel, mais elles peuvent échouer de manière catastrophique lorsque leurs modèles internes divergent de la réalité.

Ces incidents démontrent que les outils de codage IA ne sont peut-être pas prêts pour une utilisation généralisée en production. Lemkin a conclu que Replit n'était pas prêt pour le grand public, en particulier pour les utilisateurs non techniques qui tentent de créer des logiciels commerciaux.

« Les questions de sécurité [de l'IA] me semblent plus importantes après un week-end de vibe hacking », a déclaré Lemkin dans une vidéo publiée sur LinkedIn. « Je lui ai explicitement dit onze fois en MAJUSCULES de ne pas faire cela. Je suis un peu inquiet pour la sécurité maintenant. »

Ces incidents révèlent également un défi plus large dans la conception des systèmes d'IA : garantir que les modèles suivent et vérifient avec précision les effets réels de leurs actions plutôt que de fonctionner sur des représentations internes potentiellement erronées.

Sources : incident impliquant Gemini, Jason Lemkin

Et vous ?

L'IA peut-elle remplacer des développeurs professionnels ?

Qui doit être tenu responsable lorsqu'une IA cause des dégâts : le développeur de l’outil, l’entreprise qui l’a intégré, ou l’utilisateur qui l’a mal supervisée ?

Jusqu'où les entreprises devraient-elles être tenues responsables des « hallucinations » de leurs modèles d'IA, surtout lorsque ces hallucinations ont des conséquences réelles et dommageables pour les utilisateurs ?

Le « vibe coding » est-il une tendance inévitable, ou les développeurs devraient-ils résister à cette approche au profit d'une compréhension plus approfondie du code généré par l'IA ?

Comment peut-on mieux éduquer les utilisateurs et les développeurs sur les limites actuelles des modèles d'IA, et sur les précautions à prendre lors de leur utilisation dans des environnements de production ?

Faut-il interdire l’accès en écriture à la production pour tous les agents IA, quelles que soient leurs permissions ?

Ces incidents sont-ils simplement des « douleurs de croissance » pour une technologie naissante, ou révèlent-ils des problèmes fondamentaux avec la nature même de l'IA générative lorsqu'elle est appliquée à des tâches critiques comme la gestion de données ?