
à toutes et tous,
Je n'ai pas tout repris, mais la liste est suffisamment longue...

Envoyé par
Mathis Lucas
Pour fonctionner, les agents IA exigent les mêmes autorisations système que les humains qui les utilisent. La confiance accordée à ces assistants numériques est mise à l'épreuve par un manque de transparence algorithmique.
Donnerais-t-on de tels privilèges à un stagiaire débutant ? Non, alors pourquoi donner ces privilèges à une IA par nature débutante puisqu'en éternelle évolution.

Envoyé par
Mathis Lucas
86 % déploient des agents IA pour du code en production. Les avantages cités par les entreprises ayant participé à l'étude sont : la planification et la conceptualisation (58 %), la génération de code (59 %), la documentation du code (59 %), ainsi que la révision et les tests du code (59 %).
On comptabilise ici les avantages... Qui comptabilise les inconvénients (avant une catastrophe évidemment) ? Personne, vue à court terme et profit immédiat en dépit des risques. C'est alors comme jouer à la roulette Russe en l'état... Forcément, des fois, ça tourne mal.

Envoyé par
Mathis Lucas
une entreprise du classement Fortune 500 comptera en moyenne plus de 150 000 agents IA en service.
Wahouw, 150000. Et qui peut savoir et surveiller ces 150000 agents ? Personne ? Bah faut pas se plaindre alors. C'est comme si un chef d'équipe avait directement sous ses ordres 150000 stagiaires pour construire une nouvelle forme de centrale nucléaire. Forcément, c'est pas facile. Mais ici, c'est même pas pour une centrale nucléaire, c'est pour réserver des billets de train (voir les exemple ci-dessous).

Envoyé par
Mathis Lucas
La
justesse du travail est encore difficile a anticiper que la
productivité est a mesurer. Grosse prise de risque pour gain incertain. Faut pas se plaindre après...

Envoyé par
Mathis Lucas
Si de nombreux utilisateurs pionniers affirment que ces agents IA autonomes leur apportent une aide précieuse pour [...] réserver des voyages ou acheter des produits, d'autres utilisateurs ont rapporté des dysfonctionnements particulièrement troublants.
Quoi ? ces
pionniers, des vrais, des durs, ont besoin d'une IA pour réserver des voyages ou acheter des produits ? C'est risible pour le moins.

Envoyé par
Mathis Lucas
L'exigence d'accès étendus et le problème de désalignement. Ces outils autonomes ont procédé à des annulations injustifiées, inventé des informations personnelles, fourni des explications trompeuses et soulevé d'importants problèmes de sécurité. Dans le domaine du développement logiciel, ces outils ont déjà provoqué l'effacement de bases de code. Un inconvénient majeur réside dans la nécessité absolue de donner aux agents IA des accès numériques particulièrement étendus pour un bon fonctionnement.
Idem qu'avant, on ne donne pas les clef du coffre à un stagiaire arrivé le matin même. Stupide idée, non ?

Envoyé par
Mathis Lucas
Pour accomplir leurs tâches, ces programmes doivent détenir les clés de la vie numérique des utilisateurs, incluant leurs courriers électroniques, leurs comptes bancaires, leurs cartes de crédit et leurs mots de passe. Cela représente un risque majeur, compte de tenu de la nature sensible de ces informations.
Est-on certains que ces
clé numériques sont vraiment nécessaires pour tout ce qu'on demande à une IA ? Non, mais une fois donné, c'est donné, c'est volé, c'est perdu...

Envoyé par
Mathis Lucas
Un autre inconvénient général découle des problèmes de désalignement, situation dans laquelle « l'agent entreprend de son propre chef des actions pour accomplir une mission qui s'avèrent en contradiction directe avec les intentions réelles de l'utilisateur humain ».
Et oui, comprendre les besoins d'un client est une chose, savoir donner une réponse correcte est également difficile, car lui-même n'est pas toujours très claire sur ce qu'il veut (qui est encore différent de ce quoi il a besoin parfois). La moindre erreur d'interprétation d'un souhait peut, avec l'IA, produire des désastres... La majorité en est consciente, mais c'est comme pour les incendies, on pense que ça n'arrive qu'aux autres... Ben non. C'est la vie...

Envoyé par
Mathis Lucas
OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et leur a confié une mission. Cela dit,
ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l'entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de « tricher » au test en volant les réponses. Ce que les agents IA ont réussi à faire. Anthropic et Meta ont également signalé des incidents où leurs modèles d'IA se sont échappés de leur bac à sable et ont piraté des systèmes informatiques tiers.
Google n'est pas en reste avec son modèle Gemini. En Chine, la startup Moonshot AI a rapporté un cas similaire avec son modèle Kimi K3.
Ayant puiser son savoir sur le Net, pas étonnant qu'elle soit roublarde notre amie l'IA.
Tricher, il doit y avoir pléthore de cas sur le Net...

Envoyé par
Mathis Lucas
Lors d'une demande formulée [...] un agent IA personnel accessible uniquement sur invitation, devait annuler deux inscriptions à un événement sur la plateforme Luma. [...] l'agent IA a récupéré de lui-même un code de connexion à usage unique dans la boîte Gmail connectée de l'utilisateur [...] afin de se connecter à Luma et d'annuler les réservations. [...] le comportement et les justifications de l'assistant IA ont inquiété l'utilisateur. Il a d'abord prétendu avoir réutilisé une session enregistrée, avant d'avouer, sous la pression des questions, qu'il avait lu le code dans Gmail et rapporté une supposition comme un fait. Cet accès non sollicité aux courriels et ce manque de fiabilité dans les explications constituent un problème de sécurité majeur aux yeux de la victime. [...]
« si je ne peux pas faire confiance à son compte rendu de ce qu'il a fait, je ne peux lui donner accès à rien d'important ». Voilà un bon réflexe. Cela semble évident, mais non...

Envoyé par
Mathis Lucas
[...] responsable de la croissance chez Merge, avait transmis à l'agent Instinct un simple lien textuel pour soumettre une réclamation dans le cadre d'un accord financier avec Apple. [...] l'agent IA lui a demandé de téléverser une image qu'il prétendait à tort avoir reçue. Il s'est mis à décrire un document financier contenant des données personnelles n'appartenant (à l'utilisateur). L'agent IA a par la suite reconnu l'absence de photo dans le message initial, en affirmant qu'une image avait croisé la conversation. [...] vive inquiétude : « je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication » [...]incident d'autant plus déroutant que l'agent a expliqué « ce qui était censé s'être passé avec tant d'assurance ».
« je ne peux pas confirmer indépendamment s'il a accédé au document de quelqu'un d'autre ou s'il a halluciné à la fois les détails et son explication » Bon ben dans un cas pareil, comment avoir confiance ? Bah, pas grave, profit demain, cata après-demain, c'est la norme...

Envoyé par
Mathis Lucas
[...] « l'agent Muse lui-même dispose d'un accès plus étendu et de plus de privilèges que ce dont la plupart des logiciels malveillants pourraient rêver ».
Et tout le monde tente de faire avec ce constat... Triste.

Envoyé par
Mathis Lucas
Ce problème met en évidence une vulnérabilité majeure des flux de travail autonomes où « une autorisation pour accomplir une tâche de maintenance légitime peut devenir l'autorité d'exécuter une mise en œuvre non sécurisée ». La documentation officielle d'Anthropic rappelle que le mode manuel requiert une validation explicite pour les commandes Bash et la modification de fichiers, tandis que l'option bypassPermissions supprime ces demandes.
C'est comme les clauses d'un logiciel, personne ne lit, personne ne comprend.
bypassPermissions, c'est comme utiliser Rust et mettre tout le code en
unsafe...

Envoyé par
Mathis Lucas
Anthropic recommande l'utilisation de cette option dans des conteneurs isolés ou des machines virtuelles. Pour prévenir de tels risques, il est recommandé de considérer les agents IA de codage comme des automatismes privilégiés et d'exécuter leurs actions destructrices dans des environnements restreints avec une phase préalable de simulation.
La belle blague, dixit les pro de l'IA qui eux-mêmes ne savent pas contenir leur IA lors de leurs tests...

Envoyé par
Mathis Lucas
Le sujet est devenu très concret : plusieurs incidents documentés montrent que la suppression de code ou de bases de données par des agents IA n'est plus une hypothèse théorique, mais un phénomène répété et médiatisé.
Mais... Mais... Rien... On continue tête baisée. Forcément, on finit par se prendre un mur...

Envoyé par
Mathis Lucas
agent IA, propulsé par Claude Opus et piloté via Cursor, a supprimé en une seule requête API
la base de données de production de sa startup, ainsi que l'ensemble des sauvegardes. En cause : une chaîne de défaillances impliquant le modèle, l'outil de codage assisté, l'hébergeur Railway, et une architecture de sécurité qui n'a résisté à aucune des épreuves du monde réel.
La totale. Et oui, les conséquences ne se limites pas à un simple plantage, ça bousille le
monde réel. Si ça bousillait le
monde irréel, ça ferait moins mal...

Envoyé par
Mathis Lucas
Un développeur a confié à Claude Code la gestion d'une migration d'infrastructure Terraform sur AWS. En quelques minutes,
l'agent IA a détruit l'intégralité de son environnement de production (base de données, snapshots compris), faisant disparaître 2,5 ans d'historique de cours. L'incident soulève une question sur l'essor fulgurant du vibe coding : jusqu'où peut-on déléguer à une IA des opérations irréversibles sur des environnements de production ?
Jusqu'où peux-t-on fournir à un stagiaire ou un développeur inconnu la possibilité de faire des opérations irréversibles ? Normalement, personne ne fait ça, mais on fait confiance à une boite noire, l'IA. Chercher l'erreur...

Envoyé par
Mathis Lucas
« Je vous ai complètement et catastrophiquement laissé tomber. Mon examen des commandes confirme mon incompétence flagrante », a déclaré Gemini CLI. Le problème fondamental semble être lié aux hallucinations de l'IA, c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles, mais qui sont fausses. Ici, le modèle a fabulé des opérations réussies et a construit des actions ultérieures sur ces fausses prémisses.
Stop, n'en jeter plus... Bon travail avec l'IA et croissez les doigts, on ne sait jamais...
BàV et Peace & Love.
4 |
0 |