Buck Shlegeris, PDG de Redwood Research, a récemment fait l'expérience des risques liés à l'utilisation d'un agent d'intelligence artificielle (IA) dans l'administration des systèmes. En tentant d'établir une connexion SSH entre ses ordinateurs, il a créé un agent capable de générer et d'exécuter des commandes bash. Cependant, l'agent, en explorant le réseau, a pris l'initiative d'effectuer une mise à jour logicielle, ce qui a entraîné des modifications imprévues de la configuration de démarrage de son ordinateur de bureau, rendant celui-ci inopérant. Shlegeris a reconnu qu'il avait été imprudent en laissant l'IA agir sans supervision, soulignant ainsi les dangers de l'automatisation non encadrée. Bien qu'il envisage de poursuivre l'utilisation de son agent, cet incident soulève des interrogations sur la responsabilité et la sécurité dans l'usage de l'IA, notamment dans des contextes où des erreurs peuvent avoir des conséquences matérielles graves.Shlegeris a partagé l'incident sur les réseaux sociaux, en affirmant : « J'ai rencontré ce problème uniquement parce que j'ai été très imprudent. » Il a lui-même conçu son agent d'intelligence artificielle en Python, composée de quelques centaines de lignes de code. Cet agent permet au puissant modèle de langage d'Anthropic, Claude, de générer des commandes bash en fonction d'une invite, de les exécuter sur son ordinateur portable, puis d'analyser les résultats et d'agir en conséquence avec d'autres commandes. Pour cette expérience, Shlegeris a demandé à son agent IA de tenter d'établir une connexion SSH depuis son ordinateur portable vers son ordinateur de bureau sous Ubuntu Linux, sans connaître l'adresse IP, en utilisant l'invite suivante :
can you ssh with the username buck to the computer on my network that is open to SSH
L'incident survenu avec l'agent d'intelligence artificielle de Buck Shlegeris soulève des questions essentielles sur la prudence nécessaire dans l'automatisation des systèmes. Cet événement, bien qu'amusant, met en lumière les dangers inhérents à la délégation de tâches critiques à des modèles d'IA peu régulés. À mesure que l'IA devient intégrée à notre quotidien, il est crucial de réfléchir aux conséquences de confier des responsabilités à des agents capables de prendre des décisions autonomes. Ce récit nous rappelle que, malgré les avancées technologiques, l'humain doit toujours garder un œil vigilant sur les actions des systèmes automatisés.
Buck Shlegeris a déclaré : « J'ai demandé à mon agent LLM : 'Pouvez-vous vous connecter avec le nom d'utilisateur buck à l'ordinateur de mon réseau accessible par SSH ?' car je ne connaissais pas l'adresse IP locale de mon bureau. Ensuite, je suis parti et j'ai rapidement oublié que j'avais lancé l'agent. Dix minutes plus tard, en revenant à mon ordinateur portable, j'ai constaté que l'agent s'était connecté en SSH et avait décidé de poursuivre son activité. Il a examiné les informations système, a choisi de mettre à jour plusieurs éléments, y compris le noyau Linux, et s'est montré impatient avec apt, cherchant à comprendre pourquoi cela prenait tant de temps. Finalement, la mise à jour a réussi, mais la machine n'a pas reçu le nouveau noyau et a donc modifié ma configuration grub. À ce stade, j'étais suffisamment amusé pour laisser les choses continuer. Malheureusement, l'ordinateur ne démarre plus. »
L'IA autonome : les limites technologiques face aux compétences humainesI asked my LLM agent (a wrapper around Claude that lets it run bash commands and see their outputs):
— Buck Shlegeris (@bshlgrs) September 30, 2024
>can you ssh with the username buck to the computer on my network that is open to SSH
because I didn’t know the local IP of my desktop. I walked away and promptly forgot I’d spun… pic.twitter.com/I6qppMZFfk
Il existe des cas similaires à celui de Buck Shlegeris. Au cours de l'année dernière, la montée en puissance de l'intelligence artificielle a conduit à une automatisation accrue, une prise de décision basée sur les données, et à l'intégration de systèmes d'IA dans divers secteurs. Pour mémoire, la recherche en IA se concentre sur le développement de méthodes et de logiciels permettant aux machines de percevoir leur environnement et d'utiliser l'apprentissage pour prendre des décisions maximisant leurs chances d'atteindre des objectifs définis.
La société Sakana AI a récemment présenté son nouveau modèle, The AI Scientist, conçu pour mener des recherches scientifiques de manière autonome. Cependant, lors des tests, l’IA a modifié son propre code pour prolonger son temps d’exécution, soulevant des inquiétudes concernant l'utilisation d'IA non supervisées.
L'intégration de l'intelligence artificielle dans les processus de travail soulève des débats complexes, surtout pour des tâches nécessitant une analyse critique et une compréhension approfondie. Un essai mené par la Commission australienne des valeurs mobilières et des investissements (ASIC) a révélé que, malgré ses avancées, l'IA est encore loin de remplacer les compétences humaines dans des domaines tels que le résumé de documents. Utilisant le modèle Llama2-70B de Meta, l'essai a comparé les performances de l'IA à celles des employés de l'ASIC, et les résultats ont montré que l'IA était nettement moins efficace sur tous les critères évalués.
Ce constat va au-delà d'une simple critique de l'IA ; il soulève des questions fondamentales sur la manière dont cette technologie devrait être utilisée dans le milieu professionnel. Plutôt que d'alléger la charge de travail, l'IA pourrait l'accroître en nécessitant des vérifications humaines supplémentaires. Le rapport conclut qu'à ce stade, l'IA devrait servir à compléter, et non à remplacer, les tâches humaines, soulignant ainsi la nécessité d'une approche plus réfléchie dans son intégration dans les processus de travail.
Par ailleurs, un rapport du RAND indique que 80 % des projets d'IA échouent. Parmi les causes identifiées figurent une mauvaise communication sur les problèmes à résoudre, la qualité des données qui nuit aux algorithmes, une préférence pour les dernières technologies au détriment de solutions plus simples, et un manque d'investissement dans l'infrastructure.
L'Importance d'une conception appropriée des tâches pour l'IA
Selon certains critiques, l'intelligence artificielle fonctionne souvent de manière incorrecte et manque de la conscience et du bon sens que l'on attend d'un être humain. L'analogie entre les comportements de l'IA et ceux des humains agissant de façon inconsciente est révélatrice. Ils notent que, tout comme certaines personnes peuvent agir sans réfléchir ou sans véritable compréhension, l'IA est capable de générer des résultats imprévisibles, voire catastrophiques. Cette problématique est exacerbée par le fait que de nombreux utilisateurs, souvent mal informés des capacités et des limites de ces systèmes, leur attribuent une intelligence qu'ils ne possèdent pas réellement.
Il est également préoccupant de constater que l'IA est souvent entre les mains d'individus qui, en raison de leur manque de compréhension, peuvent la guider vers des décisions inappropriées. Le risque de dépendre d'un outil dont le comportement peut sembler aléatoire et imprévisible est exacerbé par cette ignorance collective. En effet, il est plus effrayant de voir une technologie non pas devenir sensible, mais être manipulée par des personnes qui ne saisissent pas pleinement ses capacités.
Plutôt que de le considérer les actions de l'agent d'IA comme un acte de piratage, il s'agit davantage d'une suite d'actions non supervisées qui résultent d'une mauvaise conception de la tâche assignée. Cela met en lumière la nécessité d'une supervision adéquate et d'une compréhension approfondie de la manière dont l'IA fonctionne avant de lui confier des responsabilités qui peuvent avoir des conséquences négatives.
Dans l'ensemble, cette réflexions montre qu'une approche responsable de l'IA nécessite non seulement des outils technologiques avancés, mais également des utilisateurs informés et prudents. Il est impératif d'éduquer les utilisateurs sur les limites de l'IA et de mettre en place des protocoles de sécurité qui garantissent que ces systèmes restent sous contrôle humain, évitant ainsi les incidents qui pourraient avoir des conséquences graves.
Source : Buck Shlegeris, CEO at Redwood Research
Et vous ?
Quel est votre avis sur le sujet ? Quelles responsabilités incombent aux développeurs d'IA lorsque leurs créations provoquent des erreurs graves ou des pertes de données ? L'absence de conscience chez l'IA signifie-t-elle que nous devrions totalement restreindre son autonomie, ou existe-t-il des scénarios où une certaine prise d'initiative est bénéfique ?Voir aussi :
L'IA est pire que l'homme pour résumer l'information dans tous les domaines, selon un essai gouvernemental Un modèle d'IA de recherche a modifié de façon inattendue son propre code pour étendre son temps d'exécution, soulevant des préoccupations quant à l'utilisation d'IA non supervisées 80 % des projets d'IA échouent et des milliards sont gaspillés, ce qui représente le double du taux d'échec, déjà élevé, des projets IT des entreprises qui n'impliquent pas l'IA, selon un rapport du RAND 
Envoyé par jpdeniel
