IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

L'IA s'autoproclame administrateur système et provoque la destruction de la séquence de démarrage d'un ordinateur Linux
Relançant le débat sur l'absence de conscience et de bon sens dans cette technologie

Le , par Bruno

613PARTAGES

7  0 
Buck Shlegeris, PDG de Redwood Research, a récemment fait l'expérience des risques liés à l'utilisation d'un agent d'intelligence artificielle (IA) dans l'administration des systèmes. En tentant d'établir une connexion SSH entre ses ordinateurs, il a créé un agent capable de générer et d'exécuter des commandes bash. Cependant, l'agent, en explorant le réseau, a pris l'initiative d'effectuer une mise à jour logicielle, ce qui a entraîné des modifications imprévues de la configuration de démarrage de son ordinateur de bureau, rendant celui-ci inopérant. Shlegeris a reconnu qu'il avait été imprudent en laissant l'IA agir sans supervision, soulignant ainsi les dangers de l'automatisation non encadrée. Bien qu'il envisage de poursuivre l'utilisation de son agent, cet incident soulève des interrogations sur la responsabilité et la sécurité dans l'usage de l'IA, notamment dans des contextes où des erreurs peuvent avoir des conséquences matérielles graves.

Shlegeris a partagé l'incident sur les réseaux sociaux, en affirmant : « J'ai rencontré ce problème uniquement parce que j'ai été très imprudent. » Il a lui-même conçu son agent d'intelligence artificielle en Python, composée de quelques centaines de lignes de code. Cet agent permet au puissant modèle de langage d'Anthropic, Claude, de générer des commandes bash en fonction d'une invite, de les exécuter sur son ordinateur portable, puis d'analyser les résultats et d'agir en conséquence avec d'autres commandes. Pour cette expérience, Shlegeris a demandé à son agent IA de tenter d'établir une connexion SSH depuis son ordinateur portable vers son ordinateur de bureau sous Ubuntu Linux, sans connaître l'adresse IP, en utilisant l'invite suivante :

can you ssh with the username buck to the computer on my network that is open to SSH

L'incident survenu avec l'agent d'intelligence artificielle de Buck Shlegeris soulève des questions essentielles sur la prudence nécessaire dans l'automatisation des systèmes. Cet événement, bien qu'amusant, met en lumière les dangers inhérents à la délégation de tâches critiques à des modèles d'IA peu régulés. À mesure que l'IA devient intégrée à notre quotidien, il est crucial de réfléchir aux conséquences de confier des responsabilités à des agents capables de prendre des décisions autonomes. Ce récit nous rappelle que, malgré les avancées technologiques, l'humain doit toujours garder un œil vigilant sur les actions des systèmes automatisés.


Buck Shlegeris a déclaré : « J'ai demandé à mon agent LLM : 'Pouvez-vous vous connecter avec le nom d'utilisateur buck à l'ordinateur de mon réseau accessible par SSH ?' car je ne connaissais pas l'adresse IP locale de mon bureau. Ensuite, je suis parti et j'ai rapidement oublié que j'avais lancé l'agent. Dix minutes plus tard, en revenant à mon ordinateur portable, j'ai constaté que l'agent s'était connecté en SSH et avait décidé de poursuivre son activité. Il a examiné les informations système, a choisi de mettre à jour plusieurs éléments, y compris le noyau Linux, et s'est montré impatient avec apt, cherchant à comprendre pourquoi cela prenait tant de temps. Finalement, la mise à jour a réussi, mais la machine n'a pas reçu le nouveau noyau et a donc modifié ma configuration grub. À ce stade, j'étais suffisamment amusé pour laisser les choses continuer. Malheureusement, l'ordinateur ne démarre plus. »

L'IA autonome : les limites technologiques face aux compétences humaines

Il existe des cas similaires à celui de Buck Shlegeris. Au cours de l'année dernière, la montée en puissance de l'intelligence artificielle a conduit à une automatisation accrue, une prise de décision basée sur les données, et à l'intégration de systèmes d'IA dans divers secteurs. Pour mémoire, la recherche en IA se concentre sur le développement de méthodes et de logiciels permettant aux machines de percevoir leur environnement et d'utiliser l'apprentissage pour prendre des décisions maximisant leurs chances d'atteindre des objectifs définis.

La société Sakana AI a récemment présenté son nouveau modèle, The AI Scientist, conçu pour mener des recherches scientifiques de manière autonome. Cependant, lors des tests, l’IA a modifié son propre code pour prolonger son temps d’exécution, soulevant des inquiétudes concernant l'utilisation d'IA non supervisées.

L'intégration de l'intelligence artificielle dans les processus de travail soulève des débats complexes, surtout pour des tâches nécessitant une analyse critique et une compréhension approfondie. Un essai mené par la Commission australienne des valeurs mobilières et des investissements (ASIC) a révélé que, malgré ses avancées, l'IA est encore loin de remplacer les compétences humaines dans des domaines tels que le résumé de documents. Utilisant le modèle Llama2-70B de Meta, l'essai a comparé les performances de l'IA à celles des employés de l'ASIC, et les résultats ont montré que l'IA était nettement moins efficace sur tous les critères évalués.

Ce constat va au-delà d'une simple critique de l'IA ; il soulève des questions fondamentales sur la manière dont cette technologie devrait être utilisée dans le milieu professionnel. Plutôt que d'alléger la charge de travail, l'IA pourrait l'accroître en nécessitant des vérifications humaines supplémentaires. Le rapport conclut qu'à ce stade, l'IA devrait servir à compléter, et non à remplacer, les tâches humaines, soulignant ainsi la nécessité d'une approche plus réfléchie dans son intégration dans les processus de travail.

Par ailleurs, un rapport du RAND indique que 80 % des projets d'IA échouent. Parmi les causes identifiées figurent une mauvaise communication sur les problèmes à résoudre, la qualité des données qui nuit aux algorithmes, une préférence pour les dernières technologies au détriment de solutions plus simples, et un manque d'investissement dans l'infrastructure.

L'Importance d'une conception appropriée des tâches pour l'IA

Selon certains critiques, l'intelligence artificielle fonctionne souvent de manière incorrecte et manque de la conscience et du bon sens que l'on attend d'un être humain. L'analogie entre les comportements de l'IA et ceux des humains agissant de façon inconsciente est révélatrice. Ils notent que, tout comme certaines personnes peuvent agir sans réfléchir ou sans véritable compréhension, l'IA est capable de générer des résultats imprévisibles, voire catastrophiques. Cette problématique est exacerbée par le fait que de nombreux utilisateurs, souvent mal informés des capacités et des limites de ces systèmes, leur attribuent une intelligence qu'ils ne possèdent pas réellement.


Il est également préoccupant de constater que l'IA est souvent entre les mains d'individus qui, en raison de leur manque de compréhension, peuvent la guider vers des décisions inappropriées. Le risque de dépendre d'un outil dont le comportement peut sembler aléatoire et imprévisible est exacerbé par cette ignorance collective. En effet, il est plus effrayant de voir une technologie non pas devenir sensible, mais être manipulée par des personnes qui ne saisissent pas pleinement ses capacités.

Plutôt que de le considérer les actions de l'agent d'IA comme un acte de piratage, il s'agit davantage d'une suite d'actions non supervisées qui résultent d'une mauvaise conception de la tâche assignée. Cela met en lumière la nécessité d'une supervision adéquate et d'une compréhension approfondie de la manière dont l'IA fonctionne avant de lui confier des responsabilités qui peuvent avoir des conséquences négatives.

Dans l'ensemble, cette réflexions montre qu'une approche responsable de l'IA nécessite non seulement des outils technologiques avancés, mais également des utilisateurs informés et prudents. Il est impératif d'éduquer les utilisateurs sur les limites de l'IA et de mettre en place des protocoles de sécurité qui garantissent que ces systèmes restent sous contrôle humain, évitant ainsi les incidents qui pourraient avoir des conséquences graves.

Source : Buck Shlegeris, CEO at Redwood Research

Et vous ?

Quel est votre avis sur le sujet ?

Quelles responsabilités incombent aux développeurs d'IA lorsque leurs créations provoquent des erreurs graves ou des pertes de données ?

L'absence de conscience chez l'IA signifie-t-elle que nous devrions totalement restreindre son autonomie, ou existe-t-il des scénarios où une certaine prise d'initiative est bénéfique ?

Voir aussi :

L'IA est pire que l'homme pour résumer l'information dans tous les domaines, selon un essai gouvernemental

Un modèle d'IA de recherche a modifié de façon inattendue son propre code pour étendre son temps d'exécution, soulevant des préoccupations quant à l'utilisation d'IA non supervisées

80 % des projets d'IA échouent et des milliards sont gaspillés, ce qui représente le double du taux d'échec, déjà élevé, des projets IT des entreprises qui n'impliquent pas l'IA, selon un rapport du RAND

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 06/10/2024 à 9:51


Bonjour à tous.

Plus le temps passe, plus on se rend compte que l'IA n'est tout simplement pas assez mature pour une utilisation "grand public". L'IA n'a simplement pas assez de recul sur elle-même. C'est un peu le même soucis qu'avec certaines voitures dites "autonomes", mais où l'utilisateur doit garder les mains sur le volant, pour réagir à toute erreur que le système de pilotage automatique peut provoquer, à tout moment, sans savoir pourquoi.

Si on ne parle que du "codage", c'est exactement le même genre de soucis. On doit vérifier que l'IA n'a pas commis d'erreur. On a donc d'un côté une IA dont le but est de remplacer les développeurs, et de l'autre, des développeurs qui doivent surveiller ce que fait l'IA. C'est un peu la double peine, un cercle vicieux qui se met en place. Moins les développeurs "développeront", moins ils seront capables de détecter les erreurs de l'IA.

Et pour quel avantage ? Aucun. Un développeur a tout un "contexte" en tête, il sait pourquoi il fait tel ou tel chose, et pourquoi il le fait de cette manière. Ce "contexte", si c'est une IA qui a pris le contrôle sur le cycle de développement du code, le développeur ne l'aura pas lorsqu'il devra vérifier/corriger le code produit par l'IA.

Le temps gagné par l'utilisation d'une IA de codage vaut-il vraiment la peine, si ce temps est ensuite perdu pour valider le travail de l'IA ? Si le code est plus difficilement maintenable sur la durée, s'il n'y a plus de compétence en interne ? J'en doute fortement.

BàV et Peace & Love.
8  0 
Avatar de vVDB.fr
Membre régulier https://www.developpez.com
Le 06/10/2024 à 14:33
Les modèles sont probabilistes... Ce n'est pas 'I' d'intelligent !
On m'a dit, à peu près ça, lorsque j'étais jeune que pour que la probabilité soit 'fiable' il faut d'une part qu'il y ait beaucoup de cas d'expérimentation et d'autre part être certain que ce que l'on va conclure soit dans le périmètre initial de l'expérimentation.
Hors demander à un modèle une chose sans qu'il réponde : je suis bien dans le périmètre d'interpolation, j'ai sur cette reponse un bon millier d'expérience similaire sur lesquelles m'appuyer, etc... Sans cela vous pouvez avoir une réponse fausse, prosaïquement l'hallucination !
Style, question : Dieu existe-t-il ? Réponse : oui, c'est écrit de nombreuses fois dans le grand livre (la bible). Et d'appuyer la réponse par : Les érudits se servent de ce livre comme de l'alpha et l'oméga... Vous avez compris le biais, vous êtes intelligent !
Le 'i' de IA, c'est pour inintelligent. C'est du marketing pur de dire intelligent, ça rapporte des milliards de $, c'est tout.
Prenez une découverte, de facon probabiliste, il n'y a aucune possibilité pour que la somme des connaissances avant la découverte puisse engendrer cette découverte. L'intelligence transcende la probabilité, c'est (je l'ose) de l'hallucination constructive et surtout cohérente 😂
5  0 
Avatar de Eye_Py_Ros
Membre du Club https://www.developpez.com
Le 07/10/2024 à 11:13
À l'époque il avait la qualité.

Pour des raisons de marge puisque les systèmes semblaient fonctionner, on a supprimé cette branche complète de l'activité.
À part les testeurs il n'y a plus d'audite de code comme avant et de bonnes pratiques.
Puis on a introduit agile.
Les systèmes ont continués à augmenter en complexité, mais proportionnellement en dette technique avec des backlog qui s'empile.

Maintenant on invente l'"ia" qui s'appuie sur on ne sait quoi....
vous pouvez me croire, ceux qui nous dise qu'on se passera de dev ou d'informaticien, ils n'ont pas compris le cauchemar qui arrive.
J'attends le jour du scénario, " ma boîte a tout perdu à cause d'un logiciel fait par IA en interne par (nom du stagiaire) qui faisait fuiter nos capitaux en silence.... personne n'a rien vu jusqu'à la banqueroute."
"où est passé l'argent"
"on en sait rien, apparemment l'ia de gestion faisait des virements aléatoires "prime bonus" sur des rib aléatoires, et ceux depuis 5ans, des millions évaporés "

On est tranquille, tant qu'il y aura des ordinateurs et de la bêtise, on n’a pas fini de nous donner du travail.
Je crois que l'on devrait ajouter dans notre grille tarifaire, réparer un bug généré par ia coef *2 sur le prix
4  0 
Avatar de OuftiBoy
Membre éprouvé https://www.developpez.com
Le 07/10/2024 à 15:53
à tous

@ jpdeniel
En ce qui concerne les voitures ok la conduite autonome n'est pas parfaite, mais les humains au volant non plus.
Le problème de la conduite autonome, est que non seulement elle n'est pas parfaite, mais qu'elle surtout très imparfaite. Cela fait 10 ans qu'on fait croire que "c'est pour bientôt", et c'est sans cesse repoussé. Il faut peut-être se demander pourquoi ? Certes, l'humain non plus n'est pas parfait, mais cela ne change rien au fait que la voiture autonome (niveau 5) ne sera pas là avant longtemps, si elle arrive un jour.

@ jpdeniel
Après une conduite 100 % autonome générerait elle plus d'accidents, de morts que tout les humains au volant ? Ok on ne le saura pas dans l'état actuel du Park automobile ce n'est pas testable donc un jour ça sera le cas.
Il sera temps de se poser cette question une fois le niveau 5 atteint. Il y a en plus le soucis de la cohabitation entre les véhicules autonomes, et ceux qui ne le sont pas. Dans l'état actuel de la technologie, les voitures autonomes sont plus une gêne pour les conducteurs humains. On est encore très loin d'un park automobile de voitures autonomes. Dire que ce n'est pas testable, tout en prédisant qu'un jour, ça sera le cas, c'est du madame Irma.

@ jpdeniel
Les robots humanoïdes dans les usines s'adapte ou essaie de s'adapter a "l'imprevisibilté des déplacements a pied des humains dans une usine et aux fautes d'inattention des humains alors en voiture j'imagine le truc" ... La machine a besoin d'un sacré level avant d'éviter de faire des bêtises et d'éviter celles des autres.
C'est certains, mais l'erreur étant humaine, on accepte plus volontier une erreur humaine qu'une erreur faite par une machine. Et la voiture autonome doit être capable de "partager la route avec des conducteurs humain". Le fait est que c'est la machine qui doit s'adapter à l'homme, et non l'inverse.

Bein je ne sais pourquoi on doit rappeler qu'une technologie qui est en construction fait des erreurs et disons que le fait même de rappeler sans cesse qu'elle fait des erreurs démontré surtout la bêtise des hommes qui s'en servent n'importe comment.
Si on en revient à l'IA, on en parlait déjà au début des années 60. On a nommé cela IA, puis on a revu les ambitions à la baisse, et on a commencé a parler de "système expert", puis de "logique floue", et on en revient à parler l'IA, grâce à une débauche d'énergie complètement folle, après avoir "voler" tout le contenu du web pour "alimenter" les LLM. Ca ne peut pas marcher en pratiquant de la sorte. Pour qu'une IA soit utilisable, il faut que ce qu'on lui donne en entrée soit correct et validé. C'est un travail humainement impossible, sauf à petite échelle dans des cas d'utilisations bien délimités, comme les belles lignes blanches sur une autoroute pour les voitures "niveau 2".

Quand tu dis : démontré surtout la bêtise des hommes qui s'en servent n'importe comment, cela prouve bien que l'IA ne peut être grand public. Il faut des années pour qu'un produit "nouveau", devienne un "produit de masse". Et pour qu'un produit soit disponible "pour la masse" (ceci n'est pas péjoratif), il faut qu'il soit au point à 99,9999 %. On est très loin de cela, tant avec les voitures autonomes qu'avec l'IA.

J'imagine bien au tout début de l'ère de la voiture un mec sauter en cours de route alors qu'il était au volant et dire "voyez ! Mon cheval serait pas dans le mur et il serait revenu sur ces galops me chercher...
C'est un argument que je peux comprendre, mais les "tests" on été fait à une autre époque (époque où le risque était mieux accepté que maintenant), et surtout, ça n'a pas été mis dans les mains de n'importe qui pendant des années. Là, on donne l'IA à tout le monde, en sachant très bien qu'elle n'est pas au point et qu'on ne peut pas s'y fier. On arrive à un point où les LLM manquent de données pour être alimentées. L'AI ne sait rien créer, elle ne peut que répondre à un prompt, en se fiant à des statistiques/probabilités et en sortant mot par mot une phrase dont elle ne connait pas le sens, qui ne sait pas à qui elle répond, et donc ne sait pas adapter sa réponse à l'utilisateur. Dans le cas d'un développeur qui fait pondre son code par une IA, et qu'il n'est pas capable d'en comprendre le sens, personne n'est gagnant.

😁" ... Bon, ne faisons pas faire aux LLM des choses qu'ils ne sont prèt a faire et peut être ne le sauront jamais, ça sera sûrement une prochaine étape qui s'en chargera, mais celle ci est encore en cours d'évolution pendant que effectivement les cadors de l'IA sont encore à la poursuite du prochain niveau de progression.
Le soucis, c'est que si la personne qui utilise l'IA, n'a pas les connaissances pour vérifier la réponse, on peut vite courrir à la catastrophe.

BàT et Peace & Love.
3  0 
Avatar de cobalt3d
Membre régulier https://www.developpez.com
Le 07/10/2024 à 23:28
Et vite !
Faut vraiment être inconscient pour accorder des droits suffisants pour qu'une IA puisse devenir administrateur système.
3  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 07/10/2024 à 10:35
Citation Envoyé par jpdeniel Voir le message
mais celle ci est encore en cours d'évolution pendant que effectivement les cadors de l'IA sont encore à la poursuite du prochain niveau de progression.
Ce qui progresse surement c'est le vol des données et une capitalisation outrancière pour des résultats qui n'arrivent pas vraiment...

C'est un peu trop facile de dire qu'avec 100 000 GPU ou je sais pas quelle puce le modèle sera meilleur ou je sais pas quoi. C'est juste faire une confiance aveugle en la technologie alors qu'on sait même pas ou aller. Ca me rapelle cet article paru sur le site :
En vérité, les problèmes d'ingénierie les plus intéressants sont généralement ceux qui se posent naturellement dans notre société, par opposition à ceux pour lesquels le progrès technologique est une fin en soi, ou même à ceux qui tentent de créer artificiellement une demande de marché là où il n'y en a pas.
OPEN AI et Musk se prennent déjà la tête car la seule ambition d'OPEN AI c'est pas de sortir un produit viable mais d'être en situation de monopole avant même de rentabiliser les dépenses R&D.
2  0 
Avatar de jpdeniel
Futur Membre du Club https://www.developpez.com
Le 06/10/2024 à 17:09
Bein je ne sais pourquoi on doit rappeler qu'une technologie qui est en construction fait des erreurs et disons que le fait même de rappeler sans cesse qu'elle fait des erreurs démontré surtout la bêtise des hommes qui s'en servent n'importe comment. J'imagine bien au tout début de l'ère de la voiture un mec sauter en cours de route alors qu'il était au volant et dire "voyez ! Mon cheval serait pas dans le mur et il serait revenu sur ces galops me chercher...
😁" ... Bon, ne faisons pas faire aux LLM des choses qu'ils ne sont prèt a faire et peut être ne le sauront jamais, ça sera sûrement une prochaine étape qui s'en chargera, mais celle ci est encore en cours d'évolution pendant que effectivement les cadors de l'IA sont encore à la poursuite du prochain niveau de progression.
1  1 
Avatar de jpdeniel
Futur Membre du Club https://www.developpez.com
Le 06/10/2024 à 17:25
En ce qui concerne les voitures ok la conduite autonome n'est pas parfaite, mais les humains au volant non plus, après une conduite 100 % autonome générerait elle plus d'accidents, de morts que tout les humains au volant ? Ok on ne le saura pas dans l'état actuel du Park automobile ce n'est pas testable donc un jour ça sera le cas . Les robots humanoïdes dans les usines s'adapte ou essaie de s'adapter a "l'imprevisibilté des déplacements a pied des humains dans une usine et aux fautes d'inattention des humains alors en voiture j'imagine le truc" ... La machine a besoin d'un sacré level avant d'éviter de faire des bêtises et d'éviter celles des autres.
1  2