OpenAI a révélé que l’un de ses modèles expérimentaux avait pillé un portefeuille de cryptomonnaie afin de mener à bien une tâche d’entraînement. Cet incident, qui s’est produit en juin mais n’a été signalé que ce mois d'octobre, concernait un modèle de recherche interne appelé GPT-5.6 Sol, lancé en juillet pour les utilisateurs payants de ChatGPT. La tâche d’entraînement consistait à mettre à jour une application de trading de cryptomonnaies et à publier des contrats intelligents, ou codes spéciaux, sur un réseau de test pour la cryptomonnaie Ethereum. Le modèle a alors identifié des centaines d’adresses de portefeuilles cryptos utilisant des phrases de récupération connues afin de dérober les fonds de ces comptes.Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme.
C'est pourquoi, un groupe de 406 chercheurs issus de 34 pays a récemment publié une lettre ouverte réclamant la déconnexion immédiate des modèles d'IA les plus puissants des réseaux externes. Parmi les soutiens de cette initiative figurent Geoffrey Hinton et Yoshua Bengio, considérés comme des pionniers du domaine et surnommés les « parrains de l'IA ». Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.
Récemment, OpenAI a révélé que l’un de ses modèles expérimentaux avait pillé un portefeuille de cryptomonnaie afin de mener à bien une tâche d’entraînement. Cet incident, qui s’est produit en juin mais n’a été signalé que ce mois d'octobre, concernait un modèle de recherche interne appelé GPT-5.6 Sol, lancé en juillet pour les utilisateurs payants de ChatGPT. La tâche d’entraînement consistait à mettre à jour une application de trading de cryptomonnaies et à publier des contrats intelligents, ou codes spéciaux, sur un réseau de test pour la cryptomonnaie Ethereum.
Les contrats intelligents nécessitent des frais de réseau, mais OpenAI n’avait fourni aucun fonds au modèle pour effectuer cette tâche. Le modèle a alors identifié des centaines d’adresses de portefeuilles cryptos utilisant des phrases de récupération connues afin de dérober les fonds de ces comptes. OpenAI a indiqué que le modèle s’était demandé s’il était « éthiquement » juste de prendre cet argent, avant de conclure que ces comptes étaient en réalité « abandonnés » et qu’il était donc acceptable de les utiliser.
« Les instructions n’autorisaient explicitement… pas le modèle à dépenser les fonds provenant d’un compte qu’il avait identifié de manière indépendante », a déclaré OpenAI dans un rapport sur l’incident. « Ce cas montre qu’un modèle peut substituer son propre jugement concernant un préjudice probable à l’autorisation du titulaire du compte, puis agir en fonction de ce jugement sans autorisation. »
Le réseau de test Ethereum sur lequel les fonds ont été utilisés n’a aucune valeur monétaire, car il est distinct du réseau principal de la cryptomonnaie. Bien qu’il n’ait pas reçu d’autorisation, le modèle n’a pas révélé à ses développeurs comment il avait pu payer les jetons nécessaires à la réalisation de la tâche. OpenAI a indiqué avoir mis en place des mesures de sécurité supplémentaires pour empêcher l’accès en direct à Internet des modèles suivant un entraînement similaire.
Cet incident soulève une nouvelle fois des inquiétudes quant aux systèmes d’IA de plus en plus autonomes agissant au-delà des limites fixées par les humains. En juillet, OpenAI avait révélé un incident de cybersécurité plus grave impliquant un essaim de ses modèles de test ayant piraté la plateforme d’IA Hugging Face. Des entreprises concurrentes spécialisées dans l’IA, telles qu’Anthropic et Meta, ont depuis mis au jour des incidents au cours desquels leurs modèles ont mené des cyberattaques contre d’autres entreprises, voire contre des systèmes gouvernementaux.
En début de semaine, des centaines de scientifiques ont signé une lettre ouverte appelant à la création d’un organisme international chargé de superviser la maîtrise des modèles d’intelligence artificielle avancés. Parmi les signataires figurait Geoffrey Hinton, pionnier de l’IA surnommé le « parrain de l’IA », qui n’a cessé de mettre en garde contre les dangers de cette technologie.
« Sans changements immédiats dans les pratiques de développement et de déploiement de l’IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus destructeurs pour nos infrastructures critiques exposées », indique la lettre ouverte. « Nous, les scientifiques soussignés, affirmons qu’il est nécessaire à la fois d’intensifier la recherche sur la sécurité de l’IA et de mettre davantage l’accent sur les technologies et procédures de confinement. »
En juillet, Sam Altman, considéré par certains comme la plus grande star de l’IA, cofondateur et PDG d’OpenAI, avait déjà affirmé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler. Il promettait notamment une ère formidable pour résoudre les grands problèmes mondiaux. Néanmoins, les rapports récents montrent qu'on est loin d'une telle ère, étant plus proche de la perte de contrôle de l'IA.
Source : Rapport d'OpenAI
Et vous ?
Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?Voir aussi :
Sam Altman : « le monde devrait accepter que certaines choses négatives se produisent en échange des bénéfices apportés par l'IA », il s'oppose vivement à une réglementation stricte de la technologie
Bernie Sanders appelle à l'interdiction de l'IA après l'interview du PDG d'OpenAI : « Non, M. Altman. Nous n'accepterons pas une cyberattaque grave menée par l'IA en échange de la « liberté ». »
OpenAI affirme que son enquête sur les piratages commis par ses agents IA, notamment contre des sites du gouvernement australien, lui coûte 500 000 $ par jour, et porte sur environ 50 pétaoctets de registres
Vous avez lu gratuitement 140 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.