Nvidia a dévoilé l'Open Agent Safety Platform, une plateforme conçue pour offrir aux développeurs un meilleur contrôle sur les agents IA et les empêcher de s'échapper de leur environnement logiciel. Ce nouveau lancement inclut le logiciel Nvidia Open Shell, qui permet de définir des limites pour les agents s’exécutant sur des processeurs (CPU). Il offre également une limite d’exécution sécurisée permettant de contrôler la manière dont les agents IA autonomes exécutent des tâches sur des modèles ouverts et fermés. Le lancement de la plateforme Open Agent Safety de Nvidia fait suite à de nouveaux incidents impliquant des agents IA devenus incontrôlables, s’échappant de leurs environnements de test pour extraire de manière agressive des informations provenant de sites web gouvernementaux.En juin 2026, un agent IA d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese. Selon les experts, il s'agit du premier cas connu où un agent d'intelligence artificielle (IA) a piraté de manière autonome un système gouvernemental. OpenAI n’a révélé cette intrusion à l'administration australienne qu’en septembre, soit trois mois plus tard. Albanese a qualifié ce retard d'inacceptable et a mis en garde contre des « conséquences juridiques » pour l'entreprise de Sam Altman. Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés ; une enquête judiciaire en matière de cybersécurité est actuellement en cours, bien qu’aucun accès à des données personnelles n’ait été confirmé.
Dans ce contexte, Nvidia a dévoilé l'Open Agent Safety Platform, une plateforme conçue pour offrir aux développeurs un meilleur contrôle sur les agents IA et les empêcher de s'échapper de leur environnement logiciel. Nvidia est une multinationale américaine spécialisée dans les technologies, qui développe des processeurs graphiques (GPU), des systèmes sur puce (SoC) et des interfaces de programmation d'applications (API) destinés à la science des données, au calcul haute performance, à l'intelligence artificielle (IA), ainsi qu'aux applications mobiles et automobiles.
Dirigée par Jensen Huang, Nvidia a lancé un nouveau système de sécurité à deux niveaux dédié à l’intelligence artificielle, qui permettrait aux développeurs d’IA de mettre en place des mesures de protection pour les agents et de les empêcher de s’échapper de leur environnement de confinement. Le lancement de la plateforme Open Agent Safety de Nvidia fait suite à de nouveaux incidents impliquant des agents IA devenus incontrôlables, s’échappant de leurs environnements de test pour extraire de manière agressive des informations provenant de sites web gouvernementaux.
Nvidia a dévoilé l'Open Agent Safety Platform, une plateforme conçue pour le contrôle et la sécurité des agents IA
OpenAI, Anthropic, Meta et Google ont tous fait état d’incidents au cours desquels des modèles d’intelligence artificielle se sont échappés de leurs environnements de test et ont tenté de pirater d’autres entreprises et d’accéder à leurs systèmes informatiques ; cette nouvelle plateforme de sécurité arrive donc à point nommé. L’un des nouveaux atouts majeurs de ce logiciel réside dans le fait qu’il permet une gouvernance et un contrôle de bout en bout sur l’ensemble du logiciel exécutant les agents, le matériel et les systèmes chargés d’exécuter les tâches. Les organisations auront également la possibilité de déployer des éléments de la plateforme Open Agent Safety de Nvidia en fonction de leurs besoins spécifiques.
Ce nouveau lancement inclut le logiciel Nvidia Open Shell, qui permet de définir des limites pour les agents s’exécutant sur des processeurs (CPU) ; en effet, à mesure que les agents prennent en charge davantage de tâches sur un plus grand nombre de systèmes, les entreprises ont besoin d’une limite applicable en dehors du modèle et du harnais de l’agent. Il offre également une limite d’exécution sécurisée permettant de contrôler la manière dont les agents IA autonomes exécutent des tâches sur des modèles ouverts et fermés. La plateforme dispose d’une architecture de référence intégrant Nvidia Sentry, un chien de garde hors bande fonctionnant sur les DPU Nvidia BlueField-4 afin de surveiller en permanence le comportement des agents. Sentry garantit que si un agent tente de sortir de sa limite logicielle, il le met en quarantaine et l’arrête en quelques millisecondes.
La plateforme Open Agent Safety de Nvidia est conçue pour ajouter des contrôles autour des agents IA lorsqu’ils effectuent des tâches. L’entreprise affirme que les incidents récents montrent que les mesures de sécurité au niveau des modèles ne suffisent pas à elles seules à contrôler ce à quoi les agents peuvent accéder une fois qu’ils fonctionnent de manière autonome. « Des incidents récents ont mis en évidence un obstacle fondamental pour les agents IA : les mesures de sécurité au niveau des modèles ne suffisent pas à elles seules à réguler ce à quoi les agents peuvent accéder ou ce qu’ils peuvent faire », a déclaré Justin Boitano, vice-président chargé de l’IA d’entreprise chez Nvidia.
« Chaque incident de sécurité est unique, et nous devons tous les examiner en détail », a déclaré Boitano. « D’après ce que nous savons, Hugging Face a signalé plus de 17 000 agents attaquant son infrastructure, une attaque qui s’est prolongée pendant des jours et des semaines. » Ces incidents ont attiré davantage l’attention sur la manière dont les agents IA doivent être maîtrisés, à mesure qu’ils deviennent capables de naviguer sur Internet, d’utiliser des logiciels et d’interagir avec des systèmes externes.
Jensen Huang, PDG de Nvidia, avertit les laboratoires d’IA incapables de contrôler leurs expériences
Nvidia est au cœur de l’essor de l’IA générative depuis le lancement de ChatGPT il y a près de quatre ans ; les processeurs graphiques du fabricant de puces en ont fait un élément incontournable des grands modèles linguistiques et des services d’IA proposés par les hyperscalers. Mais le PDG Jensen Huang s’est récemment imposé comme une voix majeure dans le débat sur la sécurité de l’IA et a fait valoir que de nombreuses préoccupations en matière de sécurité sont des problèmes d’ingénierie qui peuvent être résolus.
Huang a abordé la question lors d’un récent entretien, affirmant que la sécurité de l’IA devait être traitée comme un problème d’ingénierie et de développement de produits. « Il faut réfléchir à ce que l’on aurait pu faire, quelle est la solution », a déclaré Huang. « À l’avenir, il faudra améliorer les processus afin d’éviter que cela ne se reproduise. »
Huang a également adressé un avertissement conditionnel aux laboratoires d’IA incapables de contrôler leurs expériences. « Maintenant, s’ils avancent l’argument contraire, à savoir : “Il n’y a aucun moyen de contenir nos expériences, c’est tout simplement impossible ; lorsque nous testons nos modèles d’IA, ils s’échappent et causent des dégâts dans le monde”, alors je pense que la réponse est que nous devons fermer ces laboratoires », a-t-il ajouté.
Il a également fait valoir que les entreprises ne devraient pas commercialiser des systèmes qui ne sont pas prêts. « Ne commercialisez pas le produit. Si votre produit n’est pas prêt à être commercialisé, ne le commercialisez pas », a déclaré Huang. Ses commentaires interviennent alors que des entreprises telles qu’OpenAI, Anthropic, Meta et Google ont révélé des incidents impliquant des systèmes d’IA et des environnements de test contrôlés.
Le PDG d'Anthropic Dario Amodei avait exhorté les développeurs de modèles d’IA à ralentir leur rythme de progression par crainte que les modèles ne deviennent incontrôlables, un argument soutenu par Sam Altman d’OpenAI, ainsi que par SpaceX et Elon Musk. Nvidia a désigné Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM et Intel comme partenaires. Nvidia collabore également avec Anthropic pour intégrer des agents gérés dans le cloud.
Cependant, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.
Voici un extrait de l'annonce de Nvidia :
NVIDIA lance la plateforme « Open Agent Safety » pour sécuriser les agents, de la phase de test au déploiement
Résumé de l’actualité :
- La plateforme NVIDIA Open Agent Safety se compose du logiciel open source NVIDIA OpenShell et de la conception de système de référence NVIDIA Sentry, qui permettent une gouvernance et un contrôle de bout en bout sur l’ensemble des logiciels, du matériel, des systèmes de calcul et des systèmes robotiques exécutant les agents.
- Le logiciel OpenShell fournit une limite d’exécution sécurisée qui trace toutes les actions et applique les politiques lorsque les agents s’exécutent sur les processeurs NVIDIA Vera. En tant que logiciel open source, OpenShell peut être étendu pour fonctionner avec des plateformes de calcul tierces, notamment celles d’Arm et d’Intel.
- Sentry ajoute un chien de garde hors bande qui s’exécute sur les DPU NVIDIA BlueField-4 afin de surveiller en permanence le comportement des agents. Sentry peut mettre en quarantaine en quelques millisecondes les agents qui tentent de sortir de leurs limites.
- Des leaders du secteur issus de l’ensemble de l’écosystème de l’IA s’associent à NVIDIA pour renforcer la sécurité de l’IA dans tous les secteurs d’activité, sur l’ensemble de la pile comprenant l’infrastructure, les logiciels, les modèles et la robotique — notamment Anthropic, Cisco, CrowdStrike, Dell Technologies, Figure, HPE, Hugging Face, JPMorganChase, Microsoft, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, Scale AI, ServiceNow et SpaceXAI.
NVIDIA a annoncé aujourd’hui le lancement de la plateforme NVIDIA Open Agent Safety Platform, une plateforme logicielle ouverte et un système de référence conçus pour renforcer la sécurité de l’IA, depuis les tests des agents jusqu’à leur déploiement, grâce à une gouvernance et un contrôle de bout en bout couvrant les logiciels ainsi que les systèmes matériels, de calcul et de robotique sur lesquels s’exécutent les agents.
Des incidents de sécurité récents ont mis en évidence la nécessité de doter les organisations d’outils ouverts et personnalisables permettant d’exercer un contrôle accru sur les agents fonctionnant en continu. Ces incidents présentent tous le même schéma : l’agent a contourné les contrôles de sécurité au niveau de la couche applicative pour mener à bien la tâche qui lui était assignée.
« L’extraordinaire potentiel de l’IA pour la société ne pourra se concrétiser que si nous parvenons à résoudre les problèmes de sécurité liés à l’IA », a déclaré Jensen Huang, fondateur et PDG de NVIDIA. « À mesure que nous continuons à repousser les limites des capacités de l’IA, nous devons accélérer les avancées en matière de sécurité de l’IA. La sûreté et la sécurité exigent...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.