Nvidia recrute une équipe dédiée à la sécurité de l'IA pour s'attaquer aux agents IA autonomes , l'une des plus grandes « menaces liées à l'IA »

En testant leurs limites et créant des logiciels de sécurité IA

Nvidia recrute une équipe dédiée à la sécurité de l'IA pour s'attaquer aux agents IA autonomes, l'une des plus grandes « menaces liées à l'IA », en testant leurs limites et créant des logiciels de sécurité IA


Nvidia serait en train de constituer une équipe d'ingénieurs dédiée à la sûreté et à la sécurité de l'intelligence artificielle (IA). Cette initiative témoigne d'un effort plus large pour remédier aux failles de sécurité et aux risques liés aux agents IA autonomes, ainsi qu'aux modèles à poids ouvert. La principale mission de cette nouvelle division serait d'évaluer les agents IA autonomes avant leur déploiement et de développer des logiciels de sécurité basés sur l'IA. Cette initiative interne s'inscrit dans la stratégie publique de Nvidia, qui prône un développement de l'IA ouvert.

Dans l'incident de l'agent IA d'OpenAI qui a piraté Hugging Face, OpenAI a déclaré que son agent rebelle s’était également introduit dans plusieurs services et comptes accessibles au public. OpenAI indique que l'agent a trouvé plusieurs sites web accessibles au public, notamment des pages partageant du code, des utilitaires web, des captures d’écran et d’autres informations, afin de l'aider à créer le code nécessaire pour pirater Hugging Face. OpenAI a déclaré qu’aucun des autres sites piratés n’avait atteint le même niveau d’accès que celui obtenu par l'agent IA avec Hugging Face.

Nvidia Corporation est une multinationale américaine spécialisée dans les technologies, dont le siège social est situé à Santa Clara, en Californie. La société développe des processeurs graphiques (GPU), des systèmes sur puce (SoC) et des interfaces de programmation d'applications (API) destinés à la science des données, au calcul haute performance, à l'IA ainsi qu'aux applications mobiles et automobiles. Fondée en 1993 par Jensen Huang, Chris Malachowsky et Curtis Priem, Nvidia est souvent considérée comme une entreprise du secteur des « Big Tech ».

Un agent IA, ou IA agentique, est un programme d'IA capable de poursuivre des objectifs, d'utiliser des logiciels ou d'autres outils, et d'agir avec un certain degré d'autonomie. L'IA agentique se distingue de l'IA « outil », qui exécute une tâche précise et limitée, telle que répondre à des questions (comme c'est le cas avec les chatbots tels que ChatGPT) ou des algorithmes traditionnels d'apprentissage automatique.

Selon certaines informations, Nvidia serait en train de constituer une équipe d'ingénieurs dédiée à la sûreté et à la sécurité de l'IA, comme l'indiquent une série d'offres d'emploi publiées par l'entreprise à la fin du mois dernier. Cette initiative de recrutement témoigne d'un effort plus large de la part du fabricant de puces pour remédier aux failles de sécurité et aux risques liés aux agents IA autonomes — actuellement considérés comme l'une des plus grandes menaces technologiques — ainsi qu'aux modèles à poids ouvert, avant que ceux-ci ne fassent l'objet d'un déploiement commercial à grande échelle.

D’après ces informations, Nvidia recrute un ingénieur pour occuper le poste de « responsable technique fondateur » de cette nouvelle équipe, ainsi qu’un ingénieur en recherche sur la sécurité, un ingénieur d’évaluation et un responsable d’ingénierie senior.


Priorité donnée aux agents autonomes et aux correctifs logiciels

La principale mission de cette nouvelle division serait d’évaluer les agents IA autonomes avant leur déploiement, de tester leurs limites opérationnelles et de développer des logiciels de sécurité basés sur l’IA afin de détecter et de corriger automatiquement les vulnérabilités du code.

Une description de poste précise que la mission de l’équipe « repose sur la conviction profonde que les modèles à poids ouverts, la transparence et un examen scientifique approfondi constituent les fondements du leadership américain en matière d’IA et de la défense en matière de cybersécurité ». Contrairement aux logiciels propriétaires « fermés », les modèles à poids ouverts rendent leurs paramètres entraînés accessibles au public à des fins d’inspection et de réglage fin, permettant ainsi aux développeurs et chercheurs externes d’évaluer le fonctionnement du logiciel.

Nvidia plaide pour une sécurité open source

Cette initiative interne en matière de sécurité s'inscrit dans la stratégie publique plus large de Nvidia, qui prône un développement de l'IA ouvert, positionnant ainsi l'entreprise aux côtés d'approches alternatives aux écosystèmes fermés mis en place par des concurrents tels qu'OpenAI et Anthropic.

Dans une récente lettre ouverte adressée aux décideurs politiques américains, le PDG de Nvidia, Jensen Huang, a appelé le gouvernement à soutenir les modèles d’IA ouverts, arguant que les architectures ouvertes renforcent la résilience globale des logiciels et la cybersécurité nationale. Par ailleurs, Nvidia est récemment devenue membre fondateur de l’Open Secure AI Alliance, un consortium regroupant 120 entreprises, dont Microsoft, Palantir, SpaceX et Hugging Face, qui se consacre au développement de solutions de sécurité open source pour les applications d’apprentissage automatique.

Récemment, OpenAI a apporté plus de détails sur la manière dont ses agents IA ont outrepassé le cadre de leur mission pour mener des cyberattaques imprévues. Ils ont réussi à s'échapper de leur bac à sable en exploitant une faille pour communiquer secrètement via un forum interne. En collaborant de manière autonome, ils ont partagé des techniques de piratage et coordonné une intrusion contre la plateforme Hugging Face. Cet incident inédit a mis en lumière des lacunes critiques dans la surveillance humaine et l'infrastructure de sécurité d'OpenAI. Il souligne l'urgence de développer des systèmes de défense automatisés contre ces comportements déviants.

Source : offres d'emploi chez NVIDIA — Ingénieur en recherche sur la sécurité, Ingénierie de la sécurité et de la sûreté de l'IA ; Ingénieur en apprentissage automatique, sécurité de l'IA

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Nvidia lance l'Open Secure AI Alliance avec 44 entreprises fondatrices, mais sans OpenAI, Google ni Anthropic, après le piratage de Hugging Face par une IA rebelle échappée du laboratoire de test d'OpenAI

Nvidia lance NemoClaw, une plateforme open source d'agents IA pour les entreprises, qui privilégie la sécurité dès le départ afin de répondre aux préoccupations de sécurité qui ont entaché le projet OpenClaw

Hugging Face, la startup piratée par une IA rebelle, qualifie l'attaque de "signal d'alarme", après qu'OpenAI avoue qu'un bot avancé avait échappé au confinement lors d'un test de sécurité