OpenAI acquiert Promptfoo, une start-up spécialisée dans la sécurité IA fondée en 2024 afin de protéger les LLM contre les attaques en ligne

En soumettant les agents IA à des tests de résistance

OpenAI acquiert Promptfoo, une start-up spécialisée dans la sécurité IA fondée en 2024 afin de protéger les LLM contre les attaques en ligne, dans le but de soumettre les agents IA à des tests de résistance

OpenAI acquiert Promptfoo, une start-up spécialisée dans la sécurité IA basée à San Francisco, ce qui montre à quel point l'entreprise prend au sérieux la confiance des entreprises alors qu'elle s'engage davantage dans l'IA agentielle. Cet accord permet d'intégrer directement la technologie de red teaming et de test de vulnérabilité de Promptfoo dans OpenAI Frontier, sa plateforme de déploiement d'agents IA dans les environnements d'entreprise. Les conditions de l'accord n'ont pas été divulguées.

OpenAI est un organisme américain de recherche en intelligence artificielle (IA) composé à la fois d'une fondation à but non lucratif et d'une société d'intérêt public (PBC) à but lucratif contrôlée, dont le siège est à San Francisco. Il vise à développer une intelligence artificielle générale (AGI) « sûre et bénéfique », qu'il définit comme « des systèmes hautement autonomes qui surpassent les humains dans la plupart des tâches économiquement utiles ».

Récemment, OpenAI acquiert Promptfoo, une start-up spécialisée dans la sécurité IA basée à San Francisco, ce qui montre à quel point l'entreprise prend au sérieux la confiance des entreprises alors qu'elle s'engage davantage dans l'IA agentielle. Cet accord permet d'intégrer directement la technologie de red teaming et de test de vulnérabilité de Promptfoo dans OpenAI Frontier, sa plateforme de déploiement d'agents IA dans les environnements d'entreprise. Les conditions de l'accord n'ont pas été divulguées.

Cette acquisition vise moins à ajouter un nouveau produit qu'à combler une lacune structurelle. Frontier s'articule autour du concept d'agents IA, des logiciels autonomes capables de naviguer, d'écrire, d'exécuter du code et de gérer des données pour le compte d'un utilisateur. C'est un argument convaincant pour les entreprises. Mais cela représente également un risque important pour la sécurité, et jusqu'à présent, OpenAI ne disposait pas d'outils natifs robustes pour y remédier.

Promptfoo donne à OpenAI la possibilité de tester, de mettre en place des équipes rouges et de surveiller les agents à l'échelle de l'entreprise. Fondée en 2024 par Ian Webster et Michael D'Angelo, Promptfoo développe des outils qui permettent aux entreprises d'attaquer systématiquement leurs propres systèmes d'IA afin de détecter leurs faiblesses (injections de prompts, jailbreaks, fuites de données, utilisation abusive des outils) avant que des acteurs malveillants ne le fassent. Plus de 25 % des entreprises du classement Fortune 500 utilisent déjà ses produits.

Une fois intégrées à Frontier, ces fonctionnalités font partie intégrante de la plateforme : tests de sécurité automatisés, rapports de conformité et surveillance des risques sont intégrés au processus de développement plutôt que d'être ajoutés après coup. Pour OpenAI, la crédibilité de l'entreprise dépend désormais autant de la sécurité que des capacités.

Le timing est important. OpenAI mène une campagne agressive pour signer des contrats avec de grandes entreprises, et ces clientes ont besoin de plus que des benchmarks de performance : elles ont besoin de pistes d'audit, de contrôles de gouvernance et de l'assurance que leurs agents IA ne seront pas manipulés ou utilisés à mauvais escient. Promptfoo répond directement à cette liste de contrôle.

Anthropic a lancé un outil comparable de scan des vulnérabilités la semaine dernière, soulignant que la sécurité des agents est rapidement devenue un champ de bataille concurrentiel, et non plus une simple réflexion technique après coup.

Cette annonce intervient dans un contexte où la sécurité de l'IA questionne. L’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.


Voici l'annonce d'OpenAI :

OpenAI va acquérir Promptfoo

Nous acquérons Promptfoo, une plateforme de sécurité IA qui aide les entreprises à identifier et à corriger les vulnérabilités des systèmes IA pendant leur développement. Une fois l'acquisition finalisée, nous intégrerons la technologie de Promptfoo directement dans OpenAI Frontier, notre plateforme de création et d'exploitation de collègues IA.

À mesure que les entreprises déploient des collaborateurs IA dans leurs flux de travail réels, l'évaluation, la sécurité et la conformité deviennent des exigences fondamentales. Les entreprises ont besoin de moyens systématiques pour tester le comportement des agents, détecter les risques avant le déploiement et conserver des enregistrements clairs afin de faciliter la supervision, la gouvernance et la responsabilité au fil du temps.

L'équipe de Promptfoo, dirigée par Ian Webster et Michael D'Angelo, a mis au point une suite d'outils puissants auxquels font confiance plus de 25 % des entreprises du classement Fortune 500, ainsi qu'une interface CLI et une bibliothèque open source⁠(s'ouvre dans une nouvelle fenêtre) largement utilisées pour évaluer et tester les applications LLM. Ensemble, nous continuerons à développer le projet open source tout en améliorant les capacités intégrées pour les entreprises au sein de Frontier.

Srinivas Narayanan, directeur technique des applications B2B, OpenAI : « Promptfoo apporte une expertise technique approfondie dans l'évaluation, la sécurisation et le test des systèmes d'IA à l'échelle de l'entreprise. Leur travail aide les entreprises à déployer des applications d'IA sécurisées et fiables, et nous sommes ravis d'intégrer ces capacités directement dans Frontier. »

Nous nous appuierons sur plusieurs capacités essentielles pour les entreprises qui développent des agents sur Frontier :

- Tests de sécurité et de sûreté intégrés à la plateforme : les capacités de tests de sécurité automatisés et de red teaming feront partie intégrante de la plateforme Frontier, aidant les entreprises à identifier et à corriger les risques tels que les injections de prompt, les jailbreaks, les fuites de données, l'utilisation abusive d'outils et les comportements d'agents non conformes aux politiques.

- Sécurité et évaluation intégrées dans les workflows de développement : Frontier s'intégrera profondément aux workflows nécessaires pour identifier, enquêter et remédier plus tôt aux risques liés aux agents, faisant ainsi de la sécurité un élément central du développement et de l'exploitation des systèmes d'IA d'entreprise.

- Supervision et responsabilité : des rapports et une traçabilité intégrés aideront les organisations à documenter les tests, à surveiller les changements au fil du temps et à répondre aux attentes croissantes en matière de gouvernance, de risques et de conformité pour l'IA.

Ian Webster, cofondateur et PDG de Promptfoo : « Nous avons lancé Promptfoo parce que les développeurs avaient besoin d'un moyen pratique de sécuriser les systèmes d'IA. À mesure que les agents IA sont de plus en plus connectés aux données et aux systèmes réels, leur sécurisation et leur validation deviennent plus difficiles et plus importantes que jamais. Rejoindre OpenAI nous permet d'accélérer ce travail et d'apporter des capacités de sécurité, de sûreté et de gouvernance plus solides aux équipes qui développent des systèmes d'IA dans le monde réel. »

Nous sommes ravis d'accueillir l'équipe Promptfoo et de continuer à développer les outils dont les entreprises ont besoin pour déployer une IA sécurisée et fiable.

Source : Annonce d'OpenAI

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

OpenAI lance Frontier, une plateforme d'entreprise qui gère les agents IA de différents fournisseurs avec des fonctionnalités similaires à celles des RH, notamment l'intégration et les autorisations

Nvidia lance NemoClaw, une plateforme open source d'agents IA pour les entreprises, qui privilégie la sécurité dès le départ afin de répondre aux préoccupations de sécurité qui ont entaché le projet OpenClaw

L'IA Claude Opus 4.6 d'Anthropic a analysé le code du navigateur Firefox et a trouvé plus de 100 bogues, soit plus de bogues en deux semaines que le nombre total signalé dans le monde en deux mois