OpenAI abandonne l'interdiction d'utiliser ses outils à des fins « militaires et de guerre » pour s'associer au Pentagone

Notamment sur des outils de cybersécurité open source

OpenAI travaille avec le Pentagone sur des projets de logiciels, y compris ceux liés à la cybersécurité, a déclaré l'entreprise mardi, dans un changement radical par rapport à son interdiction précédente de fournir sa technologie d'intelligence artificielle aux militaires. Le créateur de ChatGPT est également en discussion avec le gouvernement américain pour développer des outils visant à réduire le nombre de suicides chez les vétérans, a déclaré Anna Makanju, vice-présidente des affaires mondiales de l'entreprise, lors du Forum économique mondial, tout en ajoutant qu'elle maintiendrait son interdiction de développer des armes.

Jusqu'au 10 janvier, la page des « politiques d'utilisation » d'OpenAI comprenait une interdiction des « activités présentant un risque élevé de dommages physiques, y compris », plus précisément, le « développement d'armes » et les « activités militaires et de guerre ». Cette interdiction des applications militaires, formulée en termes clairs, semble exclure toute utilisation officielle, et extrêmement lucrative, par le ministère de la défense ou toute autre armée nationale. La nouvelle politique conserve l'injonction de ne pas « utiliser notre service pour vous nuire ou nuire à autrui » et donne comme exemple « le développement ou l'utilisation d'armes », mais l'interdiction générale de l'utilisation « militaire et de guerre » a disparu.


Cette suppression, qui n'a pas été annoncée, fait partie d'une réécriture majeure de la page de politique, qui, selon l'entreprise, visait à rendre le document « plus clair » et « plus lisible », et qui comprend de nombreuses autres modifications substantielles de la langue et de la mise en forme.

« Nous avons cherché à créer un ensemble de principes universels qui soient à la fois faciles à retenir et à appliquer, d'autant plus que nos outils sont désormais utilisés globalement par des utilisateurs quotidiens qui peuvent aussi construire des GPT », a déclaré Niko Felix, porte-parole d'OpenAI. « Un principe tel que "Ne pas nuire à autrui" est large mais facile à comprendre et pertinent dans de nombreux contextes. En outre, nous avons spécifiquement cité les armes et les blessures infligées à autrui comme des exemples clairs ».


Une décision qui a suscité l'inquiétude des défenseurs de la sécurité de l'IA

« OpenAI est bien consciente des risques et des préjudices qui peuvent découler de l'utilisation de sa technologie et de ses services dans des applications militaires », a déclaré Heidy Khlaaf, directrice de l'ingénierie à la société de cybersécurité Trail of Bits et experte en apprentissage automatique et en sécurité des systèmes autonomes, citant un document de 2022, qu'elle a coécrit avec des chercheurs d'OpenAI, qui mettait spécifiquement en évidence le risque d'utilisation militaire.

Khlaaf a ajouté que la nouvelle politique semble mettre l'accent sur la légalité plutôt que sur la sécurité. « Il y a une nette différence entre les deux politiques, car la première indique clairement que le développement d'armes et les activités militaires et de guerre sont interdits, tandis que la seconde met l'accent sur la flexibilité et le respect de la loi », a-t-elle déclaré. « La mise au point d'armes et la réalisation d'activités liées à l'armée et à la guerre sont légales à divers degrés. Les implications potentielles pour la sécurité de l'IA sont importantes. Étant donné les cas bien connus de partialité et d'hallucination présents dans les grands modèles de langage (LLM), et leur manque général de précision, leur utilisation dans la guerre militaire ne peut que conduire à des opérations imprécises et biaisées susceptibles d'aggraver les dommages et les pertes civiles ».

« Compte tenu de l'utilisation de systèmes d'IA pour cibler les civils à Gaza, la décision de supprimer les termes "militaire et guerre" de la politique d'utilisation autorisée d'OpenAI est un moment important », a déclaré Sarah Myers West, directrice générale de l'AI Now Institute et ancienne analyste de la politique en matière d'IA à la Federal Trade Commission. « Les termes utilisés dans la politique restent vagues et soulèvent des questions sur la manière dont OpenAI a l'intention d'aborder l'application de la loi ».

« Je pourrais imaginer que l'abandon du terme "militaire et guerre" au profit de celui "d'armes" laisse un espace à l'OpenAI pour soutenir les infrastructures opérationnelles tant que l'application n'implique pas directement le développement d'armes au sens strict », a déclaré Lucy Suchman, professeure émérite d'anthropologie des sciences et des technologies à l'université de Lancaster. « Bien sûr, je pense que l'idée selon laquelle vous pouvez contribuer aux plateformes de combat tout en prétendant ne pas être impliqué dans le développement ou l'utilisation d'armes serait malhonnête, retirant ainsi l'arme du système sociotechnique - y compris les infrastructures de commandement et de contrôle - dont elle fait partie ».


Vient alors le ministère américain de la Défense

Ce changement intervient alors qu’OpenAI commence à travailler avec le ministère de la Défense des États-Unis sur des outils d’intelligence artificielle, notamment des outils de cybersécurité open source, selon une interview accordée mardi au Forum économique mondial par Anna Makanju, vice-présidente des affaires mondiales d’OpenAI, qui était aux côtés du PDG Sam Altman. Makanju a également déclaré qu’OpenAI était en discussion avec le gouvernement américain pour développer des outils visant à réduire le nombre de suicides chez les vétérans, mais a ajouté que l’entreprise maintiendrait son interdiction de développer des armes.

« Parce que nous avions auparavant ce qui était essentiellement une interdiction générale du militaire, beaucoup de gens pensaient que cela interdirait beaucoup de ces cas d’utilisation, qui sont très alignés sur ce que nous voulons voir dans le monde », a déclaré Makanju.

La nouvelle intervient après des années de controverse sur le développement de technologies par les entreprises technologiques à des fins militaires, soulignée par les préoccupations publiques des travailleurs de la technologie - surtout ceux travaillant sur l’intelligence artificielle. Les employés de pratiquement tous les géants de la technologie impliqués dans des contrats militaires ont exprimé leurs inquiétudes après que des milliers d’employés de Google ont protesté contre le projet Maven, un projet du Pentagone qui utiliserait l’intelligence artificielle de Google pour analyser les images de drones de surveillance. Les employés de Microsoft ont protesté contre un contrat de 480 millions de dollars avec l’armée qui fournirait aux soldats des casques de réalité augmentée, et plus de 1 500 employés d’Amazon et de Google ont signé une lettre protestant contre un contrat conjoint de 1,2 milliard de dollars, pluriannuel, avec le gouvernement et l’armée israéliens, dans le cadre duquel les géants de la technologie fourniraient des services de cloud computing, des outils d’intelligence artificielle et des centres de données.

Toutefois, la Silicon Valley semble assouplir sa position sur la collaboration avec l'armée américaine. En effet, ces dernières années, le Pentagone a déployé des efforts concertés pour convaincre les startups de la Silicon Valley de développer de nouvelles technologies d'armement et d'intégrer des outils avancés dans les opérations du département. Les tensions entre les États-Unis et la Chine et la guerre menée par la Russie en Ukraine ont également permis de dissiper bon nombre des craintes que les entrepreneurs nourrissaient autrefois à l'égard de la collaboration militaire.


L'IA pourrait remodeler l'armée, mais avec des risques importants

Les experts de la défense se sont montrés optimistes quant à l'impact de l'IA sur l'armée. L'ancien PDG de Google, Eric Schmidt, aujourd'hui figure emblématique de l'industrie de la défense, a comparé l'arrivée de l'IA à l'avènement des armes nucléaires, a rapporté Wired. « Einstein a écrit une lettre à Roosevelt dans les années 1930 pour lui dire que cette nouvelle technologie - les armes nucléaires - pourrait changer la guerre, ce qu'elle a clairement fait. Je dirais que l'autonomie [alimentée par l'IA] et les systèmes décentralisés et distribués sont aussi puissants », a déclaré Schmidt.

Toutefois, des groupes de défense ont prévenu que l'intégration de l'IA dans la guerre pourrait comporter des risques importants, compte tenu de la tendance de l'IA à "halluciner", c'est-à-dire à inventer de fausses informations et à les faire passer pour vraies, ce qui pourrait avoir des conséquences bien plus graves si les systèmes alimentés par l'IA étaient intégrés dans les systèmes de commandement et de contrôle. L'Association pour le contrôle des armes a mis en garde contre la course à l'exploitation des technologies émergentes à des fins militaires, qui s'est accélérée bien plus rapidement que les efforts déployés pour évaluer les dangers qu'elles représentent.

De son côté, bien qu'OpenAI ait exclu de développer des armes, sa nouvelle politique l'autoriserait probablement à fournir des logiciels d'IA au ministère de la défense pour des utilisations telles que l'aide aux analystes dans l'interprétation des données ou l'écriture de codes. Mais comme l'a montré la guerre en Ukraine, la frontière entre le traitement des données et la guerre n'est peut-être pas aussi nette que l'OpenAI le souhaiterait. L'Ukraine a développé et importé des logiciels pour analyser des données volumineuses, ce qui a permis à ses artilleurs d'être rapidement informés de la présence de cibles russes dans la région et d'accélérer considérablement le rythme de leurs tirs.

En attendant, des experts ont averti que le changement de politique pourrait suffire à relancer le débat sur la sécurité de l'IA au sein d'OpenAI, qui a contribué au bref licenciement de Sam Altman en tant que PDG.

Sources : Forum économique mondial (vidéo dans le texte), ancienne politique OpenAI (archivée), document coécrit par OpenAI et Heidy Khlaaf

Et vous ?

Pour ou contre l'utilisation de l'IA à des fins militaires ? Si pour, à quel degré ou à quels fins ? Si contre, pourquoi ?
Pensez-vous qu’OpenAI a bien fait de modifier sa politique d’utilisation de ses outils ?Quels sont les avantages et les inconvénients de l’utilisation de l’intelligence artificielle à des fins militaires ?
Comment OpenAI peut-elle garantir que ses outils ne seront pas utilisés pour développer ou utiliser des armes ?
Comment les travailleurs de la technologie peuvent-ils exprimer leurs préoccupations ou leur opposition à des projets militaires impliquant l’intelligence artificielle ?