Palantir, la société d'analyse de données appartenant au milliardaire Peter Thiel, vient de lancer une IA capable de faire la guerre malgré les mises en garde des experts du secteur et de certains gouvernements sur la question. L'entreprise a présenté mardi Palantir Artificial Intelligence Platform (AIP), un système dont la fonction première est d'intégrer de grands modèles de langage (LLM) tels que GPT-4 d'OpenAI ou ses alternatives dans des réseaux privés. Pour prouver son efficacité, Palantir a fait la démonstration de l'AIP dans le contexte des conditions modernes du champ de bataille. Dans la démo, l'IA s'est montrée capable de planifier des stratégies de défense et de guerre.Palantir est un éditeur de logiciels spécialisé dans l'analyse, l'intégration et la présentation de grandes quantités de données pour divers secteurs tels que la finance, la santé et le gouvernement. L'entreprise vend déjà ses services de surveillance intérieure aux services de l'immigration et des douanes des États-Unis. Il n'est donc pas surprenant qu'elle s'efforce de faire des incursions au Pentagone. Mardi, elle a publié une vidéo de démonstration de sa dernière offre, la Palantir Artificial Intelligence Platform (AIP). C'est une plateforme conçue pour intégrer de grands modèles de langage comme GPT-4 d'OpenAI ou BERT de Google dans des réseaux privés.
Cependant, l'aspect le plus intrigant et le plus surprenant de la présentation est la démonstration des capacités de la plateforme. La toute première chose qu'ils ont faite a été de l'appliquer à un théâtre d'opérations moderne. Dans la vidéo de démonstration ci-dessous, un opérateur militaire chargé de la surveillance du théâtre d'Europe de l'Est découvre que des forces ennemies se massent près de la frontière et réagit en demandant à un assistant numérique de type ChatGPT de l'aider à déployer des drones de reconnaissance, à élaborer des réponses tactiques à l'agression perçue et même à organiser le brouillage des communications de l'ennemi.
L'AIP aide à estimer la composition et les capacités de l'ennemi en lançant un drone Reaper en mission de reconnaissance en réponse à la demande de l'opérateur qui souhaite obtenir de meilleures images, et en suggérant des réponses appropriées à la découverte d'un élément blindé. « Il demande quelles sont les unités ennemies présentes dans la région et s'appuie sur l'IA pour élaborer une formation d'unités probable. Il demande à l'IA de prendre des photos. Elle lance un drone Reaper MQ-9 pour prendre les photos et l'opérateur découvre la présence d'un char T-80, un véhicule russe de l'ère soviétique, à proximité des forces amies », explique la vidéo.
L'opérateur demande alors aux robots ce qu'ils doivent faire. « L'opérateur utilise l'AIP pour générer trois plans d'action possibles afin de cibler l'équipement ennemi. Il utilise ensuite l'AIP pour envoyer automatiquement ces options à la chaîne de commandement. Les options comprennent l'attaque du char avec un F-16, de l'artillerie à longue portée ou des missiles Javelin », explique la vidéo. Selon les commentaires de la vidéo, l'IA indiquera même à chacun si les troupes à proximité disposent de suffisamment de Javelins pour mener à bien la mission et automatisera les systèmes de brouillage. De nombreux critiques affirment que l'idée est dangereuse.
« Les LLM et les algorithmes doivent être contrôlés dans ce contexte hautement réglementé et sensible afin de garantir qu'ils sont utilisés de manière légale et éthique », commence la vidéo. Pour ce faire, le fonctionnement de l'AIP repose sur trois "piliers clés", le premier étant que l'AIP se déploiera dans un système classifié, capable d'analyser en temps réel des données classifiées et non classifiées, de manière éthique et légale. Toutefois, l'entreprise n'a pas précisé comment cela fonctionnerait. Le deuxième pilier évoqué par la vidéo est que les utilisateurs seront en mesure de modifier la portée et les actions de chaque LLM et de chaque actif du réseau.
La vidéo de la démo indique que l'AIP lui-même générera un enregistrement numérique sécurisé de l'ensemble de l'opération. Selon l'entreprise, "cela est crucial pour atténuer les risques juridiques, réglementaires et éthiques importants dans les environnements sensibles et classifiés". Le troisième pilier est constitué par les "garde-fous" de l'AIP, à la pointe de l'industrie, qui empêchent le système de prendre des mesures non autorisées. Il y a "un humain dans la boucle" pour empêcher de telles actions dans le scénario de Palantir. En outre, la démo ne précise pas les mesures prises pour empêcher les LLM sur lesquels le système s'appuie d'halluciner.
Selon des critiques, l'argumentaire de Palantir est incroyablement dangereux et bizarre. Bien qu'il y ait un humain dans la boucle dans la démonstration de l'AIP pour empêcher que le système ne prenne des mesures non autorisées, il semble qu'il ne fasse guère plus que demander au chatbot ce qu'il doit faire et approuver ensuite ses actions. La guerre des drones a déjà abstrait la guerre, permettant aux gens de tuer plus facilement sur de vastes distances en appuyant sur un bouton. Les conséquences de ces systèmes sont bien documentées. Dans la vision de Palantir de l'avenir de l'armée, d'autres systèmes seraient automatisés et abstraits.
Une bizarrerie amusante de la vidéo est qu'elle appelle ses utilisateurs "opérateurs", un terme qui, dans un contexte militaire, désigne les forces spéciales barbues de groupes tels que Seal TEAM Six. Dans le monde de Palantir, les forces d'élite américaines partagent le même surnom que les cow-boys du clavier qui demandent à un robot ce qu'il faut faire au sujet d'un char russe à la frontière. L'offre de Palantir ne consiste pas non plus à vendre une IA spécifique à l'armée, mais propose d'intégrer des systèmes (IA ou LLM) existants dans un environnement contrôlé. La démonstration de l'AIP montre que le logiciel prend en charge différents LLM libres.
Même les systèmes d'IA perfectionnés disponibles sur le marché présentent de nombreux problèmes connus qui pourraient faire du fait de leur demander ce qu'il faut faire dans une zone de guerre un véritable cauchemar. Par exemple, ils ont tendance à halluciner, c'est-à-dire inventer des faits et tenter de les faire passer pour des faits réels aux yeux de l'utilisateur. GPT-NeoX-20B en particulier est une alternative open source à GPT-3 créée par une startup appelée EleutherAI. L'un des modèles libres d'EleutherAI, affiné par une autre entreprise appelée Chai, a récemment convaincu un Belge qui lui avait parlé pendant six semaines de se suicider.
« Ce que Palantir offre, c'est l'illusion de la sécurité et du contrôle pour le Pentagone qui commence à adopter l'IA », a écrit un critique. Outre l'absence d'approches de solution pour gérer le problème d'hallucination des LLM, Palantir n'explique pas comment il envisage de traiter les autres problèmes pernicieux des LLM et quelles pourraient en être les conséquences dans un contexte militaire. L'AIP ne semble pas proposer de solutions à ces problèmes au-delà des "cadres" et des "garde-fous" dont elle promet qu'ils rendront l'utilisation "éthique" et "légale" de l'IA militaire. Cependant, ces mots n'offrent aucune garantie de sécurité à l'humanité.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du système AIP de Palantir ? Selon vous, l'offre de Palantir résout-elle un problème concret ? Sinon, quels sont les problèmes que pose la plateforme AIP de Palantir ? Quelles sont les préoccupations éthiques que pose ce système ? Que pensez-vous de l'utilisation "éthique" et "légale" de l'IA militaire dont parle Palantir ?Voir aussi
Israël déploie des armes assistées par l'IA pour traquer des cibles en Cisjordanie, et suscite de nouvelles préoccupations sur la prolifération des armes létales autonomes Un projet de loi bipartisan américain vise à empêcher l'IA de lancer des armes nucléaires sans véritable contrôle humain, il affirme que l'IA ne devrait pas trancher les questions de vie ou de mort « Les appels à suspendre le développement des systèmes d'IA ne résoudront pas les défis liés à leur mise sur pied », d'après Bill Gates, qui entrevoit l'échec d'un consensus à l'échelle mondiale Les USA, la Chine et une soixantaine d'autres pays appellent à une utilisation « responsable » de l'IA militaire. Les critiques notent que cette déclaration n'est pas juridiquement contraignante 
Envoyé par Bill Fassinou
