La DARPA s'interroge sur la capacité de l'intelligence artificielle à produire du code rapidement et en toute sécurité. Selon Matt Turek, de la DARPA, environ 70 % des projets de l'agence impliquent l'IA, avec un accent sur la fiabilité et la sécurité du code généré. Les recherches actuelles de l'I2O portent sur l'IA performante, les systèmes résilients et sûrs, ainsi que la confiance dans l'information, tous ces axes intégrant l'IA. L'agence explore également la possibilité d'utiliser l'IA pour détecter les vulnérabilités dans les logiciels existants via l'AI Cyber Challenge. En outre, des initiatives telles que CASTLE visent à former des agents d'IA autonomes pour renforcer la sécurité des réseaux. Malgré les progrès, des défis subsistent, notamment rendre l'IA compréhensible dans ses processus. Bien que l'IA ait parfois généré du code de mauvaise qualité, son utilisation dans le développement logiciel semble inévitable à terme.S'exprimant la semaine dernière lors d'un événement organisé par le Center for Strategic and International Studies, Matt Turek, directeur adjoint de l'Information Innovation Office (I2O) de la DARPA, a parlé du large éventail de projets d'IA sur lesquels travaille la DARPA et de l'écrasante domination de cette technologie au sein de l'agence à l'heure actuelle.
L'interview de Matt Turek, directeur adjoint de la DARPA, avec Gregory Allen du Centre Wadhwani pour l'IA et les technologies avancées, offre un aperçu approfondi du rôle de la DARPA dans le domaine de l'intelligence artificielle (IA) et de l'autonomie. Turek partage son parcours professionnel, débutant chez GE Medical Systems dans les années 90, où il a été exposé aux débuts de l'utilisation d'algorithmes automatisés pour l'analyse d'images médicales. Son cheminement l'a ensuite conduit au GE Global Research Center, où il a travaillé dans un environnement de recherche en interaction avec le gouvernement. Après avoir obtenu un doctorat et travaillé dans une petite entreprise axée sur la vision par ordinateur, Turek a rejoint la DARPA, attiré par la possibilité de servir une mission plus large et de travailler au service du combattant.
La conversation se concentre ensuite sur le rôle de la DARPA dans le domaine de l'IA et de l'autonomie. Turek explique que l'I2O de la DARPA s'articule autour de quatre axes principaux : l'IA compétente, la confiance dans le domaine de l'information, la construction de systèmes sûrs et résistants, et les outils dans le domaine cybernétique. Il souligne que près de 70 % des programmes de la DARPA sont liés à l'IA, à l'apprentissage automatique et à l'autonomie, démontrant l'importance de ces domaines pour l'agence.
La discussion aborde ensuite la gestion des projets à la DARPA. Turek explique que l'agence cherche à être perturbatrice en anticipant et en créant des surprises stratégiques. Les investissements de la DARPA peuvent prendre différentes formes, de la création d'une communauté de recherche dans un domaine à la mise en place rapide de capacités pour les combattants, en passant par l'exploration d'idées transformatrices.
Allen interroge ensuite Turek sur le positionnement de la DARPA parmi les autres organisations du ministère de la Défense travaillant sur l'IA, telles que le CDAO et le DIU. Turek souligne l'étroite collaboration de la DARPA avec ces organisations, transférant des technologies et des capacités pour répondre aux besoins du ministère de la Défense.
Gregory Allen soulève la question de l'hypothèse de la mise à l'échelle dans le développement de l'intelligence artificielle (IA). Il simplifie cette hypothèse en expliquant qu'en fournissant davantage de données et de puissance de calcul pour l'entraînement des algorithmes, les performances des systèmes d'IA s'amélioreront continuellement. Il interroge Matt Turek sur la validité de cette hypothèse et sur la possibilité que les systèmes d'IA puissent dépasser l'intelligence humaine. Turek souligne l'importance de reconnaître l'incertitude dans ce domaine et exprime son scepticisme quant à la possibilité que les approches actuelles conduisent à une intelligence de niveau humain. Il met en avant le besoin d'améliorations architecturales et algorithmiques pour progresser dans le domaine de l'IA.
La discussion se concentre ensuite sur les défis spécifiques rencontrés par le ministère de la Défense en matière d'accès aux données pour former des systèmes d'IA avancés. Turek souligne que les besoins de la Défense en matière de prise de décision et de criticité sont différents de ceux de l'industrie, ce qui influence la manière dont l'IA est abordée dans ces deux contextes. Il met en lumière la complexité des décisions prises dans le domaine de la défense, où les enjeux peuvent être des vies humaines et où l'automatisation complète des processus n'est pas toujours appropriée.
La conversation se tourne en suite vers l'état actuel de l'IA et de l'autonomie. Turek met en lumière l'hypothèse de mise à l'échelle dans le développement de systèmes intelligents, soulignant l'importance de la capacité à construire des modèles sous-jacents du monde pour améliorer les performances des systèmes d'IA. Il insiste également sur l'importance de l'humilité technique et de la prise en compte de l'incertitude dans le processus de réflexion technique.
« La pénétration de l'IA est très large au sein de l'agence », a déclaré Turek. Du point de vue de l'I2O, nous cherchons vraiment à progresser, vous savez, comment parvenir à une IA hautement fiable - une IA sur laquelle nous pouvons parier notre vie - et qui ne soit pas une chose stupide à faire. L'I2O s'articule actuellement autour de quatre axes de recherche : IA performante ; systèmes résilients, adaptables et sûrs ; avantage dans les cyberopérations ; et confiance dans le domaine de l'information. Un seul de ces quatre axes mentionne directement l'IA, mais cela ne signifie pas qu'elle n'est pas impliquée dans chacun d'entre eux.
L'IA au service de la éscurité nationale : perspectives de la DARPA
Dans cette partie de l'interview, Gregory Allen et Matt Turek discutent du rôle de ce dernier dans le façonnement de la recherche en intelligence artificielle (IA) et en autonomie. Allen souligne l'importance de MediFor et de SemaFor, deux programmes de la DARPA, dans la détection des deepfakes et des médias synthétiques. Turek explique le fonctionnement de ces programmes et leur évolution au fil du temps.
La conversation se tourne vers l'importance de l'authentification des médias dans le contexte de la sécurité nationale et de la démocratie. Allen interroge Turek sur l'avenir de l'authentification des médias et sur la manière dont les technologies évolueront pour faire face à la prolifération des médias synthétiques. Turek discute également du Cyber AI Challenge, un concours visant à utiliser l'IA générative pour détecter et corriger les vulnérabilités des logiciels. Ils abordent ensuite les partenariats entre la DARPA et les principaux développeurs de modèles de langage, ainsi que les implications commerciales de ces collaborations.
Les deux hommes abordent ensuite la question de l'avenir de l'intersection entre la cybernétique, l'IA et l'autonomie. Turek souligne l'importance croissante de l'automatisation dans les cyber-systèmes, tout en soulignant la nécessité de la présence humaine dans le processus décisionnel. Il évoque les défis et les opportunités à venir dans ce domaine.
Turek expose les travaux du DARPA dans les domaines de la cybernétique, de l'IA explicable et de l'autonomie. Ils discutent notamment du programme CASTLE qui vise à développer des agents défensifs autonomes pour protéger les réseaux contre les menaces persistantes avancées. Ils abordent également les défis de l'IA explicable, soulignant l'importance de comprendre les décisions prises par les systèmes d'IA, surtout dans des domaines critiques comme la sécurité nationale. En ce qui concerne l'autonomie, Turek évoque les programmes ACE et AIR, axés sur l'intégration de l'IA dans les systèmes aériens militaires.
Enfin, ils discutent du rôle du DARPA dans ce domaine et des attentes pour les années à venir, mettant en lumière l'importance de couvrir une variété de résultats potentiels dans le développement de l'IA et de l'autonomie. Lors de la conclusion de l'événement, Allen exprime sa gratitude envers le Dr Turek pour son engagement envers la sécurité nationale des États-Unis malgré la pénurie d'expertise en intelligence artificielle. Le Dr Turek encourage ceux intéressés par une carrière dans le gouvernement à envisager les opportunités offertes par des postes de gestionnaire de programme au DARPA.
Le sujet de l'utilisation de l'intelligence artificielle (IA) dans la production de code suscite à la fois fascination et préoccupations légitimes. D'un côté, l'IA promet des avancées significatives en termes de vitesse et d'efficacité dans le développement logiciel, ce qui pourrait révolutionner l'industrie et accélérer l'innovation. L'idée d'agents d'IA autonomes capables de renforcer la sécurité des réseaux, comme évoqué dans l'initiative CASTLE de la DARPA, est également prometteuse pour relever les défis croissants liés à la cyberdéfense.
Cependant, il est crucial de reconnaître les défis et les risques associés à l'utilisation de l'IA dans ce domaine. Tout d'abord, la sécurité et la fiabilité du code généré par des systèmes d'IA doivent être rigoureusement évaluées pour éviter les vulnérabilités et les failles potentielles. En outre, la compréhensibilité de l'IA dans ses processus reste un défi majeur, car la transparence est essentielle pour garantir la confiance et la responsabilité dans l'utilisation de cette technologie, en particulier dans des domaines aussi sensibles que la sécurité des réseaux.
Par ailleurs, il est important de prendre en compte les implications éthiques de l'automatisation croissante du développement logiciel. L'IA pourrait potentiellement remplacer des emplois humains dans ce domaine, ce qui soulève des questions sur l'impact social et économique de cette transition. De plus, la dépendance accrue à l'égard de l'IA dans le développement logiciel pourrait conduire à une centralisation du pouvoir et à des inégalités d'accès aux technologies entre les grandes entreprises et les petites organisations.
Bien que l'utilisation de l'IA dans la production de code présente des avantages indéniables, il est impératif de procéder avec prudence et de prendre en compte les défis techniques, éthiques et sociaux associés à cette évolution. Des mesures doivent être prises pour garantir la sécurité, la fiabilité et la transparence de l'IA dans le développement logiciel, tout en veillant à atténuer les éventuels impacts négatifs sur l'emploi et l'équité.
Source : CSIS
Et vous ?
Quel et votre avis sur le sujet ?:fleche : l'intelligence artificielle est actuellement en mesure de générer du code non seulement de manière rapide, mais également de manière sécurisée ?
Voir aussi :
Un économiste du MIT : L'IA pourrait en fait contribuer à la reconstruction de la classe moyenne, elle n'est pas forcément destructrice d'emplois. Et offre la possibilité d'étendre notre expert La DARPA s'inquiète de la fiabilité du code open source, il fonctionne sur tous les ordinateurs de la planète et assure le fonctionnement des infrastructures critiques, selon Dave Aitel de la NSA 
