Et si l'IA produisait du code non seulement rapidement, mais aussi, en toute sécurité,

Se demande la DARPA ?

Et si l'IA produisait du code non seulement rapidement, mais aussi, en toute sécurité,
se demande la DARPA ?

La DARPA s'interroge sur la capacité de l'intelligence artificielle à produire du code rapidement et en toute sécurité. Selon Matt Turek, de la DARPA, environ 70 % des projets de l'agence impliquent l'IA, avec un accent sur la fiabilité et la sécurité du code généré. Les recherches actuelles de l'I2O portent sur l'IA performante, les systèmes résilients et sûrs, ainsi que la confiance dans l'information, tous ces axes intégrant l'IA. L'agence explore également la possibilité d'utiliser l'IA pour détecter les vulnérabilités dans les logiciels existants via l'AI Cyber Challenge. En outre, des initiatives telles que CASTLE visent à former des agents d'IA autonomes pour renforcer la sécurité des réseaux. Malgré les progrès, des défis subsistent, notamment rendre l'IA compréhensible dans ses processus. Bien que l'IA ait parfois généré du code de mauvaise qualité, son utilisation dans le développement logiciel semble inévitable à terme.

S'exprimant la semaine dernière lors d'un événement organisé par le Center for Strategic and International Studies, Matt Turek, directeur adjoint de l'Information Innovation Office (I2O) de la DARPA, a parlé du large éventail de projets d'IA sur lesquels travaille la DARPA et de l'écrasante domination de cette technologie au sein de l'agence à l'heure actuelle.


L'interview de Matt Turek, directeur adjoint de la DARPA, avec Gregory Allen du Centre Wadhwani pour l'IA et les technologies avancées, offre un aperçu approfondi du rôle de la DARPA dans le domaine de l'intelligence artificielle (IA) et de l'autonomie. Turek partage son parcours professionnel, débutant chez GE Medical Systems dans les années 90, où il a été exposé aux débuts de l'utilisation d'algorithmes automatisés pour l'analyse d'images médicales. Son cheminement l'a ensuite conduit au GE Global Research Center, où il a travaillé dans un environnement de recherche en interaction avec le gouvernement. Après avoir obtenu un doctorat et travaillé dans une petite entreprise axée sur la vision par ordinateur, Turek a rejoint la DARPA, attiré par la possibilité de servir une mission plus large et de travailler au service du combattant.

La conversation se concentre ensuite sur le rôle de la DARPA dans le domaine de l'IA et de l'autonomie. Turek explique que l'I2O de la DARPA s'articule autour de quatre axes principaux : l'IA compétente, la confiance dans le domaine de l'information, la construction de systèmes sûrs et résistants, et les outils dans le domaine cybernétique. Il souligne que près de 70 % des programmes de la DARPA sont liés à l'IA, à l'apprentissage automatique et à l'autonomie, démontrant l'importance de ces domaines pour l'agence.

La discussion aborde ensuite la gestion des projets à la DARPA. Turek explique que l'agence cherche à être perturbatrice en anticipant et en créant des surprises stratégiques. Les investissements de la DARPA peuvent prendre différentes formes, de la création d'une communauté de recherche dans un domaine à la mise en place rapide de capacités pour les combattants, en passant par l'exploration d'idées transformatrices.

Allen interroge ensuite Turek sur le positionnement de la DARPA parmi les autres organisations du ministère de la Défense travaillant sur l'IA, telles que le CDAO et le DIU. Turek souligne l'étroite collaboration de la DARPA avec ces organisations, transférant des technologies et des capacités pour répondre aux besoins du ministère de la Défense.

Gregory Allen soulève la question de l'hypothèse de la mise à l'échelle dans le développement de l'intelligence artificielle (IA). Il simplifie cette hypothèse en expliquant qu'en fournissant davantage de données et de puissance de calcul pour l'entraînement des algorithmes, les performances des systèmes d'IA s'amélioreront continuellement. Il interroge Matt Turek sur la validité de cette hypothèse et sur la possibilité que les systèmes d'IA puissent dépasser l'intelligence humaine. Turek souligne l'importance de reconnaître l'incertitude dans ce domaine et exprime son scepticisme quant à la possibilité que les approches actuelles conduisent à une intelligence de niveau humain. Il met en avant le besoin d'améliorations architecturales et algorithmiques pour progresser dans le domaine de l'IA.

La discussion se concentre ensuite sur les défis spécifiques rencontrés par le ministère de la Défense en matière d'accès aux données pour former des systèmes d'IA avancés. Turek souligne que les besoins de la Défense en matière de prise de décision et de criticité sont différents de ceux de l'industrie, ce qui influence la manière dont l'IA est abordée dans ces deux contextes. Il met en lumière la complexité des décisions prises dans le domaine de la défense, où les enjeux peuvent être des vies humaines et où l'automatisation complète des processus n'est pas toujours appropriée.

La conversation se tourne en suite vers l'état actuel de l'IA et de l'autonomie. Turek met en lumière l'hypothèse de mise à l'échelle dans le développement de systèmes intelligents, soulignant l'importance de la capacité à construire des modèles sous-jacents du monde pour améliorer les performances des systèmes d'IA. Il insiste également sur l'importance de l'humilité technique et de la prise en compte de l'incertitude dans le processus de réflexion technique.

« La pénétration de l'IA est très large au sein de l'agence », a déclaré Turek. Du point de vue de l'I2O, nous cherchons vraiment à progresser, vous savez, comment parvenir à une IA hautement fiable - une IA sur laquelle nous pouvons parier notre vie - et qui ne soit pas une chose stupide à faire. L'I2O s'articule actuellement autour de quatre axes de recherche : IA performante ; systèmes résilients, adaptables et sûrs ; avantage dans les cyberopérations ; et confiance dans le domaine de l'information. Un seul de ces quatre axes mentionne directement l'IA, mais cela ne signifie pas qu'elle n'est pas impliquée dans chacun d'entre eux.

L'IA au service de la éscurité nationale : perspectives de la DARPA

Dans cette partie de l'interview, Gregory Allen et Matt Turek discutent du rôle de ce dernier dans le façonnement de la recherche en intelligence artificielle (IA) et en autonomie. Allen souligne l'importance de MediFor et de SemaFor, deux programmes de la DARPA, dans la détection des deepfakes et des médias synthétiques. Turek explique le fonctionnement de ces programmes et leur évolution au fil du temps.

La conversation se tourne vers l'importance de l'authentification des médias dans le contexte de la sécurité nationale et de la démocratie. Allen interroge Turek sur l'avenir de l'authentification des médias et sur la manière dont les technologies évolueront pour faire face à la prolifération des médias synthétiques. Turek discute également du Cyber AI Challenge, un concours visant à utiliser l'IA générative pour détecter et corriger les vulnérabilités des logiciels. Ils abordent ensuite les partenariats entre la DARPA et les principaux développeurs de modèles de langage, ainsi que les implications commerciales de ces collaborations.

Les deux hommes abordent ensuite la question de l'avenir de l'intersection entre la cybernétique, l'IA et l'autonomie. Turek souligne l'importance croissante de l'automatisation dans les cyber-systèmes, tout en soulignant la nécessité de la présence humaine dans le processus décisionnel. Il évoque les défis et les opportunités à venir dans ce domaine.

Turek expose les travaux du DARPA dans les domaines de la cybernétique, de l'IA explicable et de l'autonomie. Ils discutent notamment du programme CASTLE qui vise à développer des agents défensifs autonomes pour protéger les réseaux contre les menaces persistantes avancées. Ils abordent également les défis de l'IA explicable, soulignant l'importance de comprendre les décisions prises par les systèmes d'IA, surtout dans des domaines critiques comme la sécurité nationale. En ce qui concerne l'autonomie, Turek évoque les programmes ACE et AIR, axés sur l'intégration de l'IA dans les systèmes aériens militaires.

Enfin, ils discutent du rôle du DARPA dans ce domaine et des attentes pour les années à venir, mettant en lumière l'importance de couvrir une variété de résultats potentiels dans le développement de l'IA et de l'autonomie. Lors de la conclusion de l'événement, Allen exprime sa gratitude envers le Dr Turek pour son engagement envers la sécurité...