Un groupe de scientifiques participant au développement de l'IA appelle la communauté internationale à mettre en place un organe de contrôle afin de surveiller l'évolution de la technologie. Ils affirment que l'IA pourrait, en l'espace de quelques années, surpasser les capacités de ses créateurs et que « la perte de contrôle humain ou l'utilisation malveillante de ces systèmes d'IA pourrait avoir des conséquences catastrophiques pour l'ensemble de l'humanité ». Le groupe, qui est composé d'experts européens, américains, chinois et d'ailleurs, appelle une résolution rapide de ces préoccupations afin de garantir le développement de systèmes d'IA sécurisés et fiablesDes chercheurs en IA affirment que l'IA pourrait causer de graves dommages
Au début du mois, des scientifiques du monde entier se sont réunis à Venise, en Italie, pour discuter des « risques catastrophiques » liés à l'IA et des solutions potentielles. La rencontre s'inscrit dans le cadre de la troisième réunion des Dialogues internationaux sur la sécurité de l'IA, organisée par un groupe de recherche américain à but non lucratif appelé FAR AI. Le séminaire a réuni des scientifiques des États-Unis, de Chine, de Grande-Bretagne, de Singapour, du Canada et d'ailleurs. À l'issue des concertations, le groupe a appelé à une préparation mondiale à la sécurité de l'IA pour éviter les risques catastrophiques.
Dans une déclaration publiée sur son site, le groupe a déclaré que les gouvernements ont besoin de savoir ce qui se passe dans les laboratoires de recherche et les entreprises qui travaillent sur les systèmes d'IA dans leur pays. Le groupe estime que les gouvernements ont besoin d'un moyen de communication sur les risques qui n'oblige pas les entreprises ou les chercheurs spécialisés dans l'IA à partager des informations confidentielles avec leurs concurrents.
Le lancement du ChatGPT et d'une série d’outils similaires capables de créer du texte et des images en réponse à une invite a montré à quel point les capacités de l'IA progressent rapidement. La course à la commercialisation de la technologie l'a rapidement fait passer des franges de la science aux smartphones, aux voitures et aux salles de classe, et les gouvernements, de Washington à Pékin, ont été contraints de trouver un moyen de la réglementer et de l'exploiter.
Les chercheurs en IA qui ont signé la déclaration du FAR AI s'inquiètent du fait que la technologie qu'ils ont contribué à créer pourrait causer de graves dommages à l'humanité. Selon Gillian Hadfield, juriste et professeur d'informatique et d'administration à l'université Johns Hopkins, si les systèmes d'IA, où qu'ils soient dans le monde, devaient développer ces capacités aujourd'hui, il n'existe aucun plan pour les maîtriser. Une situation qui pourrait s'avérer dangereuse.
Hadfield affirme : « si, dans six mois, une catastrophe se produisait et que nous découvrions que des modèles commencent à s'améliorer de manière autonome, qui appellerait-on ? ». Mais leur déclaration est controversée, de nombreux critiques affirmant qu'il est bien trop tôt pour être paranoïaque sur les risques de l'IA. Selon ces derniers, « les outils d'IA actuels ne sont pas du tout intelligents comme leurs créateurs ou les entreprises voudraient bien le faire croire ».
« Lorsque l'IA pourra réellement surpasser l'homme dans des tâches scientifiques ou techniques, alors nous pourrons discuter de ces risques. L'IA a accès à toutes nos connaissances en physique et en chimie, alors pourquoi ne pourrait-elle pas inventer une batterie de nouvelle génération ou un supraconducteur ? À ce jour, tous les systèmes d'IA dont nous disposons, y compris de pointe, sont stupides », peut-on lire dans les commentaires.
Une autorité internationale chargée de surveiller les progrès de la technologie
Le groupe propose que les pays mettent en place des autorités de sécurité de l'IA pour enregistrer les systèmes d'IA sur leur territoire. Ces autorités collaboreraient ensuite pour convenir d'un ensemble de lignes rouges et de signaux d'alerte, par exemple si un programme d'IA peut se copier lui-même ou tromper intentionnellement ses créateurs. Le tout serait ensuite coordonné par un organisme international. Ces réunions sont un rare lieu d'échange entre scientifiques chinois et occidentaux, à un moment où les États-Unis et la Chine sont engagés dans une compétition tendue pour la suprématie technologique.
L'événement s'est déroulé pendant trois jours à la Casa dei Tre Oci à Venise et s'est concentré sur les mécanismes d'application des lignes rouges relatives au développement de l'IA définies lors de l'événement précédent de l'IDAIS-Beijing. Le groupe a travaillé à l'élaboration de propositions concrètes visant à empêcher la violation de ces lignes rouges et à garantir le développement en toute sécurité de systèmes d'IA avancés. Les chercheurs font trois propositions clés :
Préparation aux situations d'urgence
Les experts participants ont souligné la nécessité de se préparer aux risques liés à l'IA avancée qui peuvent émerger à tout moment. Ils ont convenu que des systèmes d'IA très performants seront probablement mis au point au cours des prochaines décennies, et qu'ils pourraient même l'être de manière imminente. Pour répondre à cette préoccupation urgente, ils ont proposé des accords internationaux de préparation aux situations d'urgence.
Dans le cadre de ces accords, les autorités nationales chargées de la sécurité de l'IA se réuniraient, collaboreraient et s'engageraient à mettre en œuvre l'enregistrement et la divulgation des modèles, le signalement des incidents, les fils-pièges et les plans d'urgence. Cette proposition reconnaît que des risques importants liés à l'IA avancée peuvent émerger rapidement et de manière inattendue, ce qui nécessite une réponse mondiale coordonnée.
Assurance de la sécurité
Pour veiller à ce que les lignes rouges convenues ne soient pas franchies, la déclaration préconise un cadre global d'assurance de la sécurité. Dans ce cadre, les autorités nationales chargées de la sécurité de l'IA devraient exiger des développeurs qu'ils présentent des cas de sécurité très fiables avant de déployer des modèles dont les capacités dépassent les seuils spécifiés. Elle ajoute que les modèles doivent être également surveillés une fois déployés.
Elle précise : « la surveillance post-déploiement devrait aussi être un élément clé de l'assurance des systèmes d'IA hautement performants à mesure qu'ils sont adoptés à plus grande échelle. Il est important que ces garanties de sécurité fassent l'objet d'audits indépendants, afin d'ajouter un niveau supplémentaire d'examen et de responsabilité au processus ».
Recherche sur la sécurité et la vérification
Les participants ont souligné que la communauté des chercheurs devait mettre au point des techniques permettant aux États de vérifier rigoureusement la véracité et la validité des affirmations relatives à la sécurité de l'IA formulées par les développeurs et, éventuellement, par d'autres États. Pour garantir l'indépendance et la crédibilité de cette recherche, ils soulignent qu'elle devrait être menée à l'échelle mondiale et financée par un large éventail de gouvernements et de philanthropes. L'approche vise à créer un cadre solide et impartial pour évaluer et valider les mesures de sécurité de l'IA à l'échelle internationale.
Les efforts précédents en cours visant à assurer la sécurité des systèmes d'IA
OpenAI et d'autres entreprises américaines dominent largement la course à l'IA. Mais elles sont progressivement rattrapées par les entreprises européennes et chinoises. Ces derniers mois, des entreprises chinoises ont dévoilé des technologies qui rivalisent avec les principaux systèmes américains d'IA. Kling, un modèle d’IA chinois de création de vidéos, a fait surface cet été et donné lieu à des comparaisons avec Sora, le modèle équivalent développé par OpenAI. Tout comme son rival Sora, Kling intègre la liste d’outils susceptibles de créer des bouleversements dans l'industrie cinématographique à l'avenir.
En Europe, les modèles open source de la startup d'IA française Mistral AI suscitent fortement l'attention. Il y a quelques jours, Mistral a lancé son premier modèle multimodal appelé Pixtral 12B. Ce modèle de 12 milliards de paramètres est capable de traiter à la fois des images et du texte, et utilise son modèle textuel Nemo 12B. Il devrait en théorie être capable d'effectuer des tâches telles que légender des images et compter le nombre d'objets sur une photo.
Au cours de l'année écoulée, les responsables gouvernementaux chinois et américains ont fait de l'IA une priorité. En juillet, un conclave du parti communiste chinois a appelé à la mise en place d'un système de régulation de la sécurité de l'IA. En janvier, les médias locaux ont rapporté que le pays a approuvé plus de 40 modèles d'IA à usage public au cours des six premiers mois depuis que les autorités ont entamé le processus d'approbation des modèles.
Au début du mois, un groupe de normalisation technique influent en Chine a publié un cadre de sécurité pour l'IA. De l'autre côté du Pacifique, le président américain Joe Biden a signé en octobre dernier un décret exigeant des entreprises qu'elles fassent rapport au gouvernement fédéral sur les risques que leurs systèmes d'IA pourraient présenter, comme leur capacité à créer des armes de destruction massive ou leur potentiel à être utilisés par des terroristes.
Lors de leur rencontre l'année dernière, le président Biden et le dirigeant chinois, Xi Jinping, ont convenu que les responsables des deux pays devraient organiser des discussions sur la sécurité de l'IA. La première réunion a eu lieu à Genève en mai. Dans le cadre d'une initiative gouvernementale plus large, des représentants de 28 pays ont signé une déclaration en Grande-Bretagne en novembre dernier, acceptant de coopérer pour évaluer les risques de l'IA.
Ils se sont à nouveau réunis à Séoul en mai, mais ces rencontres n'ont pas permis de fixer des objectifs politiques spécifiques. Selon les analystes, la méfiance entre les États-Unis et la Chine ajoute à la difficulté de parvenir à un alignement. Dans le même temps, les États-Unis tentent d'empêcher la Chine d'accéder aux puces d'IA de pointe pour développer sa technologie. Les restrictions américaines compliquent également la coopération entre les deux pays.
Source : FAIR AI
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des propositions faites par le groupe de scientifiques pour assurer la sécurité de l'IA ? Les chercheurs affirment que l'IA pourrait causer de graves dommages à l'humanité à l'avenir. Qu'en pensez-vous ?Voir aussi
Kling, un nouvelle modèle d'IA chinois de création de vidéos, fait l'objet de comparaisons avec Sora d'OpenAI et vient allonger la liste d'outils d'IA susceptibles de bouleverser la filière du cinéma « L'IA pourrait provoquer l'effondrement de l'ordre social et déclencher des guerres », affirment deux grandes entreprises japonaises qui craignent "les outils d'IA qui mentent en toute confiance" Des dizaines de travailleurs de la filière IA se retournent contre leurs patrons et signent une lettre de soutien au projet de loi californien sur l'IA, susceptible de freiner les géants technologiques 
