Un ex employé d'OpenAI estime qu'il y a 70 % de chances que l'IA détruise l'humanité ou lui nuise de manière catastrophique,

Les puissants modèles d'IA ne doivent donc pas être open source, d'après des tiers

Lorsqu’on parle d’intelligence artificielle, deux grands courants de pensée s’affrontent : celui des tiers qui pensent qu’il s’agit d’un outil, ce, sans plus et celui des intervenants et observateurs qui sont d’avis que ce n’est qu’une question de temps avant qu’elle ne devienne une menace pour la race humaine. Daniel Kokotajlo estime qu’il y a de fortes chances que l’IA détruise l’humanité ou lui nuise de manière catastrophique. C’est d’ailleurs la raison de la publication d’une lettre ouverte, à l’intention des grandes enseignes technologiques, aux fins de lancer à nouveau l’alerte à propos des dangers de cette technologie et de lister des principes auxquels les entreprises de la filière technologique doivent se soumettre pour éviter le pire.

L’intégralité de la lettre

Nous sommes d'anciens et d'actuels employés d'entreprises d'avant-garde dans le domaine de l'intelligence artificielle et nous croyons au potentiel de la technologie de l'IA pour apporter des avantages sans précédent à l'humanité.

Nous sommes en sus conscients des risques sérieux que posent ces technologies. Ces risques vont du renforcement des inégalités existantes à la manipulation et à la désinformation, en passant par la perte de contrôle des systèmes d'IA autonomes, qui pourrait entraîner l'extinction de l'humanité. Les entreprises spécialisées dans l'IA ont elles-mêmes reconnu ces risques, tout comme les gouvernements du monde entier et d'autres experts de l'intelligence artificielle.

Nous espérons que ces risques pourront être atténués de manière adéquate si la communauté scientifique, les décideurs politiques et le public fournissent des conseils suffisants. Cependant, les entreprises d'IA ont de fortes incitations financières qui ont un impact sur les aspects de sûreté des développements, et nous ne pensons pas que les structures de gouvernance d'entreprise habituelles soient suffisantes pour changer cette situation.

Les entreprises de la filière de l’intelligence artificielle possèdent des informations non publiques substantielles sur les capacités et les limites de leurs systèmes, sur l'adéquation de leurs mesures de protection et sur les niveaux de risque des différents types de dommages. Cependant, elles n'ont actuellement que de faibles obligations de partager certaines de ces informations avec les gouvernements, et aucune avec la société civile. Nous ne pensons pas que l'on puisse compter sur elles pour les partager volontairement.

Tant qu'il n'y aura pas de contrôle gouvernemental efficace de ces entreprises, les employés actuels et anciens font partie des rares personnes qui peuvent les obliger à rendre des comptes au public. Pourtant, de larges accords de confidentialité nous empêchent d'exprimer nos préoccupations, sauf auprès des entreprises mêmes qui ne s'attaquent pas à ces problèmes. Les protections ordinaires des dénonciateurs sont insuffisantes parce qu'elles se concentrent sur les activités illégales, alors que bon nombre des risques qui nous préoccupent ne sont pas encore réglementés. Certains d'entre nous craignent à juste titre diverses formes de représailles, compte tenu de l'historique de ces affaires dans l'ensemble du secteur. Nous ne sommes pas les premiers à rencontrer ces problèmes ou à en parler.

Nous appelons donc les entreprises de la filière IA à s'engager à respecter les principes suivants :

L'entreprise ne conclura ni n'appliquera aucun accord interdisant le « dénigrement » ou la critique de l'entreprise pour des problèmes liés aux risques, ni n'exercera de représailles pour des critiques liées aux risques en entravant tout avantage économique acquis ;

L'entreprise facilitera la mise en place d'un processus anonyme vérifiable permettant aux employés actuels et anciens de faire part de leurs préoccupations en matière de risques au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire ;

L'entreprise soutiendra une culture de critique ouverte et autorisera ses employés actuels et anciens à faire part au public, au conseil d'administration de l'entreprise, aux autorités de régulation ou à une organisation indépendante compétente de leurs préoccupations concernant les risques liés à ses technologies, pour autant que les secrets commerciaux et autres intérêts de propriété intellectuelle soient protégés de manière appropriée ;

L'entreprise ne prendra pas de mesures de représailles à l'encontre des employés actuels et anciens qui partagent publiquement des informations confidentielles liées à des risques après que d'autres processus ont échoué. Nous admettons que tout effort visant à signaler des problèmes liés à des risques doit éviter de divulguer inutilement des informations confidentielles. Par conséquent, dès lors qu'il existe une procédure adéquate permettant de faire part anonymement de préoccupations au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire, nous acceptons que les préoccupations soient initialement soulevées par le biais d'une telle procédure. Toutefois, tant qu'une telle procédure n'existe pas, les employés actuels et anciens doivent conserver leur liberté de faire part de leurs préoccupations au public.

La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.