Lorsqu’on parle d’intelligence artificielle, deux grands courants de pensée s’affrontent : celui des tiers qui pensent qu’il s’agit d’un outil, ce, sans plus et celui des intervenants et observateurs qui sont d’avis que ce n’est qu’une question de temps avant qu’elle ne devienne une menace pour la race humaine. Daniel Kokotajlo estime qu’il y a de fortes chances que l’IA détruise l’humanité ou lui nuise de manière catastrophique. C’est d’ailleurs la raison de la publication d’une lettre ouverte, à l’intention des grandes enseignes technologiques, aux fins de lancer à nouveau l’alerte à propos des dangers de cette technologie et de lister des principes auxquels les entreprises de la filière technologique doivent se soumettre pour éviter le pire.L’intégralité de la lettre
Nous sommes d'anciens et d'actuels employés d'entreprises d'avant-garde dans le domaine de l'intelligence artificielle et nous croyons au potentiel de la technologie de l'IA pour apporter des avantages sans précédent à l'humanité.
Nous sommes en sus conscients des risques sérieux que posent ces technologies. Ces risques vont du renforcement des inégalités existantes à la manipulation et à la désinformation, en passant par la perte de contrôle des systèmes d'IA autonomes, qui pourrait entraîner l'extinction de l'humanité. Les entreprises spécialisées dans l'IA ont elles-mêmes reconnu ces risques, tout comme les gouvernements du monde entier et d'autres experts de l'intelligence artificielle.
Nous espérons que ces risques pourront être atténués de manière adéquate si la communauté scientifique, les décideurs politiques et le public fournissent des conseils suffisants. Cependant, les entreprises d'IA ont de fortes incitations financières qui ont un impact sur les aspects de sûreté des développements, et nous ne pensons pas que les structures de gouvernance d'entreprise habituelles soient suffisantes pour changer cette situation.
Les entreprises de la filière de l’intelligence artificielle possèdent des informations non publiques substantielles sur les capacités et les limites de leurs systèmes, sur l'adéquation de leurs mesures de protection et sur les niveaux de risque des différents types de dommages. Cependant, elles n'ont actuellement que de faibles obligations de partager certaines de ces informations avec les gouvernements, et aucune avec la société civile. Nous ne pensons pas que l'on puisse compter sur elles pour les partager volontairement.
Tant qu'il n'y aura pas de contrôle gouvernemental efficace de ces entreprises, les employés actuels et anciens font partie des rares personnes qui peuvent les obliger à rendre des comptes au public. Pourtant, de larges accords de confidentialité nous empêchent d'exprimer nos préoccupations, sauf auprès des entreprises mêmes qui ne s'attaquent pas à ces problèmes. Les protections ordinaires des dénonciateurs sont insuffisantes parce qu'elles se concentrent sur les activités illégales, alors que bon nombre des risques qui nous préoccupent ne sont pas encore réglementés. Certains d'entre nous craignent à juste titre diverses formes de représailles, compte tenu de l'historique de ces affaires dans l'ensemble du secteur. Nous ne sommes pas les premiers à rencontrer ces problèmes ou à en parler.
Nous appelons donc les entreprises de la filière IA à s'engager à respecter les principes suivants :
L'entreprise ne conclura ni n'appliquera aucun accord interdisant le « dénigrement » ou la critique de l'entreprise pour des problèmes liés aux risques, ni n'exercera de représailles pour des critiques liées aux risques en entravant tout avantage économique acquis ;
L'entreprise facilitera la mise en place d'un processus anonyme vérifiable permettant aux employés actuels et anciens de faire part de leurs préoccupations en matière de risques au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire ;
L'entreprise soutiendra une culture de critique ouverte et autorisera ses employés actuels et anciens à faire part au public, au conseil d'administration de l'entreprise, aux autorités de régulation ou à une organisation indépendante compétente de leurs préoccupations concernant les risques liés à ses technologies, pour autant que les secrets commerciaux et autres intérêts de propriété intellectuelle soient protégés de manière appropriée ;
L'entreprise ne prendra pas de mesures de représailles à l'encontre des employés actuels et anciens qui partagent publiquement des informations confidentielles liées à des risques après que d'autres processus ont échoué. Nous admettons que tout effort visant à signaler des problèmes liés à des risques doit éviter de divulguer inutilement des informations confidentielles. Par conséquent, dès lors qu'il existe une procédure adéquate permettant de faire part anonymement de préoccupations au conseil d'administration de l'entreprise, aux autorités de réglementation et à une organisation indépendante appropriée disposant de l'expertise nécessaire, nous acceptons que les préoccupations soient initialement soulevées par le biais d'une telle procédure. Toutefois, tant qu'une telle procédure n'existe pas, les employés actuels et anciens doivent conserver leur liberté de faire part de leurs préoccupations au public.
Une sortie cohérente avec la position du scientifique en chef d’OpenAI sur le danger que l’intelligence artificielle représente pour l’humanité14/15: Some of us who recently resigned from OpenAI have come together to ask for a broader commitment to transparency from the labs. You can read about it here: https://t.co/EoApH8484I
— Daniel Kokotajlo (@DKokotajlo67142) June 4, 2024
Le scientifique en chef d’OpenAI est lui-même d’avis que l’intelligence artificielle représente une menace pour les humains. Il craint que l’intelligence artificielle générale ne finisse par traiter les Hommes comme des animaux et ainsi ravive des craintes sur un futur où les robots les domineront.
« Je pense qu'une bonne analogie serait la façon dont les humains traitent les animaux. Ce n'est pas que nous détestons les animaux. Je pense que les humains aiment les animaux et ont beaucoup d'affection pour eux. Mais lorsqu'il s'agit de construire une autoroute entre deux villes, nous ne demandons pas la permission aux animaux. Nous le faisons simplement parce que c'est important pour nous. Je pense que, par défaut, c'est le type de relation qui s'établira entre nous et l’intelligence artificielle générale (AGI) », souligne-t-il dans un documentaire.
On parle d’un stade d’évolution des machines où elles seront alors dotées de « bon sens. » Au stade d’intelligence artificielle générale, elles seraient capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. » C’est ce palier que les équipes de recherche dans le domaine visent.
« Certaines préoccupations en matière d’intelligence artificielle ne sont pas simplement techniques. Par exemple, il y a la menace posée par les humains armés d'intelligence artificielle. Comme la plupart des inventions, l'intelligence artificielle peut être utilisée à des fins bénéfiques ou maléfiques. Les gouvernements doivent travailler avec le secteur privé sur les moyens de limiter les risques.
Il y a aussi la possibilité que les IA deviennent incontrôlables. Une machine pourrait-elle décider que les humains constituent une menace, conclure que ses intérêts sont différents des nôtres ou simplement cesser de se préoccuper de nous ? C'est possible, mais ce problème n'est pas plus urgent aujourd'hui qu'il ne l'était avant les développements de l'IA de ces derniers mois », souligne Bill Gates.
Ce sont des points de vue qui rejoignent ceux de Michael Osborne et Michael Cohen de l’université d’Oxford : « L’intelligence artificielle est susceptible de devenir plus intelligente que les Hommes contre lesquels elle pourra donc se retourner et les exterminer. »
Le professeur Osborne fait une prédiction à ce sujet : « Il y a toutes les raisons de s'attendre à ce que, même ce siècle, nous puissions voir une IA qui soit au moins aussi capable que les êtres humains et très probablement plus capable que tout être humain aujourd'hui. »
Ces craintes sont la raison d’être d’un débat sur la question de savoir si les modèles d’IA doivent être open source ou demeurer propriétaires
Yann LeCun, responsable de l'IA chez Meta, est l'un des rares éminents chercheurs en IA qui n'épousent pas le discours dominant qui présente l'IA comme une menace existentielle pour l'humanité. Lors d'une récente interview, il a réitéré ses propos selon lesquels « l'IA n'est pas intelligente et est encore plus bête que les chats », ajoutant qu'il est complètement absurde de penser que l'IA pourrait éradiquer l'espèce humaine. Il affirme qu'une réglementation prématurée de l'IA s'avérera un frein pour la recherche et l'innovation dans le domaine, renforcera la domination des grandes entreprises technologiques (OpenAI, Google, etc.) et ne laissera aucune place à la concurrence. C’est la raison pour laquelle il milite pour la transparence en matière de développement de l’intelligence artificielle au travers de l’open source.
Au début de l'année dernière, l'entreprise spécialisée en cybersécurité CheckPoint a noté que ChatGPT peut générer le code d’un logiciel malveillant capable de voler des fichiers précis sur un PC, de les compresser et de les envoyer sur un ordinateur distant. L'IA d'OpenAI pouvait également produire du code pour un outil logiciel qui installe une porte dérobée sur un ordinateur et ensuite télécharge d’autres logiciels malveillants à partir de cette dernière. La firme a rapporté en sus que les cybercriminels peuvent s’en servir pour la mise sur pied de logiciels capables de chiffrer les fichiers du PC d’une cible. CheckPoint a estimé que ChatGPT ouvrait ces possibilités à des individus avec de très faibles connaissances techniques. Puis OpenAI a amélioré son chatbot IA, lui imposant des limites éthiques et restreignant certaines fonctionnalités. C'était sans compter sur l'ingéniosité de certains intervenants de la sphère qui ont fini par mettre sur pied WormGPT. C’est un chatbot conçu pour aider les cybercriminels à développer des logiciels malveillants. WormGPT représente l’entrée en matière des possibilités qui seront accessibles aux cybercriminels au fur et à mesure de l’évolution des modèles d’intelligence artificielle. C’est la raison pour laquelle la question revient avec acuité sur la table : Faut-il ouvrir le code source et opter pour la transparence totale des mécanismes d’entraînement des IA ou opter pour des systèmes fermés pour lesquels les grandes entreprises technologiques prétendent que l’avantage sera d’éviter de mettre de puissants outils entre les mains de monsieur Tout-le-monde ? C’est en réponse à cette question que le scientifique en chef d’OpenAI est d’avis que les grandes entreprises technologiques doivent s’abstenir d’ouvrir le code source de leurs intelligences artificielles afin d’éviter de mettre de puissantes armes entre les mains de tiers malveillants.
Et vous ?
Les modèles d’intelligence artificielle doivent-ils rester fermés au motif de ce que l’ouverture est susceptible de mettre de puissants outils entre les mains de tiers malveillants ? Systèmes d’intelligence artificielle propriétaire ou open source : de quel bord êtes-vous ? Et pour quelles raisons ?Voir aussi :
« Le développement de l'IA sans réglementation induit une menace existentielle pour l'humanité », d'après Elon Musk dont une société développe des puces à insérer dans le cerveau pour contrer l'IA Le projet de législation européenne sur l'intelligence artificielle mettrait en péril la compétitivité et la souveraineté technologique de l'Europe, selon plus de 160 dirigeants d'entreprises Les législateurs de l'UE progressent dans leurs négociations cruciales sur les nouvelles règles en matière d'IA 
