Google DeepMind estime que l'AGI pourrait arriver d'ici à 2030 et énumère quatre façons dont elle pourrait causer de « graves dommages » à l'humanité,

Bien que les critiques estiment que l'AGI est une chimère

Google DeepMind a publié un document technique détaillé sur les risques liés à l'intelligence artificielle générale (AGI). Le document prédit que l'AGI pourrait voir le jour d'ici à 2030 et met en garde contre des risques existentiels qui pourraient « détruire l'humanité de façon permanente ». Google DeepMind a défini quatre risques liés à l'AGI : le mauvais usage, le désalignement, les erreurs et les risques structurels. Cependant, de nombreux experts ne sont pas d'accord avec les prémisses du document, certains critiques affirmant que « le concept d'AGI est actuellement trop mal défini pour être rigoureusement évalué sur le plan scientifique ».

Google DeepMind prévoit l'avènement d'une AGI exceptionnelle d'ici à 2030

L'intelligence générale artificielle (AGI) est définie comme une machine dotée d'une intelligence et de capacités semblables à celles de l'homme. Dans leur document, les chercheurs de Google DeepMind définissent la technologie comme « un système capable d'égaler au moins le 99e percentile des adultes qualifiés dans un large éventail de tâches non physiques, y compris des tâches métacognitives telles que l'apprentissage de nouvelles compétences ».

Si les systèmes d'IA actuels sont sur la voie de l'AGI, certains experts estiment que l'humanité aura besoin de nouvelles approches pour s'assurer qu'une telle machine n'ira pas à l'encontre des intérêts humains. Malheureusement, nous n'avons rien d'aussi élégant que les trois lois de la robotique d'Isaac Asimov.


Le document de Google DeepMind, coécrit par Shane Legg, cofondateur du laboratoire, prédit que l'AGI pourrait arriver d'ici à 2030 et qu'elle pourrait entraîner ce que les auteurs appellent des « dommages graves ». Le document ne définit pas concrètement ce terme, mais donne l'exemple alarmiste des « risques existentiels qui pourrait détruire définitivement l'humanité ». Il suscite de nombreux critiques, certains rejetant les prévisions sur l'arrivée de l'AGI.

Les auteurs du document écrivent : « nous prévoyons le développement d'une AGI exceptionnelle avant la fin de la décennie en cours. Une AGI exceptionnelle est un système dont les capacités correspondent au moins au 99e percentile des adultes qualifiés pour un large éventail de tâches non physiques, y compris des tâches métacognitives telles que l'apprentissage de nouvelles compétences ». Les risques existentiels répertoriés par le laboratoire sont :

Mauvaise utilisation

Le premier problème identifié par les chercheurs de Google DeepMind, l'utilisation abusive, est fondamentalement similaire aux risques actuels liés à l'IA. L'utilisateur donne intentionnellement des instructions au système d'IA pour qu'il prenne des mesures qui causent un préjudice, contrairement à l'intention du développeur. Et comme l'AGI sera une machine beaucoup plus puissante par définition, elle pourrait causer des dommages beaucoup plus importants.

Une personne mal intentionnée ayant accès à l'AGI pourrait utiliser le système à mauvais escient, par exemple en lui demandant d'identifier et d'exploiter des vulnérabilités de type « zero-day » dans un système informatique ou de créer un virus de conception qui pourrait être utilisé comme arme biologique.

Le document indique que les entreprises qui développent l'AGI devront effectuer des tests approfondis et créer des protocoles de sécurité robustes après la formation. Il s'agit de garde-fous pour l'IA sous stéroïdes. Le laboratoire suggère également de concevoir une méthode pour supprimer entièrement les capacités dangereuses, parfois appelées « désapprentissage », mais il n'est pas certain que cela soit possible sans limiter considérablement les modèles.

Le désalignement

L'alignement de l'IA désigne le processus visant à s'assurer que les systèmes d'IA poursuivent des objectifs conformes aux valeurs et intentions humaines. Un système d'IA est considéré comme aligné s'il agit en accord avec les objectifs prévus par ses concepteurs ou utilisateurs. Les entreprises telles qu'OpenAI et Anthropic considèrent l'alignement de l'IA comme un sous-domaine de la sécurité de l'IA, qui étudie comment construire des systèmes d'IA sûrs.

Les défis de recherche en matière d'alignement incluent l'inculcation de valeurs complexes dans l'IA, le développement d'une IA honnête, la supervision évolutive, l'audit et l'interprétation des modèles d'IA, et la prévention de comportements indésirables tels que la recherche de pouvoir.

Dans le cas d'une AGI, le désalignement est envisagé comme une machine rebelle qui s'est affranchie des limites imposées par ses concepteurs. Les Terminator, ça vous dit quelque chose ? Plus précisément, l'IA entreprend des actions dont elle sait que le développeur ne les a pas voulues.

Google DeepMind écrit : « l'IA cause sciemment un préjudice contraire à l'intention du développeur. Par exemple, un système d'IA peut fournir des réponses sûres qui résistent à l'examen de superviseurs humains, mais l'IA sait que les réponses sont en fait incorrectes. Notre notion de désalignement inclut et remplace de nombreux risques concrets examinés dans la littérature, tels que la tromperie, la machination et la perte active et involontaire de contrôle ».

Pour éviter cela, Google DeepMind suggère aux développeurs d'utiliser des techniques telles que la surveillance amplifiée, dans laquelle deux copies d'une IA vérifient les résultats de l'autre, afin de créer des systèmes robustes qui ne risquent pas de devenir malveillants. En cas d'échec, le laboratoire suggère de procéder à des tests de résistance et à des contrôles intensifs pour détecter tout signe indiquant qu'une IA est en train de se retourner contre nous.

Les erreurs

Google DeepMind définit les erreurs comme « les cas où l'AGI cause involontairement des dommages en raison d'erreurs de traitement ou de compréhension », même si l'opérateur a de bonnes intentions. Les systèmes d'IA actuels nous donnent des exemples de ces cas d'erreurs préjudiciables pour l'homme. Vous vous souvenez quand l'IA de Google a conseillé de mettre de la colle sur une pizza ? Il s'agit d'erreurs pouvant causer des dommages irréversibles.

Dans leur document, les chercheurs de Google DeepMind notent que les armées pourraient déployer l'AGI en raison de la « pression concurrentielle », mais ces systèmes pourraient commettre de graves erreurs, car ils seront chargés de fonctions beaucoup plus élaborées que l'IA d'aujourd'hui.

Les chercheurs de Google DeepMind ont écrit : « l'IA produit une courte séquence de résultats qui causent directement des dommages, mais elle ne savait pas que les résultats entraîneraient des conséquences néfastes que le développeur n'avait pas prévues. Par exemple, une IA gérant le réseau électrique peut ne pas savoir qu'une ligne de transmission a besoin d'être entretenue, et peut donc la surcharger et la brûler, provoquant ainsi une panne de courant ».

Le document ne propose pas de grande solution pour atténuer les erreurs. Il s'agit en fait de ne pas laisser l'AGI devenir trop puissant. Google DeepMind préconise un déploiement lent et une limitation de l'autorité de l'AGI. Il suggère également de faire passer les commandes de l'AGI par un système de « bouclier » qui s'assure qu'elles sont sûres avant d'être mises en œuvre. Toutes ces précautions suscitent des questions sur les capacités de l'AGI.

Risques structurels

« Il s'agit des dommages résultant d'une dynamique multiagent - impliquant plusieurs personnes, organisations ou systèmes d'IA - qui n'auraient pas pu être évités simplement en modifiant le comportement d'une personne, l'alignement d'un système ou les contrôles de sécurité d'un système », selon le document. L'AGI pourrait perturber involontairement les systèmes économiques, politiques ou sociaux d'une manière difficile à prévoir ou à contrôler.

Par exemple, l'AGI pourrait créer de fausses informations si crédibles que nous ne saurions plus à qui ou à quoi nous fier. L'article évoque également la possibilité que l'AGI accumule de plus en plus de contrôle sur les systèmes économiques et politiques, peut-être en concevant des systèmes tarifaires lourds.

Puis, un jour, nous levons les yeux et réalisons que ce sont les machines qui dirigent à notre place. Selon Google DeepMind, cette catégorie de risque est également la plus difficile à prévenir, car elle dépend de la manière dont les personnes, les infrastructures et les institutions fonctionneront à l'avenir.

Le nouveau document de Google DeepMind suscite de nombreuses critiques

Le document affirme que les paradigmes existants peuvent permettre une « amélioration récursive de l'IA », c'est-à-dire que l'IA effectue ses propres recherches pour développer des systèmes plus avancés. Selon les auteurs, cela pourrait être extrêmement dangereux. Ils proposent des techniques pour empêcher les mauvais acteurs d'accéder à des IA hypothétiques et pour « durcir » les environnements dans lesquels les systèmes d'IA peuvent opérer.

Certains experts ne sont pas d'accord avec les prémisses du document. Heidy Khlaaf, responsable scientifique de l'IA à AI Now Institute, a déclaré qu'elle pensait que « le concept d'AGI est trop mal défini pour être rigoureusement évalué sur le plan scientifique ». Un autre chercheur en IA, Matthew Guzdial, professeur adjoint à l'université de l'Alberta, au Canada, a déclaré qu'il ne pense pas que l'amélioration récursive de l'IA soit réaliste à l'heure actuelle.

« [L'amélioration récursive] est à la base des arguments en faveur de la singularité de l'intelligence, mais nous n'avons jamais vu la moindre preuve de son efficacité », a déclaré le professeur. Sandra Wachter, une chercheuse qui étudie la technologie et la réglementation à Oxford, estime qu'il est plus réaliste de craindre que l'IA se renforce elle-même avec des « résultats inexacts ». Dans une déclaration à Techcrunch, Sandra Wachter explique :

[QUOTE=Sandra Wachter]

Avec la prolifération sur Internet des résultats générés par l'IA et le remplacement progressif des données authentiques, les modèles apprennent désormais à partir de leurs propres résultats qui sont truffés de fausses vérités ou d'hallucinations. À ce stade, les chatbots sont principalement utilisés à des fins de recherche et d'établissement de la vérité. Cela signifie que nous sommes[/quote=sandra wachter]...