Google DeepMind estime que l'AGI pourrait arriver d'ici à 2030 et énumère quatre façons dont elle pourrait causer de « graves dommages » à l'humanité,

Bien que les critiques estiment que l'AGI est une chimère

Google DeepMind a publié un document technique détaillé sur les risques liés à l'intelligence artificielle générale (AGI). Le document prédit que l'AGI pourrait voir le jour d'ici à 2030 et met en garde contre des risques existentiels qui pourraient « détruire l'humanité de façon permanente ». Google DeepMind a défini quatre risques liés à l'AGI : le mauvais usage, le désalignement, les erreurs et les risques structurels. Cependant, de nombreux experts ne sont pas d'accord avec les prémisses du document, certains critiques affirmant que « le concept d'AGI est actuellement trop mal défini pour être rigoureusement évalué sur le plan scientifique ».

Google DeepMind prévoit l'avènement d'une AGI exceptionnelle d'ici à 2030

L'intelligence générale artificielle (AGI) est définie comme une machine dotée d'une intelligence et de capacités semblables à celles de l'homme. Dans leur document, les chercheurs de Google DeepMind définissent la technologie comme « un système capable d'égaler au moins le 99e percentile des adultes qualifiés dans un large éventail de tâches non physiques, y compris des tâches métacognitives telles que l'apprentissage de nouvelles compétences ».

Si les systèmes d'IA actuels sont sur la voie de l'AGI, certains experts estiment que l'humanité aura besoin de nouvelles approches pour s'assurer qu'une telle machine n'ira pas à l'encontre des intérêts humains. Malheureusement, nous n'avons rien d'aussi élégant que les trois lois de la robotique d'Isaac Asimov.


Le document de Google DeepMind, coécrit par Shane Legg, cofondateur du laboratoire, prédit que l'AGI pourrait arriver d'ici à 2030 et qu'elle pourrait entraîner ce que les auteurs appellent des « dommages graves ». Le document ne définit pas concrètement ce terme, mais donne l'exemple alarmiste des « risques existentiels qui pourrait détruire définitivement l'humanité ». Il suscite de nombreux critiques, certains rejetant les prévisions sur l'arrivée de l'AGI.

Les auteurs du document écrivent : « nous prévoyons le développement d'une AGI exceptionnelle avant la fin de la décennie en cours. Une AGI exceptionnelle est un système dont les capacités correspondent au moins au 99e percentile des adultes qualifiés pour un large éventail de tâches non physiques, y compris des tâches métacognitives telles que l'apprentissage de nouvelles compétences ». Les risques existentiels répertoriés par le laboratoire sont :

Mauvaise utilisation

Le premier problème identifié par les chercheurs de Google DeepMind, l'utilisation abusive, est fondamentalement similaire aux risques actuels liés à l'IA. L'utilisateur donne intentionnellement des instructions au système d'IA pour qu'il prenne des mesures qui causent un préjudice, contrairement à l'intention du développeur. Et comme l'AGI sera une machine beaucoup plus puissante par définition, elle pourrait causer des dommages beaucoup plus importants.

Une personne mal intentionnée ayant accès à l'AGI pourrait utiliser le système à mauvais escient, par exemple en lui demandant d'identifier et d'exploiter des vulnérabilités de type « zero-day » dans un système informatique ou de créer un virus de conception qui pourrait être utilisé comme arme biologique.

Le document indique que les entreprises qui développent l'AGI devront effectuer des tests approfondis et créer des protocoles de sécurité robustes après la formation. Il s'agit de garde-fous pour l'IA sous stéroïdes. Le laboratoire suggère également de concevoir une méthode pour supprimer entièrement les capacités dangereuses, parfois appelées « désapprentissage », mais il n'est pas certain que cela soit possible sans limiter considérablement les modèles.

Le désalignement

L'alignement de l'IA désigne le processus visant à s'assurer que les systèmes d'IA poursuivent des objectifs conformes aux valeurs et intentions humaines. Un système d'IA est considéré comme aligné s'il agit en accord avec les objectifs prévus par ses concepteurs ou utilisateurs. Les entreprises telles qu'OpenAI et Anthropic considèrent l'alignement de l'IA comme un sous-domaine de la sécurité de l'IA, qui étudie comment construire des systèmes d'IA sûrs.

Les défis de recherche en matière d'alignement incluent l'inculcation de valeurs complexes dans l'IA, le développement d'une IA honnête, la supervision évolutive, l'audit et l'interprétation des modèles d'IA, et la prévention de comportements indésirables tels que la recherche de pouvoir.

Dans le cas d'une AGI, le désalignement est envisagé comme une machine rebelle qui s'est affranchie des limites imposées par ses concepteurs. Les Terminator, ça vous dit quelque chose ? Plus précisément, l'IA entreprend des actions dont elle sait que le développeur ne les a pas voulues.

Google DeepMind écrit : « l'IA cause sciemment un préjudice contraire à l'intention du développeur. Par exemple, un système d'IA peut fournir des réponses sûres qui résistent à l'examen de superviseurs humains, mais l'IA sait que les réponses sont en fait incorrectes. Notre notion de désalignement inclut et remplace de nombreux risques concrets examinés dans la littérature, tels que la tromperie, la machination et la perte active et involontaire de contrôle ».

Pour éviter cela, Google DeepMind suggère aux développeurs d'utiliser des techniques telles que la surveillance amplifiée, dans laquelle deux copies d'une IA vérifient les résultats de l'autre, afin de créer des systèmes robustes qui ne risquent pas de devenir malveillants. En cas d'échec, le laboratoire suggère de procéder à des tests de résistance et à des contrôles intensifs pour détecter tout signe indiquant qu'une IA est en train de se retourner contre nous.

Les erreurs

Google DeepMind définit les erreurs comme « les cas où l'AGI cause involontairement des dommages en raison d'erreurs de...