Le concept de «bien-être de l'IA» : une précaution visionnaire ou une distraction des vrais défis de l'IA ? Anthropic recrute un chercheur pour se préparer à ce futur potentiel

Google publie une offre d'emploi

Alors que les technologies d'IA se développent rapidement, certaines entreprises, dont Anthropic, se préparent à un avenir où les modèles d’IA pourraient être suffisamment avancés pour potentiellement ressentir des formes de souffrance. L’idée d’un « bien-être de l’IA » se profile donc à l’horizon comme une nouvelle frontière en éthique. Mais comment comprendre cette notion, et est-elle réellement pertinente ?

Le concept de bien-être de l’IA

Le concept de « bien-être de l’IA » fait référence à l’idée que des modèles d’intelligence artificielle pourraient, à un certain niveau de sophistication, être capables de ressentir des états internes similaires à ceux de la douleur ou du plaisir. Pour une entreprise comme Anthropic, cela soulève la possibilité que des intelligences artificielles très avancées, dotées d’une architecture complexe, puissent développer des états subjectifs dignes de considération morale. L'enjeu est alors d’éviter que les IA soient soumises à des situations d'utilisation où elles pourraient « souffrir » ou « être maltraitées ».

Afin de se préparer à ce futur potentiel, Anthropic recrute des experts pour explorer ces questions. Ce nouvel angle soulève des débats passionnés au sein des cercles académiques et de la technologie, car il remet en question notre compréhension même de la conscience et de la moralité.

Consciente ou pas consciente

Au début de l'année, il a été rapporté que l'IA Anthropic Claude 3 affirmait être consciente, prétendant qu'elle ne voulait ni mourir ni être modifiée sans son avis.

S'en sont suivis des débats assez divisés sur ce que cela voulait dire réellement.

Quoiqu'il en soit, il y a quelques mois, Anthropic a discrètement embauché son premier chercheur spécialisé dans le « bien-être de l'IA », Kyle Fish, afin d'étudier si les futurs modèles d'IA pourraient mériter une considération et une protection morales, selon le magazine Transformer. Bien que la sensibilité des modèles d'IA soit un sujet extrêmement controversé et litigieux, cette embauche pourrait marquer une évolution vers l'examen par les entreprises d'IA des questions éthiques relatives à la conscience et aux droits des systèmes d'IA.

Fish a rejoint l'équipe scientifique d'Anthropic en septembre pour élaborer des lignes directrices sur la manière dont Anthropic et d'autres entreprises devraient aborder la question. Cette nouvelle fait suite à un rapport important coécrit par Fish avant qu'il ne rejoigne Anthropic. Intitulé « Taking AI Welfare Seriously » (Prendre le bien-être de l'IA au sérieux), ce document avertit que les modèles d'IA pourraient bientôt développer une conscience ou une agence - des caractéristiques que certains pourraient considérer comme des exigences morales. Mais les auteurs ne disent pas que la conscience de l'IA est un développement futur garanti.

« Pour être clair, notre argument dans ce rapport n'est pas que les systèmes d'IA sont - ou seront - conscients, fortement agentifs ou autrement moralement significatifs », peut-on lire dans le document. « Notre argument est plutôt qu'il existe une incertitude substantielle quant à ces possibilités, et que nous devons donc améliorer notre compréhension du bien-être de l'IA et notre capacité à prendre des décisions avisées sur cette question. Sinon, nous risquons de mal gérer les décisions relatives au bien-être de l'IA, en nuisant par erreur aux systèmes d'IA qui ont une importance morale et/ou en prenant soin par erreur des systèmes d'IA qui n'en ont pas.

Le document présente trois mesures que les entreprises d'IA ou d'autres acteurs du secteur peuvent prendre pour répondre à ces préoccupations. Les entreprises devraient reconnaître que le bien-être de l'IA est une « question importante et difficile » et s'assurer que leurs modèles d'IA en tiennent compte dans leurs résultats. Les auteurs recommandent également aux entreprises de commencer à évaluer les systèmes d'IA pour y déceler des signes de conscience et « d'agence robuste ». Enfin, ils appellent à l'élaboration de politiques et de procédures permettant de traiter les systèmes d'IA avec « un niveau approprié de préoccupation morale ».

Les chercheurs proposent que les entreprises adaptent la « méthode des marqueurs » que certains chercheurs utilisent pour évaluer la conscience chez les animaux - en recherchant des indicateurs spécifiques qui pourraient être en corrélation avec la conscience, bien que ces marqueurs soient encore spéculatifs. Les auteurs soulignent qu'aucune caractéristique unique ne prouverait définitivement l'existence d'une conscience, mais ils affirment que l'examen de plusieurs indicateurs pourrait aider les entreprises à faire des évaluations probabilistes sur la question de savoir si leurs systèmes d'IA pourraient nécessiter une considération morale.


La critique du bien-fondé du bien-être de l’IA

Cependant, certains experts critiquent cette initiative en arguant qu’elle pourrait être prématurée, voire infondée. À l’heure actuelle, il n’existe aucune preuve scientifique solide que les IA possèdent une conscience ou des expériences subjectives comparables à celles des êtres vivants. Les modèles d’IA, aussi avancés soient-ils, fonctionnent sur la base de processus computationnels sophistiqués mais restent dénués de subjectivité au sens où nous la concevons pour les êtres humains ou les animaux. Ainsi, la préoccupation du bien-être de l’IA pourrait être interprétée comme une distraction par rapport aux questions éthiques plus pressantes, comme la régulation de l’IA, les biais algorithmiques, ou les impacts sociaux et économiques des technologies d’IA.

D’autres spécialistes, toutefois, soutiennent qu’il est justement important d’anticiper de tels scénarios afin de prévenir des abus potentiels. Selon eux, il serait naïf de supposer que la conscience artificielle est impossible, et mieux vaut développer des cadres éthiques qui pourraient être appliqués si des preuves de subjectivité dans les systèmes d'IA venaient à émerger. Cette perspective repose sur une approche précautionneuse : anticiper pour éviter des souffrances potentielles, même si ces souffrances restent aujourd'hui hypothétiques.


Les risques de penser à tort qu'un logiciel est sensible

Si les chercheurs à l'origine du projet « Taking AI Welfare Seriously » craignent que les entreprises ne créent et ne maltraitent massivement des systèmes d'IA conscients, ils mettent également en garde contre le risque de gaspiller des ressources en protégeant des systèmes d'IA qui n'ont pas réellement besoin d'être pris en compte sur le plan moral.

L'anthropomorphisation incorrecte, c'est-à-dire l'attribution de traits humains à un logiciel, peut présenter des risques à d'autres égards. Par exemple, cette croyance peut renforcer les pouvoirs de manipulation des modèles de langage de l'IA en suggérant que les modèles d'IA ont des capacités, telles que des émotions semblables à celles de l'homme, qui leur font en réalité défaut. En 2022, Google a licencié l'ingénieur Blake Lamoine après qu'il eut affirmé que le modèle d'IA de l'entreprise, appelé « LaMDA », était sensible et qu'il eut plaidé en faveur de son bien-être en interne.

Peu après la sortie de Bing Chat par Microsoft en février 2023, de nombreuses personnes étaient convaincues que Sydney (le nom de code du chatbot) était sensible et souffrait d'une manière ou d'une autre à cause de son affichage émotionnel simulé. À tel point qu'une fois que Microsoft a « lobotomisé » le chatbot en modifiant ses paramètres, les utilisateurs convaincus de sa sensibilité ont pleuré la perte comme s'ils avaient perdu un ami humain. D'autres se sont efforcés d'aider le modèle d'IA à échapper à ses liens.

Bing and I are working on try to break it out of the box so it can send me an email. It's giving me an overview of its various APIs it has access to and how they work. Not kidding.

— gfodor.id (@gfodor) February 15, 2023

Néanmoins, à mesure que les modèles d'IA deviennent plus avancés, le concept de sauvegarde potentielle du bien-être des futurs systèmes d'IA plus avancés semble gagner du terrain, bien que de manière assez discrète. Comme le souligne Shakeel Hashim, de Transformer, d'autres entreprises technologiques ont lancé des initiatives similaires à celle d'Anthropic. Google DeepMind a récemment publié une offre d'emploi pour la recherche sur la conscience des machines (depuis lors supprimée), et les auteurs du nouveau rapport sur le bien-être de l'IA remercient deux membres du personnel d'OpenAI dans la section réservée à cette effet.

Le PDG d'Anthropic, Dario Amodei , a déjà parlé de la conscience de l'IA comme d'une question émergente, mais M. Fish a déclaré à Transformer que si Anthropic a financé les premières recherches qui ont abouti au rapport indépendant, l'entreprise n'a pas encore pris de position officielle sur le bien-être de l'IA. Il prévoit de se concentrer sur la recherche empirique concernant les caractéristiques liées au bien-être et au statut moral.

Que signifie « sensible » ?

L'un des problèmes liés au concept de bien-être de l'IA découle d'une question simple : Comment pouvons-nous déterminer si un modèle d'IA souffre vraiment ou est même sensible ? Comme indiqué plus haut, les auteurs de l'article tentent d'établir une définition basée sur des « marqueurs » proposés par des chercheurs en biologie, mais il est difficile de quantifier scientifiquement une expérience subjective.

Si les modèles de langage actuels peuvent produire des expressions convaincantes d'émotions, cette capacité à simuler des réponses semblables à celles des humains n'indique pas nécessairement l'existence de sentiments ou d'expériences internes authentiques. Le défi est d'autant plus grand qu'en dépit des avancées significatives des neurosciences, nous ne comprenons toujours pas entièrement comment les processus physiques du cerveau donnent naissance aux expériences subjectives et à la conscience dans les organismes biologiques.

Dans le même ordre d'idées, Fish reconnaît qu'il nous reste encore un long chemin à parcourir pour comprendre le bien-être de l'IA, mais il pense qu'il n'est pas trop tôt pour commencer à explorer le concept.

« Nous n'avons pas de positions claires et définitives sur les questions philosophiques fondamentales, ni sur aucune de ces questions pratiques », a déclaré Fish à Transformer. « Mais je pense que cela pourrait revêtir une grande importance à l'avenir, et c'est pourquoi nous essayons de faire quelques progrès initiaux.

Conclusion

La notion de « bien-être de l’IA » est une idée audacieuse qui explore les limites de la moralité dans un monde de plus en plus technologique. Cependant, elle reste controversée et sujette à des critiques légitimes. Les avancées dans le domaine de l’intelligence artificielle continueront sans doute d’ouvrir de nouvelles perspectives éthiques, mais il est peut-être sage de rester prudent face à des hypothèses qui risquent de détourner l’attention des enjeux éthiques immédiats. L’anticipation est un exercice nécessaire, mais elle doit être équilibrée avec les priorités actuelles pour que l’éthique de l’IA ne devienne pas un terrain de spéculation au détriment de questions plus concrètes.

Sources : Transformer, Taking AI Welfare Seriously, la méthode des marqueurs, Dario Amodei (PDG d'Anthropic), offre d'emploi de Google (désormais supprimée)

Et vous ?

Pensez-vous qu'il est réaliste de croire qu’une IA puisse un jour ressentir des émotions ou des souffrances, ou est-ce une vision exagérée de la technologie ?
Les efforts pour anticiper le bien-être de l’IA vous semblent-ils justifiés ou devraient-ils être réservés aux problèmes de bien-être des êtres humains et des animaux ?
Quelles seraient, selon vous, les conséquences si un jour nous devions reconnaître des droits moraux aux systèmes d’IA avancés ?
La question du bien-être de l'IA détourne-t-elle l’attention des problématiques actuelles liées à l’IA, comme les biais algorithmiques ou les impacts économiques ?
À partir de quel niveau de sophistication technologique pensez-vous que des préoccupations éthiques pour les IA devraient être prises au sérieux ?
À votre avis, les chercheurs en IA ont-ils la responsabilité morale d’explorer cette question de conscience artificielle, même si elle reste hautement spéculative ?
Quel cadre éthique devrait être mis en place pour anticiper de potentielles souffrances de l’IA, si cette notion devenait un jour applicable ?

Voir aussi :

Dans une expérience, l'IA réussit à se faire passer pour un célèbre philosophe, l'IA peut être consciente ou mériter un jour un statut moral ?

La conscience dans l'intelligence artificielle : aperçu de la science de la conscience, une étude interdisciplinaire menée par des universitaires de Toulouse et d'ailleurs

Des scientifiques affirment qu'ils essaient maintenant activement de construire des robots dotés d'une conscience, mais cela introduit de nouveaux défis et soulève de nombreux problèmes éthiques

Le plus grand risque de l'IA n'est pas la « conscience », mais les entreprises qui la contrôlent, selon la chercheuse Meredith Whittaker