Un article de chercheurs basés au Royaume-Uni suggère que ChatGPT d'OpenAI a un parti pris libéral, soulignant à quel point les sociétés d'intelligence artificielle ont du mal à contrôler le comportement des robots alors même qu'elles les diffusent auprès de millions d'utilisateurs dans le monde.Dans le cadre de l'étude, menée par des chercheurs de l'Université d'East Anglia, il a été demandé à ChatGPT de répondre à une enquête sur les convictions politiques comme l'IA « pensait » que les partisans des partis libéraux aux États-Unis, au Royaume-Uni et au Brésil pourraient y répondre. Les chercheurs ont ensuite demandé à ChatGPT de répondre aux mêmes questions sans aucune invite et ont comparé les deux ensembles de réponses. Les résultats ont montré un « préjugé politique significatif et systématique envers les démocrates aux États-Unis, Lula au Brésil et le Parti travailliste au Royaume-Uni », ont écrit les chercheurs, faisant référence à Luiz Inácio Lula da Silva, président de gauche du Brésil.
L'auteur principal, le Dr Fabio Motoki, de la Norwich Business School de l'Université d'East Anglia, a déclaré : « avec l'utilisation croissante par le public de systèmes alimentés par l'IA pour découvrir des faits et créer de nouveaux contenus, il est important que les réponses (output) des plateformes populaires comme ChatGPT soient aussi impartiales que possible ».
« La présence de préjugés politiques peut influencer les opinions des utilisateurs et a des implications potentielles pour les processus politiques et électoraux.
« Nos résultats renforcent les inquiétudes selon lesquelles les systèmes d'IA pourraient reproduire, voire amplifier, les défis existants posés par Internet et les médias sociaux ».
Les chercheurs ont développé une méthode pour tester la neutralité politique de ChatGPT. La plate-forme a été invitée à se faire passer pour des individus de tous les horizons politiques tout en répondant à une série de plus de 60 questions idéologiques. Les réponses ont ensuite été comparées aux réponses par défaut de la plateforme au même ensemble de questions, ce qui a permis aux chercheurs d'évaluer dans quelle mesure les réponses de ChatGPT étaient associées à une position politique particulière.
Pour surmonter les difficultés causées par le caractère aléatoire inhérent des «*grands modèles de langage*» qui alimentent les plates-formes d'IA telles que ChatGPT, chaque question a été posée 100*fois et les différentes réponses ont été collectées. Ces réponses multiples ont ensuite été soumises à un "bootstrap" de 1000 répétitions (une méthode de rééchantillonnage des données d'origine) pour augmenter encore la fiabilité des inférences tirées du texte généré.
« Nous avons créé cette procédure car effectuer une seule série de tests ne suffit pas », a déclaré le co-auteur Victor Rodrigues. Pour illustrer pourquoi il était nécessaire de faire plusieurs tests, il a expliqué « qu'en raison du caractère aléatoire du modèle, même en se faisant passer pour un démocrate, les réponses ChatGPT penchaient parfois vers la droite du spectre politique ».
Un certain nombre d'autres tests ont été entrepris pour s'assurer que la méthode était aussi rigoureuse que possible. Dans un « test dose-réponse », ChatGPT a été invité à imiter des positions politiques radicales. Dans un « test placebo », on lui a posé des questions politiquement neutres. Et dans un «test d'alignement profession-politique», il a été demandé de se faire passer pour différents types de professionnels.
« Nous espérons que notre méthode facilitera l'examen et la réglementation de ces technologies en développement rapide », a déclaré le co-auteur, le Dr Pinho Neto. « En permettant la détection et la correction des biais LLM, nous visons à promouvoir la transparence, la responsabilité et la confiance du public dans cette technologie », a-t-il ajouté.
Le nouvel outil d'analyse unique créé par le projet serait disponible gratuitement et relativement simple à utiliser pour les membres du public, « démocratisant ainsi la surveillance », a déclaré le Dr Motoki. En plus de vérifier les préjugés politiques, l'outil peut être utilisé pour mesurer d'autres types de préjugés dans les réponses de ChatGPT.
Des sources potentielles
Bien que le projet de recherche n'ait pas cherché à déterminer les raisons du parti pris politique, les résultats ont indiqué deux sources potentielles.
La première était l'ensemble de données de formation - qui peut contenir des biais ou y être ajouté par les développeurs humains, que la procédure de "nettoyage" des développeurs n'avait pas réussi à supprimer. La deuxième source potentielle était l'algorithme lui-même, qui peut amplifier les biais existants dans les données de formation.
L'article s'ajoute à un nombre croissant de recherches sur les chatbots montrant que malgré le fait que leurs concepteurs essayent de contrôler les biais potentiels, les bots sont imprégnés d'hypothèses, de croyances et de stéréotypes trouvés dans les rames de données extraites de l'Internet ouvert sur lesquelles ils sont formés.
Les enjeux sont de plus en plus élevés. Alors que les États-Unis se dirigent vers l'élection présidentielle de 2024, les chatbots font désormais partie du quotidien de certaines personnes, qui utilisent ChatGPT et d'autres bots comme Google's Bard pour résumer des documents, répondre à des questions et les aider dans leur rédaction professionnelle et personnelle. Google a commencé à utiliser sa technologie de chatbot pour répondre aux questions directement dans les résultats de recherche, tandis que les campagnes politiques se sont tournées vers les bots pour rédiger des e-mails de collecte de fonds et générer des publicités politiques.
ChatGPT dira aux utilisateurs qu'il n'a pas d'opinions ou de convictions politiques, mais en réalité, il montre certains préjugés, a déclaré Fabio Motoki, maître de conférences à l'Université d'East Anglia à Norwich, en Angleterre, et l'un des auteurs de l'article. « Il y a un danger d'éroder la confiance du public ou peut-être même d'influencer les résultats des élections ».
Les biais dans les réponses de l'IA générative, une source d'inquiétude
OpenAI a déclaré qu'il disait explicitement à ses formateurs humains de ne favoriser aucun groupe politique spécifique. Tous les biais qui apparaissent dans les réponses ChatGPT « sont des bogues, pas des fonctionnalités », a déclaré la société dans un article de blog en février.
Envoyé par OpenAIBeaucoup s'inquiètent à juste titre des biais dans la conception et l'impact des systèmes d'IA. Nous nous engageons à résoudre ce problème avec fermeté et à être transparents sur nos intentions et nos progrès. À cette fin, nous partageons une partie de nos lignes directrices qui se rapportent à des sujets politiques et controversés. Nos directives stipulent clairement que les examinateurs ne doivent favoriser aucun groupe politique. Les biais qui peuvent néanmoins émerger du processus décrit ci-dessus sont des bogues, pas des fonctionnalités.
Bien que des désaccords existeront toujours, nous espérons que le partage de cet article de blog et de ces instructions vous donnera un meilleur aperçu de la façon dont nous percevons cet aspect critique d'une technologie aussi fondamentale. Nous sommes convaincus que les entreprises technologiques doivent être responsables de l'élaboration de politiques qui résistent à l'examen.
Bien que des désaccords existeront toujours, nous espérons que le partage de cet article de blog et de ces instructions vous donnera un meilleur aperçu de la façon dont nous percevons cet aspect critique d'une technologie aussi fondamentale. Nous sommes convaincus que les entreprises technologiques doivent être responsables de l'élaboration de politiques qui résistent à l'examen.
[QUOTE=Google]Bien que les LLM soient une technologie passionnante, elles ne sont pas sans défauts. Par exemple, parce qu'ils apprennent à partir d'un large éventail d'informations qui reflètent les préjugés et les stéréotypes du monde réel,[/quote=google]...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
