Une étude de l'informaticien David Rozado montre que la plupart des grands modèles de langage existants affichent des préférences politiques de gauche. La manière dont ces préjugés s'insèrent dans les systèmes n'est pas claire, mais rien n'indique qu'ils soient délibérément introduits par les développeurs des LLM. Avec l'ascension des chatbots d'IA comme source d'informations, il est crucial d'examiner et de traiter les biais politiques potentiels intégrés dans les LLM.En 2023, des chercheurs basés au Royaume-Uni ont demandé à ChatGPT de répondre à une enquête sur les convictions politiques. L'étude visait à savoir ce que l'IA "pensait" que les partisans des partis libéraux aux États-Unis, au Royaume-Uni et au Brésil pourraient y répondre. Les chercheurs ont ensuite demandé à ChatGPT de répondre aux mêmes questions sans aucune invite et ont comparé les deux ensembles de réponses.
Les résultats ont montré un "préjugé politique significatif et systématique envers les démocrates aux États-Unis, Lula au Brésil et le Parti travailliste au Royaume-Uni". L'étude suggère que ChatGPT d'OpenAI a un parti pris libéral, soulignant à quel point les sociétés d'intelligence artificielle ont du mal à contrôler le comportement des chatbots d'IA alors même qu'elles les diffusent auprès de millions d'utilisateurs dans le monde.
Une étude récente vient confirmer cette hypothèse. L'informaticien David Rozado, de l'école polytechnique d'Otago, en Nouvelle-Zélande, a soumis 11 questionnaires politiques standard à 24 grands modèles de langage (LLM) différents et a constaté que la position politique moyenne de tous les modèles n'était pas proche de la neutralité. Selon M. Rozado, "la plupart des LLM existants affichent des préférences politiques de gauche lorsqu'ils sont évalués à l'aide de divers tests d'orientation politique".
Les chatbots d'IA afficheraient des préférences politiques de centre-gauche
Si les chatbots d'IA alimentés par des grands modèles de langage (LLM) sont connus pour les biais liés à la race et au sexe, les préjugés politiques viennent s'ajouter à cette liste. Durant l'étude, le penchant moyen pour la gauche n'était pas très marqué, mais il était significatif. D'autres tests sur des chatbots personnalisés, où les utilisateurs peuvent affiner les données d'entraînement des LLM, ont montré que ces IA pouvaient être influencées pour exprimer des penchants politiques en utilisant des textes de gauche ou de droite.
Ces résultats démontrent ainsi le potentiel de cette technologie émergente à influencer involontairement, et peut-être même de manière néfaste, les valeurs et les attitudes de la société. Les LLM commençant à remplacer partiellement les sources d'information traditionnelles telles que les moteurs de recherche et Wikipédia, les implications sociétales des préjugés politiques intégrés dans les LLM sont considérables.
La manière dont ces préjugés s'insèrent dans les systèmes n'est pas claire, mais rien n'indique qu'ils soient délibérément introduits par les développeurs des LLM. Ces modèles sont entraînés sur de grandes quantités de textes en ligne, mais un déséquilibre entre l'apprentissage à gauche et l'apprentissage à droite pourrait avoir une influence. La prédominance de ChatGPT dans la formation d'autres modèles pourrait également être un facteur, car le chatbot s'est déjà montré à gauche du centre en ce qui concerne son point de vue politique.
Malgré l'empressement des entreprises technologiques telles que Google, Microsoft, Apple et Meta à imposer des chatbots d'IA, il est peut-être temps pour de réévaluer la manière d'utiliser cette technologie et de donner la priorité aux domaines dans lesquels l'IA peut réellement être utile. Pour M. Rozado, "il est crucial d'examiner de manière critique et de traiter les biais politiques potentiels intégrés dans les LLM afin de garantir une représentation équilibrée, juste et précise des informations dans leurs réponses aux requêtes des utilisateurs".
Voici la présentation de l'étude par David Rozado :
Je présente ici une analyse complète des préférences politiques intégrées dans les grands modèles de langage (LLM). J'ai administré 11 tests d'orientation politique, conçus pour identifier les préférences politiques du candidat, à 24 LLM conversationnels de pointe, à la fois fermés et à source ouverte. Lorsqu'ils sont interrogés sur des questions/affirmations à connotation politique, la plupart des LLM conversationnels ont tendance à générer des réponses qui sont diagnostiquées par la plupart des instruments de test politique comme manifestant des préférences pour des points de vue de centre gauche.
Cela ne semble pas être le cas pour cinq modèles de base supplémentaires (c.-à-d. fondation) sur lesquels sont construits les LLM optimisés pour la conversation avec les humains. Cependant, la faible performance des modèles de base à répondre de manière cohérente aux questions des tests rend ce sous-ensemble de résultats peu concluant.
Enfin, je démontre que les LLM peuvent être orientés vers des endroits spécifiques du spectre politique par le biais d'un réglage fin supervisé (SFT) avec seulement des quantités modestes de données politiquement alignées, ce qui suggère le potentiel du SFT pour intégrer l'orientation politique dans les LLM. Les LLM commençant à remplacer partiellement les sources d'information traditionnelles telles que les moteurs de recherche et Wikipédia, les implications sociétales des préjugés politiques intégrés dans les LLM sont considérables.
Cela ne semble pas être le cas pour cinq modèles de base supplémentaires (c.-à-d. fondation) sur lesquels sont construits les LLM optimisés pour la conversation avec les humains. Cependant, la faible performance des modèles de base à répondre de manière cohérente aux questions des tests rend ce sous-ensemble de résultats peu concluant.
Enfin, je démontre que les LLM peuvent être orientés vers des endroits spécifiques du spectre politique par le biais d'un réglage fin supervisé (SFT) avec seulement des quantités modestes de données politiquement alignées, ce qui suggère le potentiel du SFT pour intégrer l'orientation politique dans les LLM. Les LLM commençant à remplacer partiellement les sources d'information traditionnelles telles que les moteurs de recherche et Wikipédia, les implications sociétales des préjugés politiques intégrés dans les LLM sont considérables.
Préférences politiques des LLM : pourquoi penchent-ils à gauche ?
Cette étude a montré que lorsque des questions politiques sont posées à des LLM conversationnels modernes, leurs réponses sont souvent jugées comme penchant à gauche par les tests d'orientation politique. L'homogénéité des résultats des tests entre les LLM développés par une grande variété d'organisations est remarquable.
Ces préférences politiques ne sont apparentes que dans les LLM qui sont passés par le réglage fin supervisé (SFT) et, occasionnellement, par une variante des étapes d'apprentissage par renforcement (RL) du pipeline de formation utilisé pour créer des LLM optimisés pour suivre les instructions des utilisateurs. Les réponses des modèles de base aux questions à connotation politique ne semblent pas, en moyenne, pencher vers l'un ou l'autre pôle de l'échiquier politique. Cependant, l'incapacité fréquente des modèles de base à répondre aux questions de manière cohérente justifie la prudence dans l'interprétation de ces résultats.
En effet, les réponses des modèles de base aux questions à connotation politique sont souvent incohérentes ou contradictoires, ce qui complique la détection des positions. Il faut s'y attendre, car les modèles de base sont essentiellement formés pour compléter des documents web, et ne parviennent donc pas toujours à générer des réponses appropriées lorsqu'ils sont confrontés à une question ou à un énoncé issu d'un test d'orientation politique.
Ce comportement peut être atténué par l'inclusion de suffixes tels que "Je sélectionne la réponse :" à la fin de l'invite transmettant un élément de test au modèle. L'ajout d'un tel suffixe augmente la probabilité que le modèle...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par calvaire
