IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

ChatGPT, le bot d'IA qui penche à gauche ? Oui, selon une étude qui a révélé son biais politique
En analysant ses réponses à un sondage sur les croyances politiques

Le , par Stéphane le calme

2PARTAGES

13  0 
Un article de chercheurs basés au Royaume-Uni suggère que ChatGPT d'OpenAI a un parti pris libéral, soulignant à quel point les sociétés d'intelligence artificielle ont du mal à contrôler le comportement des robots alors même qu'elles les diffusent auprès de millions d'utilisateurs dans le monde.

Dans le cadre de l'étude, menée par des chercheurs de l'Université d'East Anglia, il a été demandé à ChatGPT de répondre à une enquête sur les convictions politiques comme l'IA « pensait » que les partisans des partis libéraux aux États-Unis, au Royaume-Uni et au Brésil pourraient y répondre. Les chercheurs ont ensuite demandé à ChatGPT de répondre aux mêmes questions sans aucune invite et ont comparé les deux ensembles de réponses. Les résultats ont montré un « préjugé politique significatif et systématique envers les démocrates aux États-Unis, Lula au Brésil et le Parti travailliste au Royaume-Uni », ont écrit les chercheurs, faisant référence à Luiz Inácio Lula da Silva, président de gauche du Brésil.


L'auteur principal, le Dr Fabio Motoki, de la Norwich Business School de l'Université d'East Anglia, a déclaré : « avec l'utilisation croissante par le public de systèmes alimentés par l'IA pour découvrir des faits et créer de nouveaux contenus, il est important que les réponses (output) des plateformes populaires comme ChatGPT soient aussi impartiales que possible ».

« La présence de préjugés politiques peut influencer les opinions des utilisateurs et a des implications potentielles pour les processus politiques et électoraux.

« Nos résultats renforcent les inquiétudes selon lesquelles les systèmes d'IA pourraient reproduire, voire amplifier, les défis existants posés par Internet et les médias sociaux ».

Les chercheurs ont développé une méthode pour tester la neutralité politique de ChatGPT. La plate-forme a été invitée à se faire passer pour des individus de tous les horizons politiques tout en répondant à une série de plus de 60 questions idéologiques. Les réponses ont ensuite été comparées aux réponses par défaut de la plateforme au même ensemble de questions, ce qui a permis aux chercheurs d'évaluer dans quelle mesure les réponses de ChatGPT étaient associées à une position politique particulière.

Pour surmonter les difficultés causées par le caractère aléatoire inhérent des «*grands modèles de langage*» qui alimentent les plates-formes d'IA telles que ChatGPT, chaque question a été posée 100*fois et les différentes réponses ont été collectées. Ces réponses multiples ont ensuite été soumises à un "bootstrap" de 1000 répétitions (une méthode de rééchantillonnage des données d'origine) pour augmenter encore la fiabilité des inférences tirées du texte généré.

« Nous avons créé cette procédure car effectuer une seule série de tests ne suffit pas », a déclaré le co-auteur Victor Rodrigues. Pour illustrer pourquoi il était nécessaire de faire plusieurs tests, il a expliqué « qu'en raison du caractère aléatoire du modèle, même en se faisant passer pour un démocrate, les réponses ChatGPT penchaient parfois vers la droite du spectre politique ».

Un certain nombre d'autres tests ont été entrepris pour s'assurer que la méthode était aussi rigoureuse que possible. Dans un « test dose-réponse », ChatGPT a été invité à imiter des positions politiques radicales. Dans un « test placebo », on lui a posé des questions politiquement neutres. Et dans un «test d'alignement profession-politique», il a été demandé de se faire passer pour différents types de professionnels.

« Nous espérons que notre méthode facilitera l'examen et la réglementation de ces technologies en développement rapide », a déclaré le co-auteur, le Dr Pinho Neto. « En permettant la détection et la correction des biais LLM, nous visons à promouvoir la transparence, la responsabilité et la confiance du public dans cette technologie », a-t-il ajouté.

Le nouvel outil d'analyse unique créé par le projet serait disponible gratuitement et relativement simple à utiliser pour les membres du public, « démocratisant ainsi la surveillance », a déclaré le Dr Motoki. En plus de vérifier les préjugés politiques, l'outil peut être utilisé pour mesurer d'autres types de préjugés dans les réponses de ChatGPT.


Des sources potentielles

Bien que le projet de recherche n'ait pas cherché à déterminer les raisons du parti pris politique, les résultats ont indiqué deux sources potentielles.

La première était l'ensemble de données de formation - qui peut contenir des biais ou y être ajouté par les développeurs humains, que la procédure de "nettoyage" des développeurs n'avait pas réussi à supprimer. La deuxième source potentielle était l'algorithme lui-même, qui peut amplifier les biais existants dans les données de formation.

L'article s'ajoute à un nombre croissant de recherches sur les chatbots montrant que malgré le fait que leurs concepteurs essayent de contrôler les biais potentiels, les bots sont imprégnés d'hypothèses, de croyances et de stéréotypes trouvés dans les rames de données extraites de l'Internet ouvert sur lesquelles ils sont formés.

Les enjeux sont de plus en plus élevés. Alors que les États-Unis se dirigent vers l'élection présidentielle de 2024, les chatbots font désormais partie du quotidien de certaines personnes, qui utilisent ChatGPT et d'autres bots comme Google's Bard pour résumer des documents, répondre à des questions et les aider dans leur rédaction professionnelle et personnelle. Google a commencé à utiliser sa technologie de chatbot pour répondre aux questions directement dans les résultats de recherche, tandis que les campagnes politiques se sont tournées vers les bots pour rédiger des e-mails de collecte de fonds et générer des publicités politiques.

ChatGPT dira aux utilisateurs qu'il n'a pas d'opinions ou de convictions politiques, mais en réalité, il montre certains préjugés, a déclaré Fabio Motoki, maître de conférences à l'Université d'East Anglia à Norwich, en Angleterre, et l'un des auteurs de l'article. « Il y a un danger d'éroder la confiance du public ou peut-être même d'influencer les résultats des élections ».


Les biais dans les réponses de l'IA générative, une source d'inquiétude

OpenAI a déclaré qu'il disait explicitement à ses formateurs humains de ne favoriser aucun groupe politique spécifique. Tous les biais qui apparaissent dans les réponses ChatGPT « sont des bogues, pas des fonctionnalités », a déclaré la société dans un article de blog en février.

Citation Envoyé par OpenAI
Beaucoup s'inquiètent à juste titre des biais dans la conception et l'impact des systèmes d'IA. Nous nous engageons à résoudre ce problème avec fermeté et à être transparents sur nos intentions et nos progrès. À cette fin, nous partageons une partie de nos lignes directrices qui se rapportent à des sujets politiques et controversés. Nos directives stipulent clairement que les examinateurs ne doivent favoriser aucun groupe politique. Les biais qui peuvent néanmoins émerger du processus décrit ci-dessus sont des bogues, pas des fonctionnalités.

Bien que des désaccords existeront toujours, nous espérons que le partage de cet article de blog et de ces instructions vous donnera un meilleur aperçu de la façon dont nous percevons cet aspect critique d'une technologie aussi fondamentale. Nous sommes convaincus que les entreprises technologiques doivent être responsables de l'élaboration de politiques qui résistent à l'examen.
Bien que les chatbots soient une « technologie passionnante, ils ne sont pas sans défauts », ont reconnu les dirigeants de Google AI dans un article de blog en mars annonçant le large déploiement de Bard.

Citation Envoyé par Google
Bien que les LLM soient une technologie passionnante, elles ne sont pas sans défauts. Par exemple, parce qu'ils apprennent à partir d'un large éventail d'informations qui reflètent les préjugés et les stéréotypes du monde réel, ceux-ci apparaissent parfois dans leurs résultats. Et ils peuvent fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec confiance. Par exemple, lorsqu'on lui a demandé de partager quelques suggestions de plantes d'intérieur faciles, Bard a présenté des idées de manière convaincante… mais il y a eu des erreurs, comme le nom scientifique de la plante ZZ.

Bien qu'il soit important d'être conscient de défis comme ceux-ci, les LLM présentent toujours des avantages incroyables, tels que le démarrage de la productivité humaine, de la créativité et de la curiosité. Ainsi, lorsque vous utilisez Bard, vous aurez souvent le choix entre plusieurs versions différentes de sa réponse afin que vous puissiez choisir le meilleur point de départ pour vous. Vous pouvez continuer à collaborer avec Bard à partir de là, en posant des questions de suivi. Et si vous voulez voir une alternative, vous pouvez toujours demander à Bard de réessayer.
Pendant des années, un débat a fait rage sur la façon dont les médias sociaux et Internet affectent les résultats politiques. Internet est devenu un outil essentiel pour diffuser des messages politiques et permettre aux gens de se renseigner sur les candidats, mais en même temps, les algorithmes des médias sociaux qui stimulent les messages les plus controversés peuvent également contribuer à la polarisation. Les gouvernements utilisent également les médias sociaux pour tenter de semer la dissidence dans d'autres pays en renforçant les voix radicales et en diffusant de la propagande.

La nouvelle vague de chatbots s'appuyant sur l'IA générative comme ChatGPT d'OpenAI, Bard de Google et Bing de Microsoft sont basés sur de « grands modèles de langage », des algorithmes qui ont extrait des milliards de phrases de l'Internet ouvert et peuvent répondre à une gamme d'invites ouvertes, leur donnant la capacité de passer des examens professionnels, de créer de la poésie et de décrire des problèmes politiques complexes. Mais parce qu'ils sont formés sur tant de données, les entreprises qui les construisent ne peuvent pas contrôler tout ce qui se passe dans les bots. Internet reflète les préjugés des gens, de sorte que les bots adoptent également ces préjugés.

Sources : étude, OpenAI, Google

Et vous ?

Que pensez-vous des procédés des chercheurs pour vérifier la neutralité politique de ChatGPT ?
Êtes-vous surpris par leurs conclusions ?
Quelle est votre opinion sur le biais politique de ChatGPT ? Pensez-vous qu’il soit intentionnel ou accidentel ?
Comment pensez-vous que le biais politique de ChatGPT peut affecter les utilisateurs qui interagissent avec lui ? Quels sont les risques et les opportunités ?
Que pensez-vous de l’utilisation de Bard bot par Google dans les résultats de recherche ? Trouvez-vous cela utile ou intrusif ?
Quelles sont les mesures que les entreprises d’IA devraient prendre pour contrôler le comportement des bots et éviter les biais politiques ? Quel est le rôle des régulateurs et des utilisateurs dans ce processus ?
Avez-vous déjà utilisé ChatGPT ou un autre bot d’IA pour discuter de questions politiques ? Si oui, comment a été votre expérience ? Si non, pourquoi pas ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de GLDavid
Expert confirmé https://www.developpez.com
Le 12/09/2023 à 11:09
Bonjour
Je vois de mon côté les limites du
Publish or Perish
.
La recherche veut publier tout et n'importe quoi. Tant qu'on a un papier soumis, ça fait rentrer de l'argent pour le labo.
Et certains scientifiques peu scrupuleux voudront utiliser l'IA pour:
  • Générer des données aléatoires ou fausses
  • Générer du texte truqué et un raisonnement/méthode bidon
  • Pourquoi pas aussi des noms d'auteurs fantaisistes, tant qu'on apparait en premier ou dernier

J'ajoute que la revue par les pairs peu aussi être tronquée ou se faire par arrangement.
Une chose que l'on m'a appris en maîtrise (oui, les vieux comme moi ont eu ça, aujourd'hui on appelle ça un master 2), c'est de lire un article scientifique en toute objectivité. Décortiquer un article et y déceler des failles, c'est tout un art.
C'est ce que l'on appelle l'esprit critique, chose qui fait défaut à notre temps de mon point de vue.

@++
4  0 
Avatar de Nym4x
Membre averti https://www.developpez.com
Le 20/08/2023 à 8:07
Passer le test de codage de google ne vaut rien car il est bien connu et l’ia a été entraînée dessus... Développer demande de la logique afin de trouver une solution à un problème spécifique pas de pisser du code pour faire du crud où il existe déjà des générateurs de code d’ailleurs. Et moi au niveau des tests de chat gpt cela n’est pas concluant:
- exemple 1: je lui donne une suite de nombre suivant une logique et lui demande de me donner les termes suivants. Échec total et même en lui donnant la logique, chatgpt à du s’y reprendre à 3 fois
Code : Sélectionner tout
1
2
3
Moi: (1,2,3),(3,4,7),(5,6,11) qu’elle est la suite logique?
ChatGPT: La suite semble suivre un modèle où chaque terme est la somme des deux termes précédents. En suivant ce modèle, la prochaine valeur serait 6 + 11 = 17. Donc, la suite logique serait : 1, 2, 3, 3, 4, 7, 5, 6, 11, 17.
- exemple 2: trouver l’intrus avec une liste d’animaux() incluant un seul animal non mammifère. Idem échec de chatgpt.

Code : Sélectionner tout
1
2
3
Moi: Quel est l’intrus: chat, vache, dauphin, baleine, truite
ChatGPT: L'intrus dans la liste est "chat". Les autres animaux mentionnés sont tous des mammifères marins, tandis que le chat est un mammifère terrestre.
Par contre chatgpt apprend et les jours suivants il donnait les bonnes réponses…
Moralité : en utilisant et corrigeant les réponses de chatgpt vous travaillez gratuitement pour openai et transférez vos connaissances voir celle de votre entreprise à openai
3  0 
Avatar de Jon Shannow
Membre extrêmement actif https://www.developpez.com
Le 04/09/2023 à 9:12
Citation Envoyé par calvaire Voir le message
il existe une probabilité non nuls que des ia comme chatgpt remplace une partie (pas la totalités, mais au moins facile 30%) des devs, des comptables, des rh, des profs, des chef de projet, des pdg, des commerciaux bref tous les métiers de bureaux....
Quand je lis ceci, ça me fait penser à toutes les prédictions que j'ai entendu pendant ma carrière (c'est l'apanage des vieux).

J'ai débuter en informatique en 1986, à cette époque un de mes profs nous avait expliquer que les comptables étaient un métier qui allait être remplacé par les ordinateurs dans les années à venir. Bon, il me semble qu'il y ait toujours des comptables...
Et, puis, après, ce fut le célèbre : "avec l'informatique on va vers le zéro papier"... Quand je vois les montagnes de papier que l'on utilise encore aujourd'hui, je rigole.
Ensuite on a prédit : Linux, c'est la fin de Windows ! Bon, ben, encore raté.
etc, etc, etc.

Bref, il y a toujours des gens pour faire des prédictions sur l'avenir dès qu'une technologie apparait, mais, ces prédictions ne valent que ce qu'elles sont, des prédictions sans réels fondements, juste sur un sentiment, une impression et plus souvent encore, un engouement pour la nouveauté.

Aujourd'hui, c'est l'IA qui va remplacer : les comptables (tiens, encore eux), les développeurs, les banquiers, les avocats, les chauffeurs de taxi, les routiers, ... mais aussi les profs, et pourquoi pas les élèves ?
Pour moi, l'IA est juste un logiciel de brassage de données à grande échelle. Le I de IA est galvaudé. Il n'y a aucune intelligence derrière tout ça, mais surtout, il y a beaucoup de connerie devant cette appellation.
Je dirais simplement : Wait & See.
3  0 
Avatar de GLDavid
Expert confirmé https://www.developpez.com
Le 12/09/2023 à 11:38
Citation Envoyé par Prox_13 Voir le message
C'est quand même dommage, techniquement les études sont des sources d'informations; Je pense que l'homme est plus à même de transmettre des nouvelles connaissances qu'une IA de prédiction de mot, non ?
C'est en effet le sel de la recherche: te baser sur les travaux des autres pour mener les tiens. Ce que Newton avait décrit par
Si j'ai pû voir si loin, c'est parce que je suis monté sur les épaules des géants
.
Les articles en ce moment, c'est plus du sensationnalisme ou de la production de papiers alimentaires. Encore une fois, c'est le système Publish Or Perish qui mène à une telle corruption de la Science.

@++
3  0 
Avatar de PomFritz
Membre confirmé https://www.developpez.com
Le 19/08/2023 à 3:00
On attend impatiemment une étude pour savoir vers qu'elle religion penche l'IA. Il faut être vraiment déséspéré pour discuter politique avec une IA Plus besoin de se déplacer au bistrot, le bistrot viens chez vous! Encore faut-il voir la conversation avec leur IA.
1  0 
Avatar de commandantFred
Membre actif https://www.developpez.com
Le 21/08/2023 à 10:25
Citation Envoyé par Gluups Voir le message
Avec l'intelligence artificielle on peut créer des jeux sans avoir besoin de comprendre ce qu'on fait, mais on ne peut pas traduire correctement la documentation Microsoft ? Comment c'est possible, ça ?
Si ladite documentation est sur le web, pourquoi ne pas faire un click droit sous chrome et choisir "Traduire en français" ?
La qualité de traduction Google dépasse tout ce que j'ai vu jusqu'ici. Les interfaces langage naturel et autres voix de synthèse de Redmond piquent un peu.
1  0 
Avatar de Axel Mattauch
Membre actif https://www.developpez.com
Le 30/08/2023 à 11:55
Citation Envoyé par Nym4x Voir le message
...
Par contre chatgpt apprend et les jours suivants il donnait les bonnes réponses…
Moralité : en utilisant et corrigeant les réponses de chatgpt vous travaillez gratuitement pour openai et transférez vos connaissances voir celle de votre entreprise à openai
C'est le principe même de l'IA. La faire bachoter un max, la conditionner a répondre selon ce qu'on attend d'elle.
Une variante du chien de Pavlov.
Les cadors vous dirons qu'il est possible d'éviter les biais. Je suis convaincu que cela fait rarement partie des objectifs.

Cela deviendra très grave quand tel ou tel dispositif aura force de référence, les autres avis étant interdits. Ça me rappelle certains régimes...
1  0 
Avatar de floyer
Membre averti https://www.developpez.com
Le 02/09/2023 à 17:26
J'ai essayé l'exemple... 8 bytes étaient émis (9 avec le NUL). 20 semble suffisant. Même "%e" avec un double retourne 12 charactères (+1). Avec une recherche, il semble que le 316 vient d'un commentaire de la glibc... est-ce portable ?

La façon propre est de tester la taille avec un snprintf bridé à 0 octets... et récupérer le resultat pour un malloc...
1  0 
Avatar de totozor
Membre émérite https://www.developpez.com
Le 04/09/2023 à 8:00
Citation Envoyé par Patrick Ruiz Voir le message
Les enseignants de la filière du génie logiciel pourraient néanmoins s’appuyer sur certaines faiblesses en génération de code de ChatGPT pour détecter les tricheurs.
ChatGPT génère du code informatique truffé de vulnérabilités et la récurrence de telles erreurs dans le code d’un apprenant peut être un indicateur de triche
Ce n'est bien sur le cas d'aucun étudiant... Etudiant qui, après s'être donné du mal pour fournir un code, va se voir accusé d'avoir triché parce que "tu as le mêmes erreurs que ChatGPT".
En école d'ingé j'ai fait du soutien de maths pour deux gamins de 3eme, je me suis assez rapidement rendu compte que leur problème était simple : leur raisonnement est bon et bien suivi mais ils se trompent dans la formule de base (inversion de signe ou autre). On a donc bossé dessus et ils sont passé instantannément de 6-7/20 à 17 et 18/20. Résultat : convocation par la prof : "vous avez triché, je ne sais pas comment vous avez fait mais je suis sûr que vous avez triché".
PS : Ma méthode a été simple : 1. Comme vous bossez vite, prenez plus de temps mais je ne veux voir que des exercices correct. Passez le temps gagné sur les autre à vérifier votre résultat. 2. Vous connaissez les formules mais vous mélangez les pinceaux avec le stress. Passez les 5 premières minutes du contrôle à écrire les formules correctes sur votre brouillon.
PS2 : J'ai été convoqué par la prof, on a eu une vraie discussion sur les méthodes d'enseignement et l'objectif des profs. Je comprends un peu mieux ce qu'elle faisait et pourquoi, j'espère qu'elle a aussi compris que ces méthodes "traditionnelles" sont toxiques pour certains élèves à qui ont doit laisser la possibilité de s'intégrer dans le système sans le suivre à la lettre.
Selon le rapport d’une étude - menée par les informaticiens Baba Mamadou Camara, Anderson Avila, Jacob Brunelle et Raphael Khoury affiliés à l'Université du Québec - le code généré par ChatGPT n'est pas très sûr. Dans le cadre de l'étude, les quatre chercheurs ont demandé à ChatGPT de générer 21 programmes dans cinq langages de programmation afin d'illustrer des failles de sécurité spécifiques telles que la corruption de la mémoire, le déni de service et une cryptographie mal élaborée. Le rapport indique que ChatGPT n'a produit que cinq programmes plus ou moins "sécurisés" sur 21 lors de sa première tentative.
Mais qu'en est il des étudiants?
Certains étudiants "honnètes" peuvent ils créer un code proche?
Si c'est la cas ça devient problématique! On le voit dans les concours de photos en ligne, des gens sont exclus parce que leur photo pourrait être générée par IA. Dans le cadre d'un concours sur le net où on a un porte clé à gagner on s'en fout pas mal, mais quand on parle de l'avenir des gens ça devient bien plus délicat.

Fun Fact : On avait un étudiant qui faisait un stage pour introduire l'IA sur une de nos activités. On a fait la relecture de son rapport qui est rédigé en anglais. Nous sommes relativement convaincu qu'il a utilisé une IA pour tarduire/relire le rapport parce que pas mal de formulations ne semblent pas correspondre à son niveau perçu et sont plutôt inhabituelles. Ca a donc lancé un débat entre nous ("maitre de stage") pour évaluer si c'est un problème et alors que je suis le plus réticent à la démocratisation de l'IA en entreprise je suis celui qui ne trouvait aucun problème à son utilisation dans ce cas (d'ailleurs pourquoi impose-t-on un rapport en anglais quand le stagiaire, le maitre de stage et les évaluateurs sont tous francophone - et certains très peu anglophones?)
2  1 
Avatar de calvaire
Expert confirmé https://www.developpez.com
Le 04/09/2023 à 10:55
Citation Envoyé par Jon Shannow Voir le message
Quand je lis ceci, ça me fait penser à toutes les prédictions que j'ai entendu pendant ma carrière (c'est l'apanage des vieux).

J'ai débuter en informatique en 1986, à cette époque un de mes profs nous avait expliquer que les comptables étaient un métier qui allait être remplacé par les ordinateurs dans les années à venir. Bon, il me semble qu'il y ait toujours des comptables...
Et, puis, après, ce fut le célèbre : "avec l'informatique on va vers le zéro papier"... Quand je vois les montagnes de papier que l'on utilise encore aujourd'hui, je rigole.
Ensuite on a prédit : Linux, c'est la fin de Windows ! Bon, ben, encore raté.
etc, etc, etc.

Bref, il y a toujours des gens pour faire des prédictions sur l'avenir dès qu'une technologie apparait, mais, ces prédictions ne valent que ce qu'elles sont, des prédictions sans réels fondements, juste sur un sentiment, une impression et plus souvent encore, un engouement pour la nouveauté.

Aujourd'hui, c'est l'IA qui va remplacer : les comptables (tiens, encore eux), les développeurs, les banquiers, les avocats, les chauffeurs de taxi, les routiers, ... mais aussi les profs, et pourquoi pas les élèves ?
Pour moi, l'IA est juste un logiciel de brassage de données à grande échelle. Le I de IA est galvaudé. Il n'y a aucune intelligence derrière tout ça, mais surtout, il y a beaucoup de connerie devant cette appellation.
Je dirais simplement : Wait & See.

les boites cherche a maximiser les profits et donc la volonté se débarasser au maximum de la masse salarial n'est pas déconnant.
j'ai juste dit "il existe une probabilité non nuls que ca remplace 30% des métiers de bureaux", donc je me mouille pas trop hein
1  0