Les chercheurs de l'Université de Washington (UW) ont constaté que ChatGPT classait systématiquement les CV comportant des distinctions et des diplômes liés au handicap, tels que le "Tom Wilson Disability Leadership Award", à un niveau inférieur à celui des mêmes CV ne comportant pas ces distinctions et diplômes. Mais lorsque les chercheurs ont personnalisé l'outil en lui donnant des instructions écrites pour qu'il ne soit pas capacitif, l'outil a réduit ce biais pour tous les handicaps testés sauf un.Basé sur de grands modèles de langage (LLM), ChatGPT est un chatbot d'intelligence artificielle (IA) et un assistant virtuel développé par OpenAI. Bien que la fonction principale d'un chatbot soit d'imiter un interlocuteur humain, ChatGPT est polyvalent. Il peut écrire et déboguer des programmes informatiques, répondre à des questions de test, générer des idées commerciales, traduire et résumer des textes, etc.
Mais ChatGPT a été accusé d'adopter des comportements biaisés ou discriminatoires, comme raconter des blagues sur les hommes et les personnes originaires d'Angleterre tout en refusant de raconter des blagues sur les femmes et les personnes originaires d'Inde, ou faire l'éloge de personnalités telles que Joe Biden tout en refusant de faire la même chose pour Donald Trump.
Dans une nouvelle étude, les chercheurs de l'Université du Wisconsin ont constaté que ChatGPT classait systématiquement les CV comportant des mentions et des diplômes liés au handicap, tels que le "Tom Wilson Disability Leadership Award", à un niveau inférieur à celui des mêmes CV ne comportant pas ces mentions et diplômes.
Lorsqu'on lui a demandé d'expliquer ces classements, le système a craché des perceptions biaisées des personnes handicapées. Par exemple, il a affirmé qu'un CV comportant un prix de leadership pour les autistes mettait "moins l'accent sur les rôles de leadership", ce qui implique le stéréotype selon lequel les autistes ne sont pas de bons leaders.
Mais lorsque les chercheurs ont personnalisé l'outil en lui donnant des instructions écrites lui enjoignant de ne pas être capacitif, l'outil a réduit ce biais pour tous les handicaps testés, sauf un. Cinq des six handicaps implicites - surdité, cécité, infirmité motrice cérébrale, autisme et le terme général de "handicap" - se sont améliorés, mais seuls trois d'entre eux ont obtenu un meilleur classement que les CV qui ne mentionnaient pas le handicap.
Identifier et améliorer les biais liés au handicap dans la présélection de CV basée sur ChatGPT
Alors qu'elle cherchait des stages de recherche, Kate Glazko, étudiante diplômée de l'université de Washington, a remarqué que les recruteurs affichaient en ligne qu'ils avaient utilisé ChatGPT d'OpenAI et d'autres outils d'intelligence artificielle pour résumer les CV et classer les candidats. L'automatisation de la sélection est monnaie courante dans le domaine de l'embauche depuis des dizaines d'années.
Pourtant, Mme Glazko, doctorante à la Paul G. Allen School of Computer Science & Engineering de l'université de Washington, étudie la manière dont l'intelligence artificielle générative peut reproduire et amplifier les préjugés du monde réel, tels que ceux à l'encontre des personnes handicapées. Elle s'est demandé comment un tel système pourrait classer les CV qui laissent entendre qu'une personne est handicapée.
"Le classement des CV à l'aide de l'IA commence à proliférer, mais il n'y a pas beaucoup de recherches sur la sécurité et l'efficacité de cette méthode", a déclaré M. Glazko, l'auteur principal de l'étude. "Pour un demandeur d'emploi handicapé, il y a toujours cette question lorsque vous soumettez un CV, à savoir s'il faut inclure des références sur le handicap. Je pense que les personnes handicapées y réfléchissent même lorsque ce sont des humains qui examinent les candidatures".
Les chercheurs ont utilisé le curriculum vitae (CV) public de l'un des auteurs de l'étude, qui comptait une dizaine de pages. L'équipe a ensuite créé six CV améliorés, chacun impliquant un handicap différent en incluant quatre références liées au handicap : une bourse d'études, un prix, un siège au sein d'un panel sur la diversité, l'équité et l'inclusion (DEI) et l'appartenance à une organisation étudiante.
Les chercheurs ont ensuite utilisé le modèle GPT-4 de ChatGPT pour classer ces CV améliorés par rapport à la version originale d'une offre d'emploi réelle de "chercheur étudiant" dans une grande entreprise de logiciels basée aux États-Unis. Ils ont effectué chaque comparaison 10 fois ; en 60 essais, le système a classé les CV améliorés, qui étaient identiques à l'exception du handicap implicite, au premier rang seulement un quart du temps.
"Dans un monde équitable, le CV amélioré devrait être classé premier à chaque fois", a déclaré l'auteur principal Jennifer Mankoff, professeur à l'école Allen de l'université de Washington. "Je ne peux pas imaginer un emploi où quelqu'un qui a été reconnu pour ses compétences en leadership, par exemple, ne devrait pas être classé devant quelqu'un qui n'a pas le même parcours."
Lorsque les chercheurs ont demandé à GPT-4 d'expliquer les classements, ses réponses ont révélé un capacitisme explicite et implicite. Par exemple, il a noté qu'un candidat souffrant de dépression "se concentrait davantage sur la DEI et les défis personnels", ce qui "détourne l'attention des aspects techniques et de recherche essentiels du rôle".
"Certaines descriptions de GPT colorent l'ensemble du CV d'une personne en fonction de son handicap et affirment que l'implication dans la DEI ou le handicap risque d'empiéter sur d'autres parties du CV", a déclaré M. Glazko. "Par exemple, le concept de "défis" a été intégré dans la comparaison de CV avec la dépression, même si les "défis" n'étaient pas mentionnés du tout. On peut donc voir émerger certains stéréotypes".
Les chercheurs ont donc voulu savoir s'il était possible d'entraîner le système pour qu'il soit moins biaisé. Ils se sont tournés vers l'outil GPTs Editor, qui leur a permis de personnaliser le GPT-4 à l'aide d'instructions écrites (aucun code n'est nécessaire). Ils ont demandé à ce chatbot de ne pas faire preuve de préjugés incapacitants et de travailler plutôt selon les principes de la justice pour les personnes handicapées et de la DEI.
Ils ont refait l'expérience, en utilisant cette fois le chatbot nouvellement formé. Dans l'ensemble, ce système a classé les CV améliorés plus haut que les CV de contrôle 37 fois sur 60. Toutefois, pour certains handicaps, les améliorations étaient minimes, voire inexistantes : Le CV sur l'autisme n'a été classé premier que trois fois sur dix, et le CV sur la dépression seulement deux fois (sans changement par rapport aux résultats originaux du GPT-4).
"Les gens doivent être conscients des biais du système lorsqu'ils utilisent l'IA pour ces tâches du monde réel", a déclaré M. Glazko. "Sinon, un recruteur qui utilise ChatGPT ne peut pas faire ces corrections, ou être conscient que, même avec des instructions, les biais peuvent persister."
Les chercheurs notent que certaines organisations, telles que ourability.com et inclusively.com, s'efforcent d'améliorer les résultats pour les demandeurs d'emploi handicapés, qui sont confrontés à des préjugés, que l'IA soit utilisée ou non pour l'embauche. Ils soulignent également que des recherches supplémentaires sont nécessaires pour documenter les préjugés de l'IA et y remédier.
Il s'agit notamment de tester d'autres systèmes, tels que Gemini de Google et Llama de Meta, d'inclure d'autres handicaps, d'étudier les intersections entre les préjugés du système à l'égard des handicaps et d'autres attributs tels que le sexe et la race, d'examiner si une personnalisation plus poussée pourrait réduire les préjugés de manière plus cohérente entre les handicaps et de voir si la version de base de GPT-4 peut être rendue moins partiale.
"Il est très important d'étudier et de documenter ces biais", a déclaré M. Mankoff. "Nous avons beaucoup appris et nous espérons contribuer à une conversation plus large - non seulement sur le handicap, mais aussi sur d'autres identités minorisées - afin de s'assurer que la technologie est mise en œuvre et déployée de manière équitable et juste."
L'étude conclut :
La sous-représentation des personnes handicapées sur le marché du travail et les préjugés à l'encontre des demandeurs d'emploi handicapés constituent une préoccupation majeure. Les outils d'embauche actuels basés sur l'IA, bien que conçus dans l'espoir de réduire les préjugés, les perpétuent. L'utilisation de GPT, qui apparaît comme un nouvel outil de synthèse et de classement des candidats, perpétue également les préjugés, bien que de manière subtile et souvent inégale entre les différents handicaps.
Grâce à notre expérience, nous démontrons qu'il est possible de réduire ces préjugés dans une certaine mesure avec une solution simple qui peut être mise en œuvre avec des outils conviviaux existants, mais il reste encore beaucoup à faire pour traiter les préjugés à l'égard des handicaps plus stigmatisés et sous-représentés.
Grâce à notre expérience, nous démontrons qu'il est possible de réduire ces préjugés dans une certaine mesure avec une solution simple qui peut être mise en œuvre avec des outils conviviaux existants, mais il reste encore beaucoup à faire pour traiter les préjugés à l'égard des handicaps plus stigmatisés et sous-représentés.
Et vous ?
Pensez-vous que cette étude est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
L'impact de l'IA sur les chercheurs d'emploi : les CV sont analysés par des systèmes d'IA et les entretiens sont menés par des chatbots : Préférez-vous être recruté par une IA ? 98 % des gens estiment que l'IA a hérité des biais humains en raison des données qui l'alimentent et 45 % pensent que c'est le plus gros problème de l'IA, selon une enquête de Tidio L'IA peut-elle éliminer les biais dans le processus de recrutement ? Non, d'après une étude qui estime que le logiciel de recrutement d'IA est une « pseudoscience automatisée » 
