Selon des chercheurs de l'Université de Cambridge, la propagation du discours de haine via les médias sociaux pourrait être combattue en utilisant la même approche de « quarantaine » déployée pour lutter contre les logiciels malveillants. En fait, les définitions du discours haineux varient en fonction de la nation, de la loi et de la plateforme, et le simple blocage des mots-clés est inefficace : les descriptions graphiques de la violence n'ont pas besoin de contenir des insultes ethniques évidentes pour constituer des menaces de mort racistes, par exemple.En tant que tel, le discours haineux est difficile à détecter automatiquement. Il doit être signalé par ceux qui y sont exposés, après que le « préjudice psychologique » voulu ait été infligé, avec des armées de modérateurs tenus de juger chaque cas. C'est la nouvelle ligne de front d'un ancien débat : la liberté d'expression contre le langage vénéneux.
Face à cette problématique, un ingénieur et un linguiste ont publié une proposition dans la revue Ethics and Information Technology qui exploite les techniques de cybersécurité pour donner le contrôle à ceux qui sont ciblés, sans recourir à la censure.
Les experts de Cambridge Language et Machine Learning utilisent des bases de données de menaces et d'insultes violentes pour créer des algorithmes qui peuvent fournir un score pour la probabilité d'un message en ligne contenant des formes de discours haineux.
À mesure que ces algorithmes s'affinent, les discours de haine potentiels pourraient être identifiés et « mis en quarantaine ». Les utilisateurs recevraient une alerte d'avertissement avec un « Hainomètre » (baromètre indiquant le score de gravité du discours haineux), le nom de l'expéditeur et une option pour afficher le contenu ou le supprimer sans l'afficher.
Cette approche s'apparente à des filtres de spam et de logiciels malveillants, et les chercheurs du projet Giving Voice to Digital Democracies (donner de la voix aux démocraties numériques) pensent qu'elle pourrait réduire considérablement la quantité de discours haineux que les gens sont obligés de subir. Ils visent à avoir un prototype prêt au début de 2020.
« Le discours haineux est une forme de préjudice intentionnel en ligne, comme les logiciels malveillants, et peut donc être traité par le biais de la mise en quarantaine », a déclaré le coauteur et linguiste, le Dr Stefanie Ullman. « En réalité, beaucoup de discours haineux sont en fait générés par des logiciels tels que les robots Twitter ».
« Des entreprises comme Facebook, Twitter et Google répondent généralement de manière réactive aux discours haineux », a déclaré le coauteur et ingénieur Dr Marcus Tomalin. « Cela peut convenir à ceux qui ne le rencontrent pas souvent. Pour d'autres, c'est un peu trop tard ».
« De nombreuses femmes et personnes appartenant à des groupes minoritaires aux yeux du public reçoivent un discours haineux anonyme pour avoir osé avoir une présence en ligne. Nous voyons cela dissuader les gens d'entrer ou de continuer dans la vie publique, souvent ceux de groupes qui ont besoin d'une plus grande représentation », a-t-il dit. L'ancienne secrétaire d'État américaine Hillary Clinton a récemment déclaré à un public britannique que le discours haineux constituait une « menace pour les démocraties », à la suite de nombreuses femmes parlementaires citant les abus en ligne comme raison pour laquelle elles ne se présenteront plus aux élections.
Dans un discours prononcé à l'Université de Georgetown, le PDG de Facebook, Mark Zuckerberg, a évoqué « de larges désaccords sur ce qui peut être qualifié de discours haineux » et a fait valoir : « nous devons pécher par excès d'expression ».
Les chercheurs notent que leur proposition n'est pas une solution miracle, mais qu'elle se situe sur la ligne entre les « approches libertaires et autoritaires extrêmes» consistant à autoriser ou à interdire totalement certains propos en ligne. L'un des points essentiels est que l'utilisateur devient l'arbitre. « Beaucoup de gens n'aiment pas l'idée d'une société qu'ils n'ont pas choisie ou d'un gouvernement de microgestion qui décide de ce que nous pouvons et ne pouvons pas nous dire », a déclaré Tomalin.
« Notre système signalera quand vous devez être prudent, mais le dernier mot vous revient. Il n'empêche pas les gens de poster ou de voir ce qu'ils aiment, mais il donne le contrôle nécessaire à ceux qui sont inondés de propos haineux ».
Dans l'article, les chercheurs font référence à des algorithmes de détection atteignant une précision de 60 %. Mais le laboratoire d'apprentissage automatique de Tomalin assure avoir désormais atteint les 80 % et il prévoit une amélioration continue de la modélisation mathématique. Pendant ce temps, Ullman recueille plus de « données d'entraînement » : discours haineux avérés à partir duquel les algorithmes peuvent apprendre. Cela permet d'affiner les « scores de confiance »' qui déterminent une quarantaine et la lecture ultérieure de « Hainomètre », qui pourrait être définie comme un cadran de sensibilité en fonction des préférences de l'utilisateur.
Un exemple de base pourrait impliquer un mot comme « chienne » : une injure misogyne, mais aussi un terme légitime dans des contextes tels que l'élevage de chiens. C'est l'analyse algorithmique de la position syntaxique d'un tel mot (les types de mots environnants et les relations sémantiques entre eux) qui influe sur le score du discours haineux.
« L'identification de mots-clés individuels ne suffit pas, nous examinons des structures de phrases entières et bien au-delà. Les informations sociolinguistiques dans les profils d'utilisateurs et les historiques de publication peuvent toutes aider à améliorer le processus de classification », a déclaré Ullman.
Tomalin a ajouté: « Grâce à des quarantaines automatisées qui fournissent des conseils sur la force du contenu haineux, nous pouvons donner du pouvoir à ceux qui sont l'objet du discours haineux qui empoisonne nos échanges en ligne ». Cependant, les chercheurs, qui travaillent au Centre de recherche sur les arts, les lettres et les sciences sociales de Cambridge (CRASSH), disent que, comme pour les virus informatiques, il y aura toujours une course aux armements entre le discours haineux et les systèmes pour le limiter.
Source : université de Cambridge
Et vous ?
Que pensez-vous de cette approche ?Voir aussi :
La recherche et le développement en intelligence artificielle sont en plein essor, mais l'intelligence générale est toujours hors de portée selon un rapport L'UE ambitionne de former à minima 1 % des Européens aux fondamentaux de l'intelligence artificielle d'ici 2021 Qui est le propriétaire du produit d'une intelligence artificielle ? Peut-on s'attribuer (par protection) les droits d'auteur d'une œuvre produite par une IA ? L'intelligence artificielle devrait-elle bénéficier des mêmes protections éthiques que les animaux ? Oui, selon Aeon, qui propose la création de comités de surveillance chargés d'évaluer les risques 
Envoyé par xXxNeWgEnErAtIoN
Et comment tu le programmes ton robot ?
