OpenAI affirme avec audace que sa merveille technique pourrait être l'élixir secret permettant de résoudre enfin le mystère de la modération de contenu qui déconcerte le secteur des technologies de l'information depuis des années. Si ce magicien numérique tient ses promesses, l'époque du filtrage des contenus Internet toxiques et désagréables pourrait bientôt être révolue.OpenAI dévoile son grand objectif dans un article de blog captivant, expliquant comment GPT-4 a tranquillement cuisiné en arrière-plan, affinant ses compétences en matière de filtrage de contenu. Selon les murmures de la brise numérique, GPT-4 a sollicité ses muscles cérébraux en créant des normes de contenu, en apposant des étiquettes et même en prenant des décisions de jugement. Le résultat ? Une vision où l'IA prend les rênes de la confiance et de la sécurité, réécrivant les règles du jeu pour résoudre les problèmes du monde réel d'une manière respectueuse de la société.
Utilisation de GPT-4 pour la modération de contenu
La modération de contenu joue un rôle crucial dans le maintien de la santé des plateformes numériques. Un système de modération de contenu utilisant GPT-4 permet une itération beaucoup plus rapide sur les changements de politique, réduisant le cycle de plusieurs mois à quelques heures. GPT-4 est également capable d'interpréter les règles et les nuances dans une longue documentation de politique de contenu et de s'adapter instantanément aux mises à jour de la politique, ce qui se traduit par un étiquetage plus cohérent. Nous pensons que cela offre une vision plus positive de l'avenir des plateformes numériques, où l'IA peut aider à modérer le trafic en ligne conformément à la politique spécifique de la plateforme et soulager la charge mentale d'un grand nombre de modérateurs humains. Toute personne ayant accès à l'API OpenAI peut mettre en œuvre cette approche pour créer son propre système de modération assisté par l'IA.
Les défis de la modération de contenu
La modération de contenu exige des efforts méticuleux, de la sensibilité, une compréhension approfondie du contexte, ainsi qu'une adaptation rapide aux nouveaux cas d'utilisation, ce qui la rend à la fois longue et difficile. Traditionnellement, la charge de cette tâche incombe à des modérateurs humains qui passent au crible de grandes quantités de contenu pour en éliminer les éléments toxiques et nuisibles, avec l'aide de modèles d'apprentissage automatique plus petits et spécifiques à une verticale. Ce processus est intrinsèquement lent et peut entraîner un stress mental chez les modérateurs humains.
Utilisation de grands modèles de langage (LLM)
OpenAI étudie la possibilité d'utiliser des modèles linguistiques à grande échelle pour relever ces défis. De grands modèles de langage, comme GPT-4, peuvent comprendre et générer du langage naturel, ce qui les rend applicables à la modération de contenu. Les modèles peuvent émettre des jugements de modération sur la base des lignes directrices qui leur sont fournies.
Grâce à ce système, le processus d'élaboration et de personnalisation des politiques de contenu est réduit de plusieurs mois à quelques heures.
- Une fois les lignes directrices rédigées, les experts peuvent créer un ensemble de données en identifiant un petit nombre d'exemples et en leur attribuant des étiquettes conformément à la politique.
- Ensuite, GPT-4 lit la politique et attribue des étiquettes au même ensemble de données, sans voir les réponses.
- En examinant les divergences entre les jugements de GPT-4 et ceux d'un humain, les experts en politique peuvent demander à GPT-4 de justifier ses étiquettes, d'analyser l'ambiguïté des définitions de la politique, de résoudre les confusions et de fournir des clarifications supplémentaires dans la politique en conséquence. On peut répéter les étapes 2 et 3 jusqu'à ce qu'on soit satisfaits de la qualité de la politique.
Ce processus itératif permet d'affiner les politiques de contenu qui sont traduites en classificateurs, ce qui permet de déployer la politique et la modération de contenu à grande échelle. En option, pour traiter de grandes quantités de données à l'échelle, nous pouvons utiliser les prédictions de GPT-4 pour affiner un modèle beaucoup plus petit.
Exemple :
Cette idée simple, mais puissante offre plusieurs améliorations par rapport aux approches traditionnelles de la modération de contenu :
- Des étiquettes plus cohérentes. Les politiques de contenu sont en constante évolution et souvent très détaillées. Les gens peuvent interpréter les politiques différemment ou certains modérateurs peuvent prendre plus de temps pour assimiler les nouveaux changements de politique, ce qui conduit à des étiquettes incohérentes. En comparaison, les LLM sont sensibles aux différences granulaires de formulation et peuvent s'adapter instantanément aux mises à jour de la politique pour offrir une expérience de contenu cohérente aux utilisateurs.
- Une boucle de rétroaction plus rapide. Le cycle de mise à jour des politiques, développement d'une nouvelle politique, étiquetage et collecte de commentaires humains, peut souvent être un processus long et fastidieux. Le GPT-4 peut réduire ce processus à quelques heures, ce qui permet de réagir plus rapidement aux nouveaux préjudices.
- Réduction de la charge mentale. L'exposition continue à des contenus préjudiciables ou offensants peut entraîner un épuisement émotionnel et un stress psychologique chez les modérateurs humains. L'automatisation de ce type de travail est bénéfique pour le bien-être des personnes concernées.
OpenAI étudie activement la possibilité d'améliorer encore la qualité des prédictions de GPT-4, par exemple en incorporant le raisonnement par chaîne de pensée ou l'autocritique. Ils expérimentent également des moyens de détecter des risques inconnus et visent à exploiter des modèles permettant d'identifier des contenus potentiellement dangereux à partir de descriptions de haut niveau de ce qui est considéré comme dangereux. Ces résultats permettraient ensuite de mettre à jour les politiques de contenu existantes ou d'élaborer des politiques sur des domaines de risque entièrement nouveaux.
Limites
Les jugements portés par les modèles linguistiques sont vulnérables aux biais indésirables qui ont pu être introduits dans le modèle au cours de la formation. Comme pour toute application d'IA, les résultats devront être soigneusement contrôlés, validés et affinés en maintenant les humains dans la boucle. En réduisant l'implication humaine dans certaines parties du processus de modération qui peuvent être gérées par des modèles de langage, les ressources humaines peuvent se concentrer davantage sur les cas limites complexes les plus nécessaires à l'affinement de la politique.
Source : OpenAI
Et vous ?
Pensez-vous que l'utilisation de l'IA en modération soit crédible ou pertinente ? Quel est votre avis sur la question ?Voir aussi :
Les bots de modération de YouTube vont commencer à émettre des avertissements et des interdictions de 24 heures Des personnalités d'extrême droite débarqueraient en masse sur Threads. Plusieurs testent les limites de modération de Threads, certains exprimant le désir d'être bannis en guise d'insigne d'honneur Twitter limite l'accès des employés aux outils de modération de contenu à l'approche des élections de mi-mandat. Au lieu de centaines d'employés qui ont accès à ces outils, ils seraient environ 15 
Envoyé par Jade Emy
