Meta espère augmenter la précision de Wikipedia et ses 6,5 millions d'articles avec un nouveau modèle d'IA,

Capable de vérifier automatiquement des centaines de milliers de citations à la fois

Meta espère augmenter la précision de Wikipedia et ses 6,5 millions d'articles avec un nouveau modèle d'IA,
capable de vérifier automatiquement des centaines de milliers de citations à la fois

Wikipedia contient environ 6,5 millions d’articles de contributeurs bénévoles. Cependant, bien que les sources des articles soient citées, comment savoir si ceux-ci sont fiables ? C'est à cette question que Meta veut répondre avec SPHERE, un modèle open source capable d’analyser automatiquement des centaines de milliers de citations à la fois pour vérifier si elles soutiennent réellement les affirmations correspondantes, elle l’a publié récemment sur la plateforme Github.

Meta a précisé qu’il n’était pas partenaire avec Wikimedia, la fondation qui gère Wikipedia, pour ce projet. Son objectif est de créer une plateforme pour aider les éditeurs de Wikipédia à repérer systématiquement les problèmes de citation et à corriger rapidement la citation ou le contenu de l’article correspondant.

L'équipe de recherche et d'avancement de Meta AI a récemment développé un système basé sur un réseau neuronal, appelé SIDE, qui est capable de scanner des centaines de milliers de citations Wikipédia à la fois et de vérifier si elles prennent réellement en charge le contenu correspondant.

Wikipédia est une encyclopédie en ligne gratuite multilingue écrite et maintenue par des bénévoles grâce à une collaboration ouverte et un système d'édition basé sur wiki. Wikipédia compte quelque 6,5 millions d'articles. Wikipédia est en crowdsourcing, il exige donc généralement que les faits soient corroborés ; les citations, les déclarations controversées et les documents controversés sur les personnes vivantes doivent inclure une citation. Les bénévoles revérifient les notes de bas de page de Wikipédia, mais, à mesure que le site continue de croître, il est difficile de suivre le rythme des plus de 17 000 nouveaux articles ajoutés chaque mois. Les lecteurs s'interrogent souvent sur l'exactitude des entrées de Wikipédia qu'ils lisent. Les éditeurs humains ont besoin de l'aide de la technologie pour identifier le charabia ou les déclarations qui manquent de citations, mais comprennent que déterminer si une source confirme ou non une affirmation est une tâche complexe pour l'IA, car elle nécessite une compréhension approfondie pour effectuer une analyse précise.

À cette fin, l'équipe de recherche Meta AI a créé un nouvel ensemble de données de 134 millions de pages Web publiques (divisées en 906 millions de passages de 100 jetons chacun), un ordre de grandeur de plus de données que les sources de connaissances prises en compte dans la recherche actuelle en PNL et beaucoup plus complexe que jamais utilisé pour ce genre de recherches. Le deuxième plus grand ensemble de données en matière de passages/documents est le générateur Internet Augmented Dialog, qui extrait les données de 250 millions de passages et de 109 millions de documents.

L'équipe de recherche et d'avancement de Meta AI a récemment développé un système basé sur un réseau neuronal, appelé SIDE, qui est capable de scanner des centaines de milliers de citations Wikipédia à la fois et de vérifier si elles prennent réellement en charge le contenu correspondant.

Wikipédia est une encyclopédie en ligne gratuite multilingue écrite et maintenue par des bénévoles grâce à une collaboration ouverte et un système d'édition basé sur wiki. Wikipédia compte quelque 6,5 millions d'articles. Wikipédia est un crowdsourcing, il exige donc généralement que les faits soient corroborés ; les citations, les déclarations controversées et les documents controversés sur les personnes vivantes doivent inclure une citation. Les bénévoles revérifient les notes de bas de page de Wikipédia, mais, à mesure que le site continue de croître, il est difficile de suivre le rythme des plus de 17 000 nouveaux articles ajoutés chaque mois. Les lecteurs s'interrogent souvent sur l'exactitude des entrées de Wikipédia qu'ils lisent. Les éditeurs humains ont besoin de l'aide de la technologie pour identifier le charabia ou les déclarations qui manquent de citations, mais comprennent que déterminer si une source confirme ou non une affirmation est une tâche complexe pour l'IA, car elle nécessite une compréhension approfondie pour effectuer une analyse précise.

À cette fin, l'équipe de recherche Meta AI a créé un nouvel ensemble de données de 134 millions de pages Web publiques (divisées en 906 millions de passages de 100 jetons chacun), un ordre de grandeur de plus de données que les sources de connaissances prises en compte dans la recherche actuelle en PNL et beaucoup plus complexe que jamais utilisé pour ce genre de recherches. Le deuxième plus grand ensemble de données en termes de passages/documents est le générateur Internet Augmented Dialog, qui extrait les données de 250 millions de passages et de 109 millions de documents.

Ce nouvel ensemble de données est la source de connaissances du modèle de réseau de neurones qui trouve les citations qui semblent non pertinentes et suggère un événement source plus applicable, pointant vers le passage spécifique qui soutient l'affirmation. Les techniques de compréhension du langage naturel (NLU) sont utilisées pour effectuer les tâches qui permettent au système d'évaluer une citation. Dans NLU, un modèle traduit des phrases humaines (ou des mots, des phrases ou des paragraphes) en représentations mathématiques complexes. L'outil est conçu pour comparer ces représentations afin de déterminer si une affirmation soutient ou contredit une autre.

Le nouvel ensemble de données est également l'un des principaux composants du système*: Sphere, qui est une bibliothèque de récupération à l'échelle du Web et est déjà open source.

Le flux de décision de SIDE, d'une revendication sur Wikipédia à une suggestion de nouvelle citation, fonctionne comme suit*:


La demande est envoyée au moteur de récupération Sphere, qui produit une liste de documents candidats potentiels à partir du corpus Sphere. Le sous-système de récupération clairsemé utilise un modèle seq2seq pour traduire le contexte de citation en texte de requête, puis correspond à la requête résultante (un vecteur de sac de mots clairsemé) sur un index BM25 de Sphere. Le modèle seq2seq est formé à l'aide des données de Wikipédia lui-même*: les requêtes cibles sont définies pour être des titres de page Web de citations Wikipédia existantes. Le sous-système de récupération dense est un réseau de neurones qui apprend à partir des données de Wikipédia pour coder le contexte de citation dans un vecteur de requête dense. Ce vecteur est ensuite mis en correspondance avec les codages vectoriels de tous les passages dans Sphere et les plus proches sont renvoyés.

Le moteur de vérification classe ensuite les documents candidats et la citation originale en référence à la revendication. Un réseau de neurones prend la revendication et un document en entrée, et prédit dans quelle mesure il prend en charge la revendication. Pour des raisons d'efficacité, il fonctionne sur un niveau par passage et calcule le score de vérification d'un document comme le maximum sur ses scores par passage. Les scores de vérification sont calculés par un transformateur BERT affiné qui utilise la revendication et le passage concaténés comme entrée.

En d'autres termes, le modèle crée et compare des représentations mathématiques de la signification d'énoncés entiers plutôt que de mots individuels. Étant donné que les pages Web peuvent contenir de longues portions de texte, les modèles évaluent le contenu par blocs et ne prennent en compte que le passage le plus pertinent lorsqu'ils décident de recommander ou non une URL.

Les indices transmettent les sources potentielles à un modèle de classement des preuves, qui compare le nouveau texte à la citation originale. À l'aide d'une compréhension fine du langage, le modèle classe la source citée et les alternatives récupérées en fonction de la probabilité qu'elles soutiennent l'affirmation. Si la citation originale n'est pas classée au-dessus des documents candidats, une nouvelle citation parmi les candidats récupérés est suggérée.

Meta

[QUOTE=Meta]En tant qu'encyclopédie la plus populaire de tous les temps - avec quelque 6,5 millions d'articles - Wikipédia est la première étape par défaut dans la recherche d'informations de recherche, de documents de base ou d'une réponse à cette question lancinante sur la culture pop. Wikipédia peut vous dire que les scientifiques ont nommé une nouvelle espèce de champignon Spongiforma squarepantsii, d'après le personnage de dessin animé SpongeBob SquarePants, ou que le membre de la tribu Blackfeet Joe Hipp a été le premier Amérindien à concourir pour le titre mondial des poids lourds de la World Boxing Association.

Mais parfois, cette recherche rapide d'informations s'accompagne d'un doute persistant*: comment savoir si ce que nous lisons est exact*? Par exemple, si vous aviez lu l'entrée mentionnée ci-dessus sur le membre de la tribu Blackfeet Joe Hipp il y a un mois, la citation de Wikipedia pour cette affirmation aurait été une page Web qui ne mentionnait même pas Hipp ou la boxe. Wikipédia est en crowdsourcing, il exige donc généralement que les faits soient corroborés ; les citations, les déclarations controversées et les documents controversés sur les personnes vivantes doivent inclure une citation. Les bénévoles revérifient les notes de bas de page de Wikipédia, mais, à mesure que le site continue de croître, il est difficile de suivre le rythme des plus de 17 000 nouveaux articles ajoutés chaque mois.

Les outils automatisés peuvent aider à identifier le charabia ou les déclarations sans citations, mais aider les éditeurs humains à déterminer si une source confirme réellement[/quote=meta]...