Wikipedia suspend les résumés générés par IA suite à une série de réactions négatives des rédacteurs

Et une étude selon laquelle l'intelligence artificielle est pire que l'humain pour résumer l'information

Wikipedia suspend les résumés générés par IA suite à une série de réactions négatives des rédacteurs
Et une étude selon laquelle l’intelligence artificielle est pire que l’humain pour résumer l’information

La Fondation Wikimedia, l'organisation à but non lucratif qui héberge et développe Wikipédia, annonce l’interruption d’une expérience qui consistait à présenter aux utilisateurs des résumés générés par IA en haut des articles, après avoir reçu une réaction extrêmement négative de la part de la communauté des rédacteurs de Wikipédia. Le tableau ravive le débat sur les tentatives de mise à contribution de l’intelligence artificielle en lieu et place de l’humain dans divers domaines.

Une page détaillant le projet de résumés générés par l'IA, appelé « Simple Article Summaries », explique qu'il a été proposé à la suite d'une discussion lors de la conférence 2024 de Wikimedia. Les éditeurs qui ont participé à la discussion ont estimé que ces résumés pourraient améliorer l'expérience d'apprentissage sur Wikipédia, où certains résumés d'articles peuvent être assez denses et remplis de jargon technique, mais que les fonctions d'intelligence artificielle devaient être clairement étiquetées comme telles et que les utilisateurs avaient besoin d'un moyen facile de signaler les problèmes liés au « contenu généré par une machine une fois qu'il a été publié ou généré automatiquement ».



L’annonce fait suite à la publication des résultats d’une étude selon laquelle l’IA est pire que l’humain pour résumer des documents

Un essai gouvernemental australien, mené pour la Securities and Investments Commission (ASIC), a révélé que l'IA, en dépit de ses avancées technologiques, est encore loin de pouvoir remplacer les compétences humaines dans des domaines comme le résumé de documents.

L'essai gouvernemental australien a été conduit par Amazon pour le compte de l'ASIC, afin d'évaluer l'efficacité de l'intelligence artificielle dans la tâche complexe de résumé de documents. Le modèle d'IA utilisé, Llama2-70B de Meta, a été mis à l'épreuve pour résumer des soumissions issues d'une enquête parlementaire sur les sociétés d'audit et de conseil. L'objectif était de voir dans quelle mesure l'IA pouvait identifier et synthétiser les mentions de l'ASIC, les recommandations, les références réglementaires, tout en conservant le contexte et les références pertinentes.

Le processus de l'essai impliquait une évaluation comparative où les résumés générés par l'IA étaient confrontés à ceux produits par des employés de l'ASIC, chacun ayant été soumis à des instructions similaires. Un groupe de réviseurs a ensuite évalué à l'aveugle les résumés en se concentrant sur divers critères : cohérence, précision, référence aux documents et capacité à capter l'essence du contenu original. Les résultats ont été sans équivoque : les résumés humains ont surpassé ceux de l'IA dans tous les aspects évalués, obtenant un score de 81 % contre 47 % pour l'IA.

Les faiblesses de l'IA identifiées par les évaluateurs étaient multiples. Les résumés générés par la machine manquaient souvent de nuances et de contexte, deux éléments essentiels pour comprendre pleinement un document complexe. De plus, l'IA a été trouvée coupable d'inclure des informations incorrectes ou non pertinentes, ce qui pouvait conduire à des erreurs d'interprétation. Ces lacunes ont obligé les humains à intervenir pour vérifier et corriger les résumés, augmentant ainsi la charge de travail au lieu de la réduire.

Le rapport a également souligné que bien que des améliorations futures de l'IA soient possibles, les capacités actuelles de la technologie sont insuffisantes pour des tâches qui nécessitent un jugement critique et une compréhension profonde des subtilités textuelles. Il en ressort que l'IA, dans sa forme actuelle, ne peut rivaliser avec la capacité humaine à analyser et résumer des informations de manière critique.

Et vous ?

Les conclusions de l'essai gouvernemental australien sont-elles pertinentes ?

Comment les organisations peuvent-elles équilibrer l'utilisation de l'IA et des compétences humaines pour éviter les situations où l'IA augmente la charge de travail au lieu de la réduire ?

Voir aussi :

L'IA a surpassé l'homme dans un certain nombre de tâches et la vitesse à laquelle l'homme est surpassé dans de nouvelles tâches augmente, un défi pour notre identité et notre avenir collectif ?

L'IA pourrait surpasser l'homme dans toutes les tâches d'ici 2047, selon une enquête auprès de 2,778 chercheurs

Des PDG parient jusqu'à 10 millions de dollars contre la récente prédiction d'Elon Musk sur l'IA, Elon Musk prédit que l'IA surpassera l'intelligence humaine d'ici la fin de l'année 2025