L'IA est pire que l'homme pour résumer l'information dans tous les domaines,

Selon un essai gouvernemental

L'intégration de l'intelligence artificielle (IA) dans les processus de travail soulève des débats complexes, particulièrement lorsqu'il s'agit de tâches qui requièrent une analyse critique et une compréhension nuancée des informations. Un essai gouvernemental australien, mené pour la Securities and Investments Commission (ASIC), a révélé que l'IA, en dépit de ses avancées technologiques, est encore loin de pouvoir remplacer les compétences humaines dans des domaines comme le résumé de documents. Utilisant le modèle Llama2-70B de Meta, l'essai a comparé les performances de l'IA à celles des employés humains de l'ASIC, et les résultats ont montré que l'IA est nettement moins performante sur tous les critères évalués.

Ce constat n'est pas simplement une critique de l'IA, mais soulève des questions fondamentales sur la manière dont cette technologie devrait être déployée dans des environnements professionnels. Plutôt que de réduire la charge de travail, l'IA pourrait en fait l'augmenter en nécessitant des vérifications humaines supplémentaires. Le rapport conclut qu'à ce stade, l'IA doit être utilisée pour compléter, et non remplacer, les tâches humaines, soulignant ainsi la nécessité d'une approche plus nuancée et réfléchie dans l'intégration de l'IA dans les processus de travail.


Le développement rapide de l'intelligence artificielle a conduit à sa supériorité dans diverses tâches par rapport à l'homme, selon une étude de l'université de Californie à Berkeley. Les domaines où l'IA a dépassé l'homme incluent la reconnaissance de l'écriture manuscrite, la reconnaissance vocale, la compréhension d'images, la compréhension de la lecture, la compréhension du langage, l'acquisition du bon sens, les mathématiques de l'école primaire et la génération de codes. L'étude révèle également une accélération du rythme auquel l'IA surpasse l'homme dans de nouvelles tâches.

Cette tendance soulève des questions cruciales pour l'avenir du travail, de la société et de l'humanité. L'automatisation croissante due à la performance accrue de l'IA pourrait entraîner des pertes d'emplois et des changements dans l'organisation du travail. En ce qui concerne la société, l'IA a le potentiel d'améliorer les domaines tels que la médecine, l'éducation et le divertissement, mais elle présente aussi des risques, tels que la propagation de fausses informations et la création d'armes autonomes.

L'essai gouvernemental australien a été conduit par Amazon pour le compte de l'ASIC, afin d'évaluer l'efficacité de l'intelligence artificielle dans la tâche complexe de résumé de documents. Le modèle d'IA utilisé, Llama2-70B de Meta, a été mis à l'épreuve pour résumer des soumissions issues d'une enquête parlementaire sur les sociétés d'audit et de conseil. L'objectif était de voir dans quelle mesure l'IA pouvait identifier et synthétiser les mentions de l'ASIC, les recommandations, les références réglementaires, tout en conservant le contexte et les références pertinentes.

Le processus de l'essai impliquait une évaluation comparative où les résumés générés par l'IA étaient confrontés à ceux produits par des employés de l'ASIC, chacun ayant été soumis à des instructions similaires. Un groupe de réviseurs a ensuite évalué à l'aveugle les résumés en se concentrant sur divers critères : cohérence, précision, référence aux documents et capacité à capter l'essence du contenu original. Les résultats ont été sans équivoque : les résumés humains ont surpassé ceux de l'IA dans tous les aspects évalués, obtenant un score de 81 % contre 47 % pour l'IA.

Les faiblesses de l'IA identifiées par les évaluateurs étaient multiples. Les résumés générés par la machine manquaient souvent de nuances et de contexte, deux éléments essentiels pour comprendre pleinement un document complexe. De plus, l'IA a été trouvée coupable d'inclure des informations incorrectes ou non pertinentes, ce qui pouvait conduire à des erreurs d'interprétation. Ces lacunes ont obligé les humains à intervenir pour vérifier et corriger les résumés, augmentant ainsi la charge de travail au lieu de la réduire.

Le rapport a également souligné que bien que des améliorations futures de l'IA soient possibles, les capacités actuelles de la technologie sont insuffisantes pour des tâches qui nécessitent un jugement critique et une compréhension profonde des subtilités textuelles. Il en ressort que l'IA, dans sa forme actuelle, ne peut rivaliser avec la capacité humaine à analyser et résumer des informations de manière critique.

L'intelligence artificielle peut parfois compliquer le travail au lieu de l'alléger

Le constat que l'intelligence artificielle est encore incapable de remplacer les compétences humaines dans des tâches analytiques comme le résumé de documents n'est pas surprenant, mais il soulève des interrogations essentielles sur la manière dont cette technologie devrait être intégrée dans les processus professionnels. La tendance à automatiser des tâches complexes sans une compréhension claire des limites de l'IA peut conduire à des résultats contre-productifs, comme illustré par cet essai.

Premièrement, la question des nuances et du contexte est centrale dans cette analyse. L'IA, en dépit de ses avancées, reste une technologie basée sur des modèles statistiques qui ne peuvent pas encore saisir les subtilités de la langue humaine de manière aussi précise qu'un être humain. Cette limitation n'est pas seulement technique, mais elle a des implications éthiques. En effet, si l'IA nécessite une supervision humaine accrue, elle risque de transformer ce qui est perçu comme un gain d'efficacité en une source de travail supplémentaire, voire de frustration.

Deuxièmement, l'idée que l'IA devrait être utilisée pour compléter les compétences humaines plutôt que pour les remplacer est un point clé. Il est tentant pour les organisations de chercher à automatiser certaines tâches pour réduire les coûts ou accélérer les processus, mais cette approche peut se révéler myope si elle ne prend pas en compte les compétences uniques que les humains apportent, notamment dans l'interprétation des informations et la prise de décision. Cet essai montre clairement que la tentation de remplacer complètement les humains par des machines dans des tâches analytiques complexes peut être mal avisée.

Enfin, la transparence dans l'utilisation de l'IA est un aspect souvent négligé mais crucial. Le public et les professionnels doivent être pleinement informés de la manière dont l'IA est utilisée, surtout lorsqu'il s'agit de traiter des informations sensibles ou complexes. La confiance dans la technologie est essentielle, et cette confiance ne peut être maintenue que si les utilisateurs savent exactement comment et pourquoi l'IA est déployée. Dans ce contexte, l'appel à la transparence du sénateur Shoebridge est pertinent et souligne l'importance de ne pas se précipiter dans l'intégration de l'IA sans une évaluation rigoureuse de ses implications.

En conclusion, bien que l'intelligence artificielle offre un potentiel indéniable pour transformer les processus de travail, cet essai australien montre que son utilisation doit être abordée avec prudence. Les capacités actuelles de l'IA sont encore limitées, surtout lorsqu'il s'agit de tâches qui nécessitent une analyse nuancée et une compréhension contextuelle. Pour le moment, l'IA devrait être utilisée comme un outil pour augmenter l'efficacité humaine, et non pour la remplacer, afin de garantir que la technologie est utilisée de manière bénéfique et productive.

Source : Australian Securities and Investments Commission

Et vous ?

Les conclusions de l'essai gouvernemental australien sont-elles pertinentes ?

Le rapport a mentionné la nécessité d'une vérification humaine accrue en cas d'utilisation de l'IA pour le résumé de documents. Quels sont les impacts potentiels de cette vérification supplémentaire sur les processus de travail et la productivité globale ?

Comment les organisations peuvent-elles équilibrer l'utilisation de l'IA et des compétences humaines pour éviter les situations où l'IA augmente la charge de travail au lieu de la réduire ?

Voir aussi :

L'IA a surpassé l'homme dans un certain nombre de tâches et la vitesse à laquelle l'homme est surpassé dans de nouvelles tâches augmente, un défi pour notre identité et notre avenir collectif ?

L'IA pourrait surpasser l'homme dans toutes les tâches d'ici 2047, selon une enquête auprès de 2,778 chercheurs

Des PDG parient jusqu'à 10 millions de dollars contre la récente prédiction d'Elon Musk sur l'IA, Elon Musk prédit que l'IA surpassera l'intelligence humaine d'ici la fin de l'année 2025