Dans le cadre d'une récente étude scientifique, des chercheurs du Williams College, au Massachussetts, démontrent comment le modèle Claude 3 Opus d'Anthropic, un nouveau grand modèle de langage (LLM), surpasse ses concurrents en termes de capacités de traduction automatique, en particulier dans les paires de langues à faibles ressources. Selon les conclusions de l'étude, Claude fait notamment preuve d'une efficacité exceptionnelle en matière de ressources et facilite la distillation des connaissances pour améliorer la traduction, comme le montrent ses performances en matière de traduction Yoruba-anglais, rivalisant avec des références établies telles que NLLB-54B et Google Translate.Claude est une famille de grands modèles de langage (LLM) développés par Anthropic et pré-entraînés pour prédire le mot suivant dans de grandes quantités de texte. Le premier modèle est sorti en mars 2023. Le dernier, Claude 3, sorti en mars 2024, peut également analyser des images et a établi de nouveaux benchmarks de l'industrie à travers un large éventail de tâches cognitives. La famille Claude 3 comprend trois modèles de pointe par ordre croissant de capacité : Haiku, Sonnet et Opus. La version par défaut de Claude 3, Opus, dispose d'une fenêtre contextuelle de 200 000 mots, mais celle-ci est étendue à 1 million pour des cas d'utilisation spécifiques.
L'étude scientifique montre que Claude 3 Opus, un grand modèle de langage (LLM) publié par Anthropic en mars 2024, présente une meilleure compétence en traduction automatique que d'autres LLM. Bien que des preuves de contamination des données aient été trouvées avec Claude sur FLORES-200, les chercheurs ont créé de nouveaux benchmarks qui corroborent l'efficacité de Claude pour la traduction automatique vers l'anglais à partir de ressources limitées. Ils constatent ainsi que Claude a une efficacité remarquable en termes de ressources, c'est-à-dire que la qualité du modèle de traduction dépend du niveau de ressources d'une paire de langues.
L'équipe de chercheurs montre par ailleurs que les progrès réalisés dans le domaine de la traduction LLM peuvent être intégrés dans les modèles traditionnels de traduction automatique neuronale (NMT). En utilisant Claude pour générer des données synthétiques, les scientifiques ont démontré que la distillation des connaissances fait progresser l'état de l'art en matière de traduction Yoruba-anglais, en atteignant ou en dépassant des références solides telles que NLLB-54B et Google Translate.
Les résultats obtenus laissent présager une ère future de traduction automatique basée sur les LLM. Bien que les chercheurs aient constaté que Claude montrait des signes de contamination des données sur FLORES-200, ils ont également évalué Claude sur des ensembles de données inédits et ont constaté que Claude 3 Opus surclassait NLLB-54B sur 44 % des paires de langues et Google Translate sur 22 % des paires de langues.
Contrairement aux modèles LLM précédents, les scores spBLEU et chrF++ de Claude restent compétitifs, voire dépassent les modèles de référence sur des paires de langues à ressources élevées, faibles et très faibles. En fait, parmi 8 autres LLM, les auteurs ont montré que Claude est le seul à présenter une efficacité en termes de ressources comparable à celle du NLLB-54B. Ils montrent que les meilleurs résultats des LLM peuvent être distillés dans des modèles de traduction automatique peu coûteux et créent un système simple qui surpasse les modèles de référence pour les articles de BBC News en yoruba-anglais.
En raison des capacités croissantes des LLM à mesure que les modèles augmentent en taille et en efficacité, les scientifiques s'attendent à ce que les LLM (potentiellement à source fermée) dépassent l'état de l'art dans de plus en plus de paires de langues. Leur travail démontre que ces progrès peuvent être exploités par la communauté de la traduction automatique afin d'améliorer les paires de langues sous-dotées en ressources.
"Ces travaux ouvrent de nombreuses voies intéressantes pour la recherche future. Nos évaluations sont limitées à la traduction centrée sur l'anglais, mais nos méthodes (et la construction automatique d'ensembles de données) devraient s'appliquer à n'importe quelle paire de langues.", concluent les auteurs.
Source : "From LLM to NMT: Advancing Low-Resource Machine Translation with Claude" (étude scientifique du Williams College)
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les conclusions de cette étude scientifique crédibles ou pertinentes ?Voir aussi :
Claude 3 Opus écrase les autres modèles IA pour les résumés, livrant le plus fidèle des résumés de livres, suivi par GPT-4 Turbo, selon une étude sur les capacités des LLM Ce nouvel outil d'HeyGen basé sur l'IA vous permet de "parler" dans une autre langue, à partir d'une vidéo enregistrée dans votre langue maternelle Comparaison entre ChatGPT et Google Translate : quel chatbot d'intelligence artificielle est le meilleur traducteur de langues ? ChatGPT arrive en tête devant Google Bard, Translate et Bing AI 
