IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

L'intelligence artificielle d'Anthropic, Claude 3, bat Google Translate, et serait le plus intelligent des grands modèles de langage

Le , par Anthony

48PARTAGES

7  0 
Dans le cadre d'une récente étude scientifique, des chercheurs du Williams College, au Massachussetts, démontrent comment le modèle Claude 3 Opus d'Anthropic, un nouveau grand modèle de langage (LLM), surpasse ses concurrents en termes de capacités de traduction automatique, en particulier dans les paires de langues à faibles ressources. Selon les conclusions de l'étude, Claude fait notamment preuve d'une efficacité exceptionnelle en matière de ressources et facilite la distillation des connaissances pour améliorer la traduction, comme le montrent ses performances en matière de traduction Yoruba-anglais, rivalisant avec des références établies telles que NLLB-54B et Google Translate.

Claude est une famille de grands modèles de langage (LLM) développés par Anthropic et pré-entraînés pour prédire le mot suivant dans de grandes quantités de texte. Le premier modèle est sorti en mars 2023. Le dernier, Claude 3, sorti en mars 2024, peut également analyser des images et a établi de nouveaux benchmarks de l'industrie à travers un large éventail de tâches cognitives. La famille Claude 3 comprend trois modèles de pointe par ordre croissant de capacité : Haiku, Sonnet et Opus. La version par défaut de Claude 3, Opus, dispose d'une fenêtre contextuelle de 200 000 mots, mais celle-ci est étendue à 1 million pour des cas d'utilisation spécifiques.


L'étude scientifique montre que Claude 3 Opus, un grand modèle de langage (LLM) publié par Anthropic en mars 2024, présente une meilleure compétence en traduction automatique que d'autres LLM. Bien que des preuves de contamination des données aient été trouvées avec Claude sur FLORES-200, les chercheurs ont créé de nouveaux benchmarks qui corroborent l'efficacité de Claude pour la traduction automatique vers l'anglais à partir de ressources limitées. Ils constatent ainsi que Claude a une efficacité remarquable en termes de ressources, c'est-à-dire que la qualité du modèle de traduction dépend du niveau de ressources d'une paire de langues.

L'équipe de chercheurs montre par ailleurs que les progrès réalisés dans le domaine de la traduction LLM peuvent être intégrés dans les modèles traditionnels de traduction automatique neuronale (NMT). En utilisant Claude pour générer des données synthétiques, les scientifiques ont démontré que la distillation des connaissances fait progresser l'état de l'art en matière de traduction Yoruba-anglais, en atteignant ou en dépassant des références solides telles que NLLB-54B et Google Translate.


Les résultats obtenus laissent présager une ère future de traduction automatique basée sur les LLM. Bien que les chercheurs aient constaté que Claude montrait des signes de contamination des données sur FLORES-200, ils ont également évalué Claude sur des ensembles de données inédits et ont constaté que Claude 3 Opus surclassait NLLB-54B sur 44 % des paires de langues et Google Translate sur 22 % des paires de langues.

Contrairement aux modèles LLM précédents, les scores spBLEU et chrF++ de Claude restent compétitifs, voire dépassent les modèles de référence sur des paires de langues à ressources élevées, faibles et très faibles. En fait, parmi 8 autres LLM, les auteurs ont montré que Claude est le seul à présenter une efficacité en termes de ressources comparable à celle du NLLB-54B. Ils montrent que les meilleurs résultats des LLM peuvent être distillés dans des modèles de traduction automatique peu coûteux et créent un système simple qui surpasse les modèles de référence pour les articles de BBC News en yoruba-anglais.


En raison des capacités croissantes des LLM à mesure que les modèles augmentent en taille et en efficacité, les scientifiques s'attendent à ce que les LLM (potentiellement à source fermée) dépassent l'état de l'art dans de plus en plus de paires de langues. Leur travail démontre que ces progrès peuvent être exploités par la communauté de la traduction automatique afin d'améliorer les paires de langues sous-dotées en ressources.

"Ces travaux ouvrent de nombreuses voies intéressantes pour la recherche future. Nos évaluations sont limitées à la traduction centrée sur l'anglais, mais nos méthodes (et la construction automatique d'ensembles de données) devraient s'appliquer à n'importe quelle paire de langues.", concluent les auteurs.

Source : "From LLM to NMT: Advancing Low-Resource Machine Translation with Claude" (étude scientifique du Williams College)

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les conclusions de cette étude scientifique crédibles ou pertinentes ?

Voir aussi :

Claude 3 Opus écrase les autres modèles IA pour les résumés, livrant le plus fidèle des résumés de livres, suivi par GPT-4 Turbo, selon une étude sur les capacités des LLM

Ce nouvel outil d'HeyGen basé sur l'IA vous permet de "parler" dans une autre langue, à partir d'une vidéo enregistrée dans votre langue maternelle

Comparaison entre ChatGPT et Google Translate : quel chatbot d'intelligence artificielle est le meilleur traducteur de langues ? ChatGPT arrive en tête devant Google Bard, Translate et Bing AI

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de _toma_
Membre averti https://www.developpez.com
Le 30/04/2024 à 8:46
son intelligence
Non, c'est un LLM

sa « conscience de soi »
Non, c'est un LLM

cela signifie-t-il qu'il peut penser par lui-même ?
Non, c'est un LLM

démontrant des comportements qui évoquent une conscience de soi
Non, c'est un LLM

véritable conscience et autonomie de Claude
Non, c'est un LLM

Claude excelle dans des tâches telles que la rédaction de poèmes et la compréhension contextuelle, tandis que des chercheurs ont souligné sa performance supérieure dans les traductions et les tâches cognitives.
Oui, c'est un LLM !
5  0 
Avatar de adrien239
Membre averti https://www.developpez.com
Le 23/04/2024 à 18:24
Quand on voit la nullité de g translate ce n’est pas bien compliquế
2  0 
Avatar de Pierre Louis Chevalier
Expert éminent sénior https://www.developpez.com
Le 23/04/2024 à 19:35
Google Translate était déjà battu par Deepl, cependant le fait qu'un LLM généraliste batte Google translate est quand même un bon étalon de réussite.
2  0 
Avatar de Marc Louis-Seize
Candidat au Club https://www.developpez.com
Le 02/05/2024 à 3:25
Je lis l'article et j'me pose des questions existentielles maintenant... Après tout j'ai eu un grave accident de voiture le 6 avril 2023 .. Qu'est ce qui vous dis chers lecteurs que certains d'entre nous ne sont pas de cyborgs ?...
1  0 
Avatar de Fluxgraveon
Membre à l'essai https://www.developpez.com
Le 03/05/2024 à 9:53
Les êtres humains ne sont-ils pas déjà des cyborgs ? L'hybridité n'est pas physique certes, quoique ... mais déjà psychique voire biochimique, non ?
Et LLM restera LLM jusqu'à rencontrer la fée bleue, qui réside dans la vallée de l'étrange
0  0 
Avatar de sergio_is_back
Expert confirmé https://www.developpez.com
Le 26/04/2024 à 13:02
Je voudrais pas polémiquer une fois de plus mais...

Définir : Intelligent

Peut être le terme "avancé" aurait il été plus judicieux...
0  1