Alibaba publie le modèle open source Qwen-72B LLM avec une longueur de contexte de 32k~? ainsi que Qwen-Chat~? qui surpassent les modèles de taille similaire sur les ensembles de données de référence
Le 2023-12-01 14:46:39, par Anthony, Chroniqueur Actualités
Alibaba ouvre sa série Qwen, qui comprend maintenant Qwen, les modèles de langage de base, à savoir Qwen-1.8B, Qwen-7B, Qwen-14B, et Qwen-72B, ainsi que Qwen-Chat, les modèles de chat, à savoir Qwen-1.8B-Chat, Qwen-7B-Chat, Qwen-14B-Chat, et Qwen-72B-Chat.
Alibaba dispose de modèles linguistiques de base solides, qui ont été préformés de manière stable pour offrir jusqu'à 3 000 milliards de tokens de données multilingues avec une large couverture de domaines, de langues (avec un accent sur le chinois et l'anglais), etc. Ils sont capables d'atteindre des performances compétitives sur des ensembles de données de référence. En outre, nous disposons de modèles de chat alignés sur les préférences humaines basées sur SFT et RLHF (pas encore publiés), qui sont capables de chatter, de créer du contenu, d'extraire des informations, de résumer, de traduire, de coder, de résoudre des problèmes mathématiques, etc. et d'utiliser des outils, de jouer le rôle d'agents ou même d'interprètes de code, etc.
Performances
Les modèles Qwen surpassent les modèles de référence de taille similaire sur une série d'ensembles de données de référence, par exemple MMLU, C-Eval, GSM8K, MATH, HumanEval, MBPP, BBH, etc., qui évaluent les capacités des modèles en matière de compréhension du langage naturel, de résolution de problèmes mathématiques, de codage, etc. Qwen-72B obtient de meilleures performances que LLaMA2-70B dans toutes les tâches et surpasse GPT-3.5 dans 7 tâches sur 10.
Pour tous les modèles comparés, les meilleurs scores entre leurs résultats officiels et OpenCompass sont indiqués.
Pour plus de résultats expérimentaux (performances détaillées du modèle sur d'autres ensembles de données de référence) et de détails, veuillez vous référer au rapport technique en cliquant ici.
Source : Qwen (GitHub)
Et vous ?
Voir aussi
Alibaba dispose de modèles linguistiques de base solides, qui ont été préformés de manière stable pour offrir jusqu'à 3 000 milliards de tokens de données multilingues avec une large couverture de domaines, de langues (avec un accent sur le chinois et l'anglais), etc. Ils sont capables d'atteindre des performances compétitives sur des ensembles de données de référence. En outre, nous disposons de modèles de chat alignés sur les préférences humaines basées sur SFT et RLHF (pas encore publiés), qui sont capables de chatter, de créer du contenu, d'extraire des informations, de résumer, de traduire, de coder, de résoudre des problèmes mathématiques, etc. et d'utiliser des outils, de jouer le rôle d'agents ou même d'interprètes de code, etc.
Performances
Les modèles Qwen surpassent les modèles de référence de taille similaire sur une série d'ensembles de données de référence, par exemple MMLU, C-Eval, GSM8K, MATH, HumanEval, MBPP, BBH, etc., qui évaluent les capacités des modèles en matière de compréhension du langage naturel, de résolution de problèmes mathématiques, de codage, etc. Qwen-72B obtient de meilleures performances que LLaMA2-70B dans toutes les tâches et surpasse GPT-3.5 dans 7 tâches sur 10.
Pour tous les modèles comparés, les meilleurs scores entre leurs résultats officiels et OpenCompass sont indiqués.
Pour plus de résultats expérimentaux (performances détaillées du modèle sur d'autres ensembles de données de référence) et de détails, veuillez vous référer au rapport technique en cliquant ici.
Source : Qwen (GitHub)
Et vous ?
Voir aussi
jamesdu75
Nouveau membre du Club
le 01/12/2023 à 22:28