IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Les capacités émergentes dans les grands modèles linguistiques ne sont-elles qu'un apprentissage en contexte ?
Aucune preuve de capacités émergentes de raisonnement dans les LLM, selon une étude

Le , par Anthony

5PARTAGES

11  0 
Une nouvelle étude, publiée dans le journal Computer Science, révèle que les capacités de raisonnement émergentes dans les grands modèles de langage seraient principalement attribuées à l'apprentissage en contexte. Les plus de 1 000 expérimentations effectuées par les auteurs sur un ensemble de 18 modèles différents ont, en effet, démontré qu'il n'existe aucune preuve de l'émergence de telles capacités de raisonnement.

Les grands modèles de langage ont fait preuve de capacités émergentes, démontrant des performances exceptionnelles dans diverses tâches pour lesquelles ils n'ont pas été explicitement formés, y compris celles qui requièrent des capacités de raisonnement complexes. L'émergence de telles capacités a de profondes implications pour l'orientation future de la recherche en matière de traitement du langage naturel, en particulier à mesure que le déploiement de ces modèles se généralise.

Cependant, l'un des principaux défis réside dans le fait que l'évaluation de ces capacités est souvent confondue avec les compétences qui apparaissent dans les modèles grâce à d'autres techniques de prompting, telles que l'apprentissage en contexte et le suivi d'instructions, qui apparaissent également à mesure que les modèles sont mis à l'échelle.

Dans cette étude, nous fournissons le premier examen complet de ces capacités émergentes tout en tenant compte de divers facteurs potentiellement biaisés qui peuvent influencer l'évaluation des modèles. Nous effectuons des tests rigoureux sur un ensemble de 18 modèles, englobant une gamme de paramètres allant de 60 millions à 175 milliards de paramètres, sur un ensemble complet de 22 tâches.

Grâce à une série étendue de plus de 1 000 expériences, nous fournissons des preuves irréfutables que les capacités émergentes peuvent être attribuées principalement à l'apprentissage en contexte. Nous ne trouvons aucune preuve de l'émergence de capacités de raisonnement, ce qui donne des indications précieuses sur les mécanismes sous-jacents à l'origine des capacités observées et atténue ainsi les préoccupations en matière de sécurité concernant leur utilisation.
Source : Article intitulé "Are Emergent Abilities in Large Language Models just In-Context Learning?"

Et vous ?

Quel est votre avis sur le sujet ?

Comment interprétez-vous les résultats de cette nouvelle étude ?

Trouvez-vous ces résultats crédibles et pertinents ?

Voir aussi

Les capacités émergentes des grands modèles linguistiques sont-elles un mirage ? Les grands modèles linguistiques ne sont pas supérieurs à la somme de leurs parties, selon des chercheurs de Stanford

GPT-4 est capable d'améliorer ses performances de 30 % en utilisant un processus d'auto-réflexion, consistant à demander au modèle d'apprendre de ses erreurs pour pouvoir ensuite s'auto-corriger

Bard serait meilleur en matière de logique et de raisonnement, grâce à une nouvelle technique appelée "implicit code execution", d'après Google

Une erreur dans cette actualité ? Signalez-nous-la !