Selon une étude, si les techniques d'alignement réduisent les problèmes de biais et de toxicité des LLM, elles réduisent la créativité des modèles. L'étude suggère que le compromis entre la cohérence et la créativité dans les modèles alignés doit être soigneusement pris en compte lors de la sélection du modèle approprié pour une application donnée. Un grand modèle de langage (LLM) possède la capacité de générer du langage à des fins générales et à réaliser d'autres tâches de traitement du langage naturel telles que la classification. Basés sur des modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage autosupervisé et semi-supervisé à forte intensité de calcul.
Le réglage fin était la principale méthode utilisée pour adapter un modèle à des tâches spécifiques. L'apprentissage par renforcement à partir du retour d'information humain (RLHF) au moyen d'algorithmes, tels que l'optimisation proximale de la politique, est utilisé pour affiner un modèle basé sur un ensemble de données de préférences humaines. Ces modèles acquièrent des connaissances sur la syntaxe, la sémantique et les ontologies inhérentes aux corpus de langage humain, mais ils héritent également des inexactitudes et des biais présents dans les données sur lesquelles ils sont entraînés.
Des chercheurs ont étudié l'impact du processus d'alignement de l'apprentissage par renforcement à partir du retour d'information humain (RLHF) sur la créativité et la diversité des résultats des grands modèles de langage (LLM). Les expériences, menées sur la série de modèles Llama, ont révélé que si le RLHF est efficace pour réduire les biais et la toxicité des LLM, il peut involontairement conduire à une réduction du potentiel créatif des modèles, défini comme la capacité à générer des sorties avec une grande diversité syntaxique et sémantique.
Les chercheurs résument l'étude en déclarant :
Les grands modèles de langage (LLM) ont révolutionné le traitement du langage naturel, mais ils peuvent présenter des biais et générer des contenus toxiques. Si les techniques d'alignement telles que l'apprentissage par renforcement à partir du retour d'information humain (RLHF) réduisent ces problèmes, leur impact sur la créativité, définie comme la diversité syntaxique et sémantique, reste inexploré.
Nous étudions les conséquences involontaires du RLHF sur la créativité des LLM à travers trois expériences centrées sur la série Llama. Nos résultats révèlent que les modèles alignés présentent une entropie plus faible dans les prédictions de jetons, forment des groupes distincts dans l'espace d'intégration et gravitent vers des "états attracteurs", ce qui indique une diversité de sortie limitée.
Nos résultats ont des implications significatives pour les spécialistes du marketing qui s'appuient sur les LLM pour des tâches créatives telles que la rédaction de textes, la création de publicités et la génération de personas de clients. Le compromis entre la cohérence et la créativité dans les modèles alignés doit être soigneusement pris en compte lors de la sélection du modèle approprié pour une application donnée. Nous discutons également de l'importance de l'ingénierie rapide pour exploiter le potentiel créatif des modèles de base.
Nous étudions les conséquences involontaires du RLHF sur la créativité des LLM à travers trois expériences centrées sur la série Llama. Nos résultats révèlent que les modèles alignés présentent une entropie plus faible dans les prédictions de jetons, forment des groupes distincts dans l'espace d'intégration et gravitent vers des "états attracteurs", ce qui indique une diversité de sortie limitée.
Nos résultats ont des implications significatives pour les spécialistes du marketing qui s'appuient sur les LLM pour des tâches créatives telles que la rédaction de textes, la création de publicités et la génération de personas de clients. Le compromis entre la cohérence et la créativité dans les modèles alignés doit être soigneusement pris en compte lors de la sélection du modèle approprié pour une application donnée. Nous discutons également de l'importance de l'ingénierie rapide pour exploiter le potentiel créatif des modèles de base.
La créativité a quitté le chat : le prix de la réduction des biais dans les modèles de langage
Les chercheurs ont adopté une approche fondamentale pour étudier ce problème en examinant la question aux niveaux sémantique et syntaxique à travers trois expériences. L'expérience a démontré l'impact de la RLHF sur la créativité dans un contexte marketing pratique en comparant la diversité des personas de clients et des critiques de produits générés par des modèles de base et des modèles alignés.
L'expérience a étudié la diversité sémantique des résultats des modèles, révélant que les modèles alignés forment des groupes distincts dans l'espace d'intégration, ce qui indique une gamme de résultats fondamentalement limitée par rapport à leurs homologues de base. L'expérience s'est penchée sur la diversité syntaxique, montrant que les modèles alignés présentent une entropie plus faible dans les prédictions de jetons.
Cela suggère que la cause de cette réduction de la créativité du modèle est le fait que de nombreuses trajectoires de jetons sont bloquées pendant le processus RLHF. C'est-à-dire que le modèle perd sa capacité à produire certains jetons (leur probabilité devient presque nulle), même s'ils n'ont rien à voir avec la génération d'un contenu toxique ou biaisé. Les modèles alignés fonctionnent donc davantage comme des algorithmes déterministes que comme des modèles génératifs créatifs.
En outre, ils ont observé que les sorties du modèle aligné tendent à graviter vers des "états attracteurs" spécifiques, un phénomène lié à l'effondrement de mode dans l'apprentissage par renforcement. Ce comportement met en évidence les défis liés à la préservation du potentiel créatif des LLM tout en les alignant sur les préférences humaines. En revanche, le modèle de base fait preuve d'une plus grande souplesse et d'une plus grande adaptabilité dans ses résultats.
Les implications de ces résultats sont importantes pour les spécialistes du marketing et les autres professionnels qui s'appuient sur les LLM pour des tâches créatives, telles que la rédaction de textes, la création d'annonces et la génération de profils de clients. Le compromis entre la cohérence et la créativité dans les modèles alignés doit être soigneusement pris en compte lors de la sélection du modèle approprié pour une application donnée. Dans les situations où la créativité et la diversité sont primordiales, les modèles de base peuvent être plus appropriés, tandis que les modèles alignés peuvent être préférés lorsque la sécurité et la cohérence sont les principales préoccupations.
En outre, ces résultats sont importants pour ceux qui étudient les systèmes de recommandation, car ils peuvent contribuer au développement et à l'optimisation de ces systèmes afin d'équilibrer efficacement la créativité, la diversité et la fiabilité. Il est important de noter que si les modèles de base offrent un plus grand potentiel créatif, ils ne sont pas directement utilisables dans des applications telles que les chatbots.
C'est là que des techniques telles que l'ingénierie des invites deviennent de plus en plus importantes. Contrairement à la croyance selon laquelle l'ingénierie des invites pourrait devenir obsolète, ces résultats suggèrent que ces techniques seront plus cruciales que jamais pour exploiter la puissance des modèles de base dans diverses applications. En élaborant soigneusement des invites de saisie comprenant des instructions, des exemples ou des contraintes, les utilisateurs peuvent guider les résultats des modèles et les rendre plus adaptés à des cas d'utilisation spécifiques tout en continuant à tirer parti de leur potentiel créatif.
Les chercheurs concluent :
L'exploration de divers paramètres ou configurations du processus RLHF constitue un domaine potentiel d'investigation supplémentaire, car les coûts de calcul élevés et les exigences en matière de ressources ont limité notre capacité à approfondir ces aspects. Les recherches futures pourraient examiner comment les différents paramètres influencent la créativité et la diversité des résultats des MFR alignés. En outre, des études supplémentaires devraient analyser d'autres conséquences imprévues de l'alignement des modèles et de la RLHF pour améliorer notre compréhension des compromis impliqués dans les applications pratiques de ces modèles.
Et vous ?
Pensez-vous que cette étude est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
Des chercheurs de l'université de Stanford ont mis en évidence les biais des grands modèles de langage et ont établi la différence entre les opinions humaines et celles de l'IA La "distillation pas-à-pas", un nouveau paradigme d'apprentissage pour surpasser les performances des grands LLM, avec moins de données d'entraînement et des modèles d'IA de plus petite taille L'hallucination est inévitable et serait une limitation innée des grands modèles de langage en intelligence artificielle, selon une étude sur la possibilité d'éliminer les hallucinations des LLM