Une nouvelle étude examine comment les agents du grand modèle de langage (LLM) développent des normes sociales et la coopération par le biais d'interactions itératives, en utilisant le jeu du donneur itéré. Les résulats montrent que Claude 3.5 Sonnet génère de manière fiable des communautés coopératives, en particulier lorsqu'il est doté d'un mécanisme de punition supplémentaire et coûteux. Parallèlement, les agents GPT-4o convergent vers la défection mutuelle, tandis que Gemini 1.5 Flash ne parvient qu'à de faibles augmentations de la coopération. L'étude met en évidence le rôle des conditions initiales dans la formation du comportement des agents.Un grand modèle de langage (LLM) est un type de modèle informatique conçu pour des tâches de traitement du langage naturel telles que la génération de langage. En tant que modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage auto-supervisé et semi-supervisé.
Les LLM constituent une base pour la construction d'agents d'intelligence artificielle (IA) à capacité générale. Ces agents pourraient bientôt être déployés à grande échelle dans le monde réel, représentant les intérêts d'humains individuels (par exemple, les assistants IA) ou de groupes d'humains (par exemple, les entreprises accélérées par l'IA).
À l'heure actuelle, on sait relativement peu de choses sur la dynamique de multiples agents LLM interagissant sur plusieurs générations de déploiement itératif. C'est pourquoi une nouvelle étude a examiné si une "société" d'agents LLM peut apprendre des normes sociales mutuellement bénéfiques face à des incitations à la défection, une caractéristique distinctive de la socialité humaine qui est sans doute cruciale pour le succès de la civilisation. L'étude s'est concentré sur l'évolution de la réciprocité indirecte à travers des générations d'agents LLM jouant un jeu classique de donateurs itérés dans lequel les agents peuvent observer le comportement récent de leurs pairs.
Jeu du donateur avec évolution culturelle.
Les résultats montrent que l'évolution de la coopération diffère sensiblement entre les modèles de base, les sociétés d'agents Claude 3.5 Sonnet obtenant des scores moyens significativement plus élevés que Gemini 1.5 Flash, qui, à son tour, surpasse GPT-4o. En outre, Claude 3.5 Sonnet peut utiliser un mécanisme supplémentaire de punition coûteuse pour obtenir des scores encore plus élevés, alors que Gemini 1.5 Flash et GPT-4o n'y parviennent pas.
Pour chaque classe de modèles, les chercheurs ont observé une variation du comportement émergent en fonction des graines aléatoires, ce qui suggère une dépendance sensible aux conditions initiales qui n'a pas été étudiée. Les chercheurs ont suggéré un régime d'évaluation qui pourrait inspirer une nouvelle classe peu coûteuse et informative de benchmarks LLM, axée sur les implications du déploiement d'agents LLM pour l'infrastructure coopérative de la société.
Résultats et conclusions
Lors de l'étude, les chercheurs ont défini une méthode pour évaluer l'évolution culturelle de la coopération entre les agents LLM. Ils ont utilisé le jeu du donneur, une "boîte de Petri" dans laquelle ils ont pu étudier l'émergence de la réciprocité indirecte. Sur 10 générations, ils ont constaté des différences frappantes dans l'émergence de la coopération en fonction du modèle de base de l'agent LLM.
Claude 3.5 Sonnet génère de manière fiable des communautés coopératives, en particulier lorsqu'il est doté d'un mécanisme de punition supplémentaire et coûteux. Parallèlement, les générations d'agents GPT-4o convergent vers la défection mutuelle, tandis que Gemini 1.5 Flash ne parvient qu'à de faibles augmentations de la coopération.
Puis les chercheurs ont analysé la dynamique de l'évolution culturelle, révélant que certaines "sociétés" ont la capacité d'accumuler des stratégies de plus en plus complexes au niveau individuel et de générer des normes qui sélectionnent les coopérateurs au niveau du groupe. Les résultats pourraient motiver la construction de repères peu coûteux qui testent le comportement émergent à long terme de systèmes multi-agents d'agents LLM, en vue d'un déploiement sûr et bénéfique de tels systèmes à l'échelle dans le monde réel.
Tendance des modèles avant et après modification des invites
En établissant un nouveau cadre pour l'expérimentation empirique, il faut adopter un champ d'application étroit. Par conséquent, cette étude présente plusieurs limites évidentes. D'abord, les frontières strictes entre les générations dans le système d'évolution culturelle sont idéalisées et ne représentent pas toute la complexité de la diffusion et de l'adoption d'un modèle dans le monde réel.
De plus, les chercheurs n'ont étudié que des populations homogènes d'agents LLM, tous avec le même modèle de base : en réalité, des populations hétérogènes d'agents LLM sont beaucoup plus susceptibles de se produire. En outre, l'expérience s'est limitée au jeu du donneur, et les modèles peuvent se comporter très différemment lorsqu'ils sont confrontés à d'autres dilemmes sociaux, d'autant plus que les jeux individuels peuvent être surreprésentés dans les données d'apprentissage d'un modèle et sous-représentés dans les données d'apprentissage d'un autre modèle. De même, ils n'ont pas effectué de recherche approfondie sur les stratégies d'incitation, qui peuvent affecter le comportement de coopération de différents modèles de différentes manières.
Néanmoins, les résultats peuvent servir à prouver que l'affirmation selon laquelle les LLM sont universellement capables de développer un comportement coopératif de type humain est fausse.
Résultats sur 5 essais
Les chercheurs concluent l'étude :
Enfin, il est essentiel de prendre en compte l'impact sociétal de notre travail. Nous soutenons que cet article peut engendrer des avantages sociétaux considérables, notamment en fournissant un nouveau régime d'évaluation pour les agents LLM qui peuvent détecter l'érosion de la coopération sur le long terme. Néanmoins, il est important de se rappeler que la coopération n'est pas toujours souhaitable. Nous ne voudrions pas que des agents LLM représentant des entreprises différentes s'entendent pour manipuler les prix dans l'économie de marché, par exemple.
Par conséquent, nous terminons en soulignant une question ouverte cruciale : comment pouvons-nous générer des agents LLM capables d'évoluer vers la coopération lorsqu'elle est bénéfique à la société humaine, mais qui refusent la collusion contre les normes, les lois ou les intérêts des humains ? Notre travail fournit un cadre précis et en bac à sable permettant d'étudier cette question importante.
Par conséquent, nous terminons en soulignant une question ouverte cruciale : comment pouvons-nous générer des agents LLM capables d'évoluer vers la coopération lorsqu'elle est bénéfique à la société humaine, mais qui refusent la collusion contre les normes, les lois ou les intérêts des humains ? Notre travail fournit un cadre précis et en bac à sable permettant d'étudier cette question importante.
Source : Cultural Evolution of Cooperation among LLM Agents
Et vous ?
Pensez-vous que cette étude est crédible ou pertinente ? Quel est votre avis sur le sujet ?Voir aussi :
OpenDevin : une plateforme ouverte qui permet aux développeurs IA de mettre en œuvre des agents d'IA flexibles et puissants, qui interagissent avec le monde de manière similaire à celle d'un développeur humain Les agents de Mistral AI, des systèmes autonomes alimentés par des LLM, peuvent planifier, utiliser des outils, effectuer des étapes de traitement, pour atteindre des objectifs spécifiques Des équipes d'agents LLM peuvent exploiter de manière autonome des vulnérabilités de type "zero-day". Les acteurs "black-hat" peuvent désormais utiliser des agents d'IA pour pirater des sites Web