Une étude intitulée Gaming the Benchmarks: Bias in LLM Leaderboards, publiée en avril 2025 par des chercheurs de Cohere Labs, Princeton et du MIT, jette une lumière crue sur les pratiques contestables de LM Arena, le benchmark d'IA devenu référence. Les données révèlent que 60 % des matchs opposent des modèles propriétaires entre eux, tandis que les systèmes open source n'apparaissent que dans 18 % des confrontations - un déséquilibre systémique qui fausse radicalement le classement. Le travail des chercheurs met en évidence un paradoxe troublant : là où les universitaires espéraient créer un outil démocratique d'évaluation, s'est instauré un cercle vicieux. Les grands labos (Google, OpenAI) exploitent leur accès privilégié aux tests privés - Meta y a soumis 27 versions de Llama-4 - pour optimiser leurs modèles avant publication. Pendant ce temps, les résultats montrent que les petits acteurs doivent se contenter d'un volume de données 5 fois inférieur, les condamnant à une visibilité marginale. Derrière l'apparence ludique du "vote vibratoire", l'étude dévoile une guerre froide des données où chaque pourcentage au classement vaut des milliards en valorisation.
Les classements trafiqués qui faussent la course technologique
L'évaluation des systèmes d'IA repose sur des benchmarks devenus indispensables pour suivre les progrès du domaine, mais ces outils présentent des vulnérabilités inquiétantes. Une analyse approfondie démontre que Chatbot Arena, bien que positionné comme référence, subit des manipulations systématiques. Les principaux acteurs du secteur exploitent en effet des accès privilégiés pour évaluer en interne de multiples versions de leurs modèles - comme les 27 variantes de Llama-4 testées par Meta - avant de ne soumettre que les plus performantes au classement public, créant ainsi un biais structurel en leur faveur.
Lors de son lancement, Meta a annoncé avec fierté que Llama 4 Maverick avait obtenu la deuxième place sur LM Arena, devançant l'OpenAI 4o et se positionnant juste derrière Gemini 2.5 Pro. Pourtant, des investigations indépendantes ont révélé une divergence troublante : la version évaluée sur la plateforme différait significativement de celle finalement mise à disposition des utilisateurs. Cet écart soulève des questions fondamentales sur la validité même de ces classements, censés pourtant refléter objectivement les capacités des modèles accessibles au public.
L'analyse des données met en lumière des disparités frappantes dans la répartition des confrontations entre modèles. Alors que Google et OpenAI totalisent à eux seuls près de 40 % des matchs, une cohorte de 83 modèles open source doit se contenter de moins de 30 % des évaluations. Cette inégalité d'accès aux données d'entraînement issues de l'Arena a des conséquences directes sur les performances, avec des gains pouvant atteindre 112 % pour les modèles bénéficiant de plus de confrontations. Le système actuel crée ainsi un cercle vicieux où les mieux classés obtiennent plus de données, ce qui renforce encore leur domination.
Ces pratiques conduisent à une dérive inquiétante où l'optimisation des modèles se fait davantage pour répondre aux spécificités de l'Arena que pour améliorer leurs capacités réelles. Les chercheurs observent un phénomène de surajustement aux dynamiques particulières de la plateforme, au détriment d'une progression authentique des performances globales. Cette situation remet en cause la pertinence même du benchmark comme outil d'évaluation objectif des avancées en intelligence artificielle.
Face à ces constats, l'étude souligne l'urgence de réformer en profondeur le fonctionnement de Chatbot Arena pour rétablir l'équité entre les différents acteurs. Les propositions incluent notamment la limitation des tests privés, une plus grande transparence sur les versions soumises, et une redistribution plus équitable des confrontations entre modèles propriétaires et open source. Ces mesures visent à préserver l'intégrité scientifique d'un outil devenu crucial pour orienter les efforts de recherche et développement dans le domaine.
Au-delà des spécificités techniques, cette étude pose une question fondamentale sur la gouvernance des benchmarks en IA. Alors que ces évaluations influencent considérablement les orientations de recherche et les investissements, leur conception et leur supervision mériteraient une réflexion collective impliquant l'ensemble de la communauté scientifique. Le cas de Chatbot Arena illustre les risques d'une approche laissant trop de place aux stratégies commerciales au détriment de l'objectivité scientifique.
Synthèse des principaux résultats : L'étude révèle plusieurs biais majeurs affectant la fiabilité du classement de la Chatbot Arena. Premièrement, les chercheurs ont analysé l'impact des tests privés et de la divulgation sélective des résultats, constatant que ces pratiques avantagent systématiquement les modèles propriétaires au détriment des solutions open source. Cette asymétrie dans l'accès aux données d'évaluation entraîne un phénomène préoccupant de surajustement aux spécificités de l'Arena, où les modèles optimisent leurs performances pour le benchmark plutôt que pour des capacités générales.
Par ailleurs, l'étude met en lumière l'opacité des procédures de retrait des modèles. De nombreuses suppressions s'effectuent sans notification claire aux développeurs concernés, contribuant à des fluctuations inexpliquées dans le classement. Ces dépréciations silencieuses, combinées aux disparités d'accès aux données, remettent en cause la stabilité et la crédibilité globale du tableau de classement. Les chercheurs démontrent ainsi comment ces mécanismes, bien qu'opérant en coulisses, influencent significativement la perception des performances réelles des différents modèles d'IA.
Principales observations sur les tests privés
L'analyse révèle que les principaux acteurs exploitent massivement les tests privés, une pratique tolérée bien que non officiellement encadrée. Notre examen des données de Chatbot Arena, basé sur un échantillonnage aléatoire de confrontations, montre que ces fournisseurs peuvent tester simultanément plusieurs versions de leurs modèles sans obligation de transparence. Les données recueillies entre janvier et mars 2025 indiquent que Meta et Google ont respectivement évalué 27 et 10 variantes privées avant les lancements officiels de Llama 4 et Gemma 3.
Ces chiffres, probablement sous-estimés, ne concernent que le site principal de Chatbot Arena. En intégrant les classements spécialisés (comme ceux dédiés à la vision ou au code), le nombre de variantes testées par Meta s'élève à 43, contre seulement une pour des startups comme Reka. Cohere, bien que n'ayant jamais eu recours aux tests privés auparavant, a soumis 4 variantes durant cette période dans le cadre d'expérimentations visant à quantifier l'avantage compétitif procuré par ces pratiques - une analyse développée dans les sections 3.2 et 4.1 de l'étude.
Cette disparité frappante dans l'utilisation des tests privés crée un déséquilibre manifeste entre les géants technologiques et les acteurs émergents, faussant ainsi l'équité du benchmark. L'absence de régulation claire autour de ces pratiques soulève des questions fondamentales sur la transparence et l'objectivité du processus d'évaluation.
Nombre de modèles testés en privé par fournisseur sur la base d'un échantillonnage aléatoire (janvier-mars 2025). Meta, Google et Amazon représentent le plus grand nombre de soumissions privées, Meta ayant testé à lui seul 27 modèles anonymes au cours du seul mois de mars.
Asymétries dans l'accès des prestataires aux tests privés
L'étude met en lumière un déséquilibre préoccupant dans l'utilisation des tests privés, réservés de facto à quelques acteurs privilégiés. Cette pratique permet à des familles de modèles moins performantes de surpasser artificiellement des modèles plus robustes dans les classements, simplement en sélectionnant leurs meilleures variantes après de multiples tests. Alors que les capacités globales restent comparables, ce mécanisme fausse les résultats en favorisant ceux qui peuvent se permettre d'optimiser spécifiquement pour le benchmark.
Le processus de sélection "best-of-N" offre un avantage décisif aux fournisseurs initiés. En testant plusieurs variantes sur la distribution spécifique de Chatbot Arena, ils identifient et ne soumettent que les modèles les mieux adaptés à ce contexte particulier. Cette stratégie, méconnue des autres acteurs, crée une distorsion où des modèles globalement moins performants peuvent occuper des positions enviables dans le classement public.
Cette réalité s'inscrit dans un contexte plus large de développement des LLM, où les équipes disposent généralement de plusieurs variantes aux spécialisations complémentaires en fin de processus. Traditionnellement, le choix final implique un arbitrage complexe entre différentes métriques et cas d'usage, sans solution clairement dominante sur tous les fronts. Les benchmarks publics viennent perturber cet équilibre délicat.
L'influence disproportionnée de certains classements comme Chatbot Arena sur les décisions finales pose question. Les fournisseurs sont incités à privilégier les variantes performantes sur ce benchmark spécifique, au détriment parfois de modèles plus équilibrés ou polyvalents. Ce biais oriente le développement vers une optimisation locale au détriment de progrès plus fondamentaux.
Ce système avantage clairement les acteurs disposant des ressources nécessaires pour multiplier les tests privés, creusant l'écart avec les petits joueurs. La transparence sur ces pratiques et une régulation plus équitable des processus d'évaluation apparaissent comme des enjeux cruciaux pour préserver l'intégrité scientifique du domaine et garantir une saine concurrence dans le développement des IA.
IA : Comment les classements faussent la course à l'innovation
S'il est aisé de pointer les dysfonctionnements de l'Arène, on ne saurait oublier l'immense travail accompli par une poignée d'organisateurs pour créer ce...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.