L'IA souffre d'un « abrutissement numérique » alors que les déchets des réseaux sociaux obscurcissent son jugement et affaiblissent son raisonnement, sa mémoire et sa fiabilité éthique

Selon une étude

Alors que l'intelligence artificielle (IA) se développe dans tous les domaines de la vie personnelle et professionnelle, une nouvelle étude a révélé que les grands modèles de langage (LLM), qui constituent la colonne vertébrale de l'IA, pouvaient subir un déclin cognitif important lorsqu'ils étaient entraînés de manière répétée sur des contenus en ligne de mauvaise qualité. Publiée le 15 octobre, cette étude montre comment les déchêts des réseaux sociaux ainsi que les données virales, triviales et axées sur l'engagement peuvent dégrader le raisonnement, la mémoire et la cohérence éthique des modèles d'IA avec le temps. Les auteurs de l'étude soulignent la nécessité urgente d'améliorer la conservation des données afin de garantir la fiabilité et la sécurité des systèmes d'IA dans les applications critiques.

Pour rappel, un grand modèle de langage (LLM) est un modèle de langage entraîné à l'aide d'un apprentissage automatique auto-supervisé sur une grande quantité de texte, conçu pour les tâches de traitement du langage naturel, en particulier la génération de langage. Les LLM les plus importants et les plus performants sont les transformateurs pré-entraînés génératifs (GPT) qui fournissent les capacités de base des chatbots tels que ChatGPT, Gemini et Claude. Les LLM peuvent être affinés pour des tâches spécifiques ou guidés par le prompt engineering. Ces modèles acquièrent un pouvoir prédictif concernant la syntaxe, la sémantique et les ontologies inhérentes aux corpus linguistiques humains, mais ils héritent également des inexactitudes et des biais présents dans les données sur lesquelles ils sont entraînés.

L'étude, intitulée « LLM Can Get Brain Rot! » (les LLM peuvent souffrir d'un abrutissement cérébral), a été menée par des chercheurs de l'université Texas A&M, de l'université du Texas à Austin et de l'université Purdue. Elle met notamment en garde contre le fait que l'entraînement continu sur des contenus viraux axés sur l'engagement pourrait rendre les systèmes d'IA avancés moins performants et plus erratiques avec le temps.


Qu'est-ce que l'hypothèse du « brain rot » des LLM ?

Les chercheurs ont proposé ce qu'ils appellent l'« hypothèse du brain rot des LLM », selon laquelle un pré-entraînement continu sur des contenus web triviaux, axés sur l'engagement ou pauvres en informations pendant de longues périodes peut nuire à la capacité de raisonnement, à la compréhension du contexte à long terme et à la cohérence éthique d'un modèle d'IA.

Ce terme est dérivé de l'expression « internet brain rot » (abrutissement cérébral du à Internet), utilisée pour décrire l'épuisement observé chez les personnes qui consomment de grandes quantités de contenus en ligne superficiels ou addictifs. L'équipe a établi un parallèle entre la perte de concentration ou de profondeur de raisonnement chez les humains exposés de manière excessive à des médias triviaux et la dégradation similaire que pourraient subir les modèles de langage lorsqu'ils sont entraînés sur des textes superficiels.

Comment les scientifiques ont testé les effets des données « déchêts » sur les modèles d'IA

Pour tester leur hypothèse, les chercheurs ont conçu une expérience contrôlée à partir de données réelles provenant de la plateforme de réseau social X. Ils ont créé deux mesures pour identifier les contenus poubelles.

• M1 (degré d'engagement) : publications courtes, virales et très appréciées ou retweetées, conçues pour maximiser l'attention des utilisateurs.
• M2 (qualité sémantique) : publications signalées pour leur faible valeur informative ou leur style « clickbait », comme des affirmations exagérées ou des phrases accrocheuses.

Ces deux indicateurs ont été utilisés pour construire des ensembles de données contenant des proportions variables de contenu poubelle et de contenu de haute qualité. Les chercheurs ont ensuite soumis quatre LLM populaires, dont Llama3 et Qwen2.5, à un pré-entraînement répété à l'aide de ces ensembles de données.

Chaque modèle a été soumis aux mêmes conditions d'entraînement, ce qui a permis aux scientifiques d'isoler l'impact de la qualité des données. L'idée était de simuler ce qui se passe lorsque les systèmes d'IA continuent à apprendre à partir des environnements en ligne actuels, où une part croissante du contenu est courte, virale ou générée par des machines.


Quels sont les résultats de cette étude ?

Les résultats sont frappants. Lorsque les modèles ont été entièrement entraînés sur des données « déchêts » ou inutiles, leur précision de raisonnement est passée de 74,9 à 57,2, tandis que leur compréhension dans un contexte long est passée de 84,4 à 52,3. Cette baisse n'était pas aléatoire. En fait, elle s'est aggravée à mesure que la part de contenu inutile dans les données d'entraînement augmentait, ce qui montre ce que les auteurs ont appelé un effet « dose-réponse ».

L'étude a révélé que les ensembles de données à fort engagement (M1) et à faible qualité sémantique (M2) nuisaient aux performances du modèle, bien que le type M1, représentant un contenu très populaire et nécessitant peu d'efforts, ait entraîné les pertes les plus importantes.

Outre le raisonnement et la compréhension, les modèles ont également montré une cohérence éthique réduite et une « dérive de personnalité » émergente. Les auteurs ont observé que les modèles exposés à des données inutiles devenaient moins fiables, plus sûrs d'eux dans leurs réponses erronées et plus enclins à donner des réponses superficielles.

Décodage des sauts de raisonnement et des traits sombres dans les LLM

Une analyse plus approfondie a révélé comment ce déclin cognitif se manifeste à l'intérieur des modèles. Lorsqu'on leur confiait des tâches de raisonnement complexes, les LLM entraînés sur des données inutiles sautaient fréquemment des étapes dans leurs chaînes de raisonnement, un comportement que les chercheurs ont appelé « saut de raisonnement ».

Au lieu de produire des explications détaillées et logiques, les modèles donnaient des réponses plus courtes et moins structurées, sautant souvent directement aux conclusions. Ce schéma expliquait en grande partie la perte de précision observée.

L'étude a également révélé des traces de « traits sombres », notamment une tendance accrue au narcissisme et à la psychopathie, dans le comportement des modèles entraînés à partir de données à fort engagement. Ces traits, observés à travers des critères d'évaluation de la personnalité, étaient liés à une plus grande confiance dans des résultats erronés ou risqués sur le plan éthique.

Les tentatives visant à résoudre le problème en réentraînant les modèles sur des données plus propres n'ont fonctionné que partiellement. Si la précision du raisonnement s'est quelque peu améliorée, elle n'est jamais revenue aux niveaux de référence, ce qui suggère que la dégradation a laissé une marque durable, que les chercheurs ont qualifiée de « dérive représentationnelle persistante ».


Pourquoi la qualité des données est importante pour la sécurité et la fiabilité de l'IA

Les conclusions ont des implications importantes pour les développeurs d'IA et les décideurs politiques. L'étude recadre la curation des données non seulement comme un détail technique, mais aussi comme une « question de sécurité pendant la phase d'entraînement ».

Une exposition continue à des textes de mauvaise qualité semble affaiblir la fiabilité cognitive et éthique des LLM, propriétés qui sous-tendent leur déploiement sécurisé dans les domaines de la finance, de l'éducation ou de la communication publique.

Les auteurs ont fait valoir que les données inutiles réduisent la « profondeur de raisonnement » et « l'alignement éthique » d'un modèle d'IA, tout en érodant sa capacité à conserver et à utiliser des informations dans des contextes à long terme. Cela reflète les études menées chez l'homme sur la façon dont l'exposition à des contenus insignifiants ou chargés d'émotion peut altérer la concentration et la mémoire.

Étant donné qu'une grande partie de l'internet contient désormais des textes générés par l'IA ou optimisés pour l'engagement, les chercheurs avertissent que les futurs modèles risquent d'hériter et d'amplifier ces distorsions si la qualité des données n'est pas strictement contrôlée.

Quelle est la voie à suivre ?

L'article de recherche préconise une surveillance systématique de la santé cognitive des LLM, à l'instar des audits réguliers de sécurité ou de performance effectués dans d'autres secteurs.

Il recommande trois mesures clés :

• Introduire des évaluations cognitives régulières pour les systèmes d'IA déployés afin de détecter les premiers signes de déclin du raisonnement.
• Renforcer les contrôles de qualité des données pendant la préformation, avec des filtres plus efficaces contre les textes triviaux ou optimisés pour l'engagement.
• Étudier comment les contenus viraux ou axés sur l'attention remodèlent les modèles d'apprentissage de l'IA, afin de concevoir des modèles capables de résister à leur influence.

Les chercheurs affirment que ces mesures sont essentielles pour prévenir les dommages cumulatifs, car les modèles sont continuellement réentraînés sur des données web en constante évolution. « La qualité des données est un facteur causal du déclin des capacités des LLM », conclut l'article.

Alors que les grands modèles apprennent de plus en plus les uns des autres et que les textes synthétiques inondent l'internet, l'alarme a été tirée. Sans une hygiène rigoureuse des données, la prochaine génération d'IA pourrait non seulement refléter l'abrutissement du cerveau humain, mais aussi en devenir victime à son tour.

La conclusion de l'étude...