L'IA souffre d'un « abrutissement numérique » alors que les déchets des réseaux sociaux obscurcissent son jugement et affaiblissent son raisonnement, sa mémoire et sa fiabilité éthique

Selon une étude

Alors que l'intelligence artificielle (IA) se développe dans tous les domaines de la vie personnelle et professionnelle, une nouvelle étude a révélé que les grands modèles de langage (LLM), qui constituent la colonne vertébrale de l'IA, pouvaient subir un déclin cognitif important lorsqu'ils étaient entraînés de manière répétée sur des contenus en ligne de mauvaise qualité. Publiée le 15 octobre, cette étude montre comment les déchêts des réseaux sociaux ainsi que les données virales, triviales et axées sur l'engagement peuvent dégrader le raisonnement, la mémoire et la cohérence éthique des modèles d'IA avec le temps. Les auteurs de l'étude soulignent la nécessité urgente d'améliorer la conservation des données afin de garantir la fiabilité et la sécurité des systèmes d'IA dans les applications critiques.

Pour rappel, un grand modèle de langage (LLM) est un modèle de langage entraîné à l'aide d'un apprentissage automatique auto-supervisé sur une grande quantité de texte, conçu pour les tâches de traitement du langage naturel, en particulier la génération de langage. Les LLM les plus importants et les plus performants sont les transformateurs pré-entraînés génératifs (GPT) qui fournissent les capacités de base des chatbots tels que ChatGPT, Gemini et Claude. Les LLM peuvent être affinés pour des tâches spécifiques ou guidés par le prompt engineering. Ces modèles acquièrent un pouvoir prédictif concernant la syntaxe, la sémantique et les ontologies inhérentes aux corpus linguistiques humains, mais ils héritent également des inexactitudes et des biais présents dans les données sur lesquelles ils sont entraînés.

L'étude, intitulée « LLM Can Get Brain Rot! » (les LLM peuvent souffrir d'un abrutissement cérébral), a été menée par des chercheurs de l'université Texas A&M, de l'université du Texas à Austin et de l'université Purdue. Elle met notamment en garde contre le fait que l'entraînement continu sur des contenus viraux axés sur l'engagement pourrait rendre les systèmes d'IA avancés moins performants et plus erratiques avec le temps.


Qu'est-ce que l'hypothèse du « brain rot » des LLM ?

Les chercheurs ont proposé ce qu'ils appellent l'« hypothèse du brain rot des LLM », selon laquelle un pré-entraînement continu sur des contenus web triviaux, axés sur l'engagement ou pauvres en informations pendant de longues périodes peut nuire à la capacité de raisonnement, à la compréhension du contexte à long terme et à la cohérence éthique d'un modèle d'IA.

Ce terme est dérivé de l'expression « internet brain rot » (abrutissement cérébral du à Internet), utilisée pour décrire l'épuisement observé chez les personnes qui consomment de grandes quantités de contenus en ligne superficiels ou addictifs. L'équipe a établi un parallèle entre la perte de concentration ou de profondeur de raisonnement chez les humains exposés de manière excessive à des médias triviaux et la dégradation similaire que pourraient subir les modèles de langage lorsqu'ils sont entraînés sur des textes superficiels.

Comment les scientifiques ont testé les effets des données « déchêts » sur les modèles d'IA

Pour tester leur hypothèse, les chercheurs ont conçu une expérience contrôlée à partir de données réelles provenant de la plateforme de réseau social X. Ils ont créé deux mesures pour identifier les contenus poubelles.

• M1 (degré d'engagement) : publications courtes, virales et très appréciées ou retweetées, conçues pour maximiser l'attention des utilisateurs.
• M2 (qualité sémantique) : publications signalées pour leur faible valeur informative ou leur style « clickbait », comme des affirmations exagérées ou des phrases accrocheuses.

Ces deux indicateurs ont été utilisés pour construire des ensembles de données contenant des proportions variables de contenu poubelle et de contenu de haute qualité. Les chercheurs ont ensuite soumis quatre LLM populaires, dont Llama3 et Qwen2.5, à un pré-entraînement répété à l'aide de ces ensembles de données.

Chaque modèle a été soumis aux mêmes conditions d'entraînement, ce qui a permis aux scientifiques d'isoler l'impact de la qualité des données. L'idée était de simuler ce qui se passe lorsque les systèmes d'IA continuent à apprendre à partir des environnements en ligne actuels, où une part croissante du contenu est courte, virale ou générée par des machines.


Quels sont les résultats de cette étude ?

Les résultats sont frappants. Lorsque les modèles ont été entièrement entraînés sur des données « déchêts » ou inutiles, leur précision de raisonnement est passée de 74,9 à 57,2, tandis que leur compréhension dans un contexte long est passée de 84,4 à 52,3. Cette baisse n'était pas aléatoire. En fait, elle s'est aggravée à mesure que la part de contenu inutile dans les données d'entraînement augmentait, ce qui montre ce que les auteurs ont appelé un effet « dose-réponse ».

L'étude a révélé que les ensembles de données à fort engagement (M1) et à faible qualité sémantique (M2) nuisaient aux performances du modèle, bien que le type M1, représentant un contenu très populaire et nécessitant peu d'efforts, ait entraîné les pertes les plus importantes.

Outre le raisonnement et la compréhension, les modèles ont également montré une cohérence éthique réduite et une « dérive de personnalité » émergente. Les auteurs ont observé que les modèles exposés à des données inutiles devenaient moins fiables, plus sûrs d'eux dans leurs réponses erronées et plus enclins à donner des réponses superficielles.

Décodage des...