Des chercheurs du MIT viennent de découvrir une IA qui imite le cerveau par elle-même,

L'apprentissage automatique commence à ressembler beaucoup à la cognition humaine

Au cours des dernières années, les modèles d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Cependant, Interrogé sur l'apprentissage automatique et ses contributions aux sciences cognitives par le Massachusetts Institute of Technology (MIT), Noam Chomsky et Steven Pinker, deux des plus grands spécialistes mondiaux des sciences linguistiques et cognitives ont exprimé beaucoup de scepticisme et une certaine déception.

« Dans presque tous les domaines pertinents, il est difficile de voir comment l'apprentissage automatique peut apporter une quelconque contribution à la science, déplore Chomsky, en particulier à la science cognitive, quelle que soit la valeur qu'il puisse avoir dans la construction des dispositifs utiles ou pour explorer les propriétés des processus informatiques employés. »


Bien que Pinker adopte un ton légèrement plus doux, il se fait l'écho du manque d'enthousiasme de Chomsky quant à la façon dont l'IA a fait progresser notre compréhension du cerveau : « La science cognitive elle-même a été éclipsée par les neurosciences dans les années 1990 et par l'intelligence artificielle au cours de cette décennie, mais je pense que ces domaines devront surmonter leur stérilité théorique et être réintégrés à l'étude de la cognition, la neurophysiologie et l'apprentissage automatique se sont chacun heurtés à des murs lorsqu'il s'agit d'éclairer l'intelligence. »

Mais à mesure que notre compréhension de l'intelligence humaine et artificielle progresse, des positions comme celles-ci pourraient bientôt se retrouver sur un terrain instable. Alors que l'IA n'a pas encore atteint une cognition semblable à celle de l'homme, les réseaux neuronaux artificiels qui reproduisent le traitement du langage (un système considéré comme un élément essentiel de la cognition supérieure) commencent à ressembler étonnamment à ce que nous voyons se produire dans le cerveau.

Au cours des dernières années, les modèles d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Ils excellent notamment à prédire le prochain mot d'une chaîne de texte ; cette technologie aide les moteurs de recherche et les applications de messagerie à prédire le prochain mot que vous allez taper. Ces modèles ont été conçus pour optimiser les performances de la fonction spécifique de prédiction du texte, sans tenter d'imiter quoi que ce soit sur la façon dont le cerveau humain effectue cette tâche ou comprend le langage.

En début de cette année, Microsoft a par exemple annoncé qu’elle prévoyait d’utiliser l'apprentissage automatique pour ajouter la fonction de prédictions de texte à Word. L'année dernière, Kimberley de l'équipe Word et Thomas de l'équipe Outlook ont présenté la nouvelle fonctionnalité pour Word et Outlook. Selon ces derniers, il suffit de commencer à taper un document dans Word ou dans un Mail via Outlook, et les prédictions commenceront à apparaître.

Mais une nouvelle étude menée par des neuroscientifiques du MIT suggère que la fonction sous-jacente de ces modèles ressemble à la fonction des centres de traitement du langage dans le cerveau humain. Les modèles informatiques qui obtiennent de bons résultats dans d'autres types de tâches linguistiques ne présentent pas cette similitude avec le cerveau humain, ce qui prouve que le cerveau humain pourrait utiliser la prédiction du mot suivant pour gérer le traitement du langage.

« Plus le modèle est performant dans la prédiction du mot suivant, plus il se rapproche du cerveau humain, explique Nancy Kanwisher, professeure au département des sciences du cerveau et des sciences cognitives du MIT et chercheuse au McGovern Institute for Brain Research et du Center for Brains et auteur de la nouvelle étude. Il est étonnant que les modèles s'ajustent si bien, et cela suggère très indirectement que ce que fait le système de langage humain est peut-être de prédire ce qui va se passer ensuite. »

En novembre, un groupe de chercheurs du MIT a publié une étude démontrant que l'analyse des tendances de l'apprentissage automatique peut ouvrir une fenêtre sur ces mécanismes de la fonction cognitive supérieure du cerveau. Ce qui est peut-être encore plus étonnant, c'est que l'étude implique que l'IA évolue de manière convergente avec la nature, sans que personne ne la programme pour cela.

Réseaux neuronaux et prédiction du mot suivant

Les nouveaux modèles de prédiction du mot suivant, très performants, appartiennent à une catégorie de modèles appelés réseaux neuronaux profonds. Ces réseaux contiennent des « nœuds » informatiques qui forment des connexions de force variable, et des couches qui transmettent les informations entre elles de manière prescrite.

Au cours de la dernière décennie, les scientifiques ont utilisé des réseaux neuronaux profonds pour créer des modèles de vision capables de reconnaître des objets aussi bien que le cerveau des primates. Des recherches menées au MIT ont également montré que la fonction sous-jacente des modèles de reconnaissance visuelle des objets correspond à l'organisation du cortex visuel des primates, même si ces modèles informatiques n'ont pas été spécifiquement conçus pour imiter le cerveau.

Dans la nouvelle étude, l'équipe du MIT a utilisé une approche similaire pour comparer les centres de traitement du langage dans le cerveau humain avec les modèles de traitement du langage. Les chercheurs ont analysé 43 modèles de langage différents, dont plusieurs sont optimisés pour la prédiction du mot suivant. Il s'agit notamment d'un modèle appelé GPT-3 (Generative Pre-trained Transformer 3), qui, à partir d'une invite, peut générer un texte similaire à celui que produirait un humain.

OpenAI, qui a mis au point l’intelligence artificielle nommée GPT-3, a récemment annoncé qu'il est...