Au cours des dernières années, les modèles d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Cependant, Interrogé sur l'apprentissage automatique et ses contributions aux sciences cognitives par le Massachusetts Institute of Technology (MIT), Noam Chomsky et Steven Pinker, deux des plus grands spécialistes mondiaux des sciences linguistiques et cognitives ont exprimé beaucoup de scepticisme et une certaine déception.« Dans presque tous les domaines pertinents, il est difficile de voir comment l'apprentissage automatique peut apporter une quelconque contribution à la science, déplore Chomsky, en particulier à la science cognitive, quelle que soit la valeur qu'il puisse avoir dans la construction des dispositifs utiles ou pour explorer les propriétés des processus informatiques employés. »
Bien que Pinker adopte un ton légèrement plus doux, il se fait l'écho du manque d'enthousiasme de Chomsky quant à la façon dont l'IA a fait progresser notre compréhension du cerveau : « La science cognitive elle-même a été éclipsée par les neurosciences dans les années 1990 et par l'intelligence artificielle au cours de cette décennie, mais je pense que ces domaines devront surmonter leur stérilité théorique et être réintégrés à l'étude de la cognition, la neurophysiologie et l'apprentissage automatique se sont chacun heurtés à des murs lorsqu'il s'agit d'éclairer l'intelligence. »
Mais à mesure que notre compréhension de l'intelligence humaine et artificielle progresse, des positions comme celles-ci pourraient bientôt se retrouver sur un terrain instable. Alors que l'IA n'a pas encore atteint une cognition semblable à celle de l'homme, les réseaux neuronaux artificiels qui reproduisent le traitement du langage (un système considéré comme un élément essentiel de la cognition supérieure) commencent à ressembler étonnamment à ce que nous voyons se produire dans le cerveau.
Au cours des dernières années, les modèles d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Ils excellent notamment à prédire le prochain mot d'une chaîne de texte ; cette technologie aide les moteurs de recherche et les applications de messagerie à prédire le prochain mot que vous allez taper. Ces modèles ont été conçus pour optimiser les performances de la fonction spécifique de prédiction du texte, sans tenter d'imiter quoi que ce soit sur la façon dont le cerveau humain effectue cette tâche ou comprend le langage.
En début de cette année, Microsoft a par exemple annoncé qu’elle prévoyait d’utiliser l'apprentissage automatique pour ajouter la fonction de prédictions de texte à Word. L'année dernière, Kimberley de l'équipe Word et Thomas de l'équipe Outlook ont présenté la nouvelle fonctionnalité pour Word et Outlook. Selon ces derniers, il suffit de commencer à taper un document dans Word ou dans un Mail via Outlook, et les prédictions commenceront à apparaître.
Mais une nouvelle étude menée par des neuroscientifiques du MIT suggère que la fonction sous-jacente de ces modèles ressemble à la fonction des centres de traitement du langage dans le cerveau humain. Les modèles informatiques qui obtiennent de bons résultats dans d'autres types de tâches linguistiques ne présentent pas cette similitude avec le cerveau humain, ce qui prouve que le cerveau humain pourrait utiliser la prédiction du mot suivant pour gérer le traitement du langage.
« Plus le modèle est performant dans la prédiction du mot suivant, plus il se rapproche du cerveau humain, explique Nancy Kanwisher, professeure au département des sciences du cerveau et des sciences cognitives du MIT et chercheuse au McGovern Institute for Brain Research et du Center for Brains et auteur de la nouvelle étude. Il est étonnant que les modèles s'ajustent si bien, et cela suggère très indirectement que ce que fait le système de langage humain est peut-être de prédire ce qui va se passer ensuite. »
En novembre, un groupe de chercheurs du MIT a publié une étude démontrant que l'analyse des tendances de l'apprentissage automatique peut ouvrir une fenêtre sur ces mécanismes de la fonction cognitive supérieure du cerveau. Ce qui est peut-être encore plus étonnant, c'est que l'étude implique que l'IA évolue de manière convergente avec la nature, sans que personne ne la programme pour cela.
Réseaux neuronaux et prédiction du mot suivant
Les nouveaux modèles de prédiction du mot suivant, très performants, appartiennent à une catégorie de modèles appelés réseaux neuronaux profonds. Ces réseaux contiennent des « nœuds » informatiques qui forment des connexions de force variable, et des couches qui transmettent les informations entre elles de manière prescrite.
Au cours de la dernière décennie, les scientifiques ont utilisé des réseaux neuronaux profonds pour créer des modèles de vision capables de reconnaître des objets aussi bien que le cerveau des primates. Des recherches menées au MIT ont également montré que la fonction sous-jacente des modèles de reconnaissance visuelle des objets correspond à l'organisation du cortex visuel des primates, même si ces modèles informatiques n'ont pas été spécifiquement conçus pour imiter le cerveau.
Dans la nouvelle étude, l'équipe du MIT a utilisé une approche similaire pour comparer les centres de traitement du langage dans le cerveau humain avec les modèles de traitement du langage. Les chercheurs ont analysé 43 modèles de langage différents, dont plusieurs sont optimisés pour la prédiction du mot suivant. Il s'agit notamment d'un modèle appelé GPT-3 (Generative Pre-trained Transformer 3), qui, à partir d'une invite, peut générer un texte similaire à celui que produirait un humain.
OpenAI, qui a mis au point l’intelligence artificielle nommée GPT-3, a récemment annoncé qu'il est aujourd’hui utilisé dans plus de 300 applications, par des « dizaines de milliers » de développeurs et qu'il produit 4,5 milliards de mots par jour, avec une précision de 91 %. « Neuf mois après le lancement de notre premier produit commercial, l'API OpenAI, plus de 300 applications utilisent désormais GPT-3, et des dizaines de milliers de développeurs du monde entier construisent sur notre plateforme. Nous générons actuellement en moyenne 4,5 milliards de mots par jour et nous continuons à faire augmenter le trafic de production », a déclaré OpenAI.
GPT-3 est un modèle de langage autorégressif qui utilise l'apprentissage profond pour produire des textes similaires à ceux des humains. Il s'agit du modèle de prédiction du langage de troisième génération de la série GPT-n créé par OpenAI, un laboratoire de recherche en intelligence artificielle basé à San Francisco et composé de la société à but lucratif OpenAI LP et de sa société mère, la société à but non lucratif OpenAI Inc. L'une des principales caractéristiques informatiques des modèles prédictifs tels que le GPT-3 est un élément connu sous le nom de transformateur prédictif unidirectionnel. Ce type de transformateur est capable de prédire ce qui va suivre, sur la base des séquences précédentes.
Une caractéristique importante de ce transformateur est qu'il peut faire des prédictions sur la base d'un contexte antérieur très long (des centaines de mots), et pas seulement des derniers mots. Les scientifiques n'ont pas trouvé de circuits cérébraux ou de mécanismes d'apprentissage correspondant à ce type de traitement, précise Joshua Tenenbaum, professeur de sciences cognitives computationnelles au MIT et membre du CBMM et du Laboratoire d'intelligence artificielle du MIT (CSAIL). Cependant, les nouveaux résultats sont cohérents avec les hypothèses proposées précédemment selon lesquelles la prédiction est l'une des fonctions clés du traitement du langage.
Le traitement du langage est un problème hautement contraignant
« L'un des défis du traitement du langage est son aspect en temps réel, explique-t-il. Le langage arrive, et vous devez le suivre et être capable de lui donner un sens en temps réel ». Les chercheurs prévoient maintenant de construire des variantes de ces modèles de traitement du langage pour voir comment de petits changements dans leur architecture affectent leurs performances et leur capacité à s'adapter aux données neuronales humaines.
Selon dit Tenenbaum, si nous sommes en mesure de comprendre ce que font ces modèles de langage et comment ils peuvent se connecter à des modèles qui font des choses plus proches de la perception et de la pensée, alors cela peut nous donner des modèles plus intégratifs de la façon dont les choses fonctionnent dans le cerveau. Cela pourrait nous conduire à de meilleurs modèles d'intelligence artificielle, ainsi qu'à de meilleurs modèles du fonctionnement d'une plus grande partie du cerveau et de l'émergence de l'intelligence générale, que ceux dont nous disposions jusqu'à présent.
« L'un des principaux enseignements de ces travaux est que le traitement du langage est un problème hautement contraignant : les meilleures solutions que les ingénieurs en IA ont créées sont finalement similaires, comme le montre cet article, aux solutions trouvées par le processus évolutif qui a créé le cerveau humain. Étant donné que le réseau d'IA n'a pas cherché à imiter directement le cerveau, mais qu'il finit par lui ressembler, cela suggère que, dans un sens, une sorte d'évolution convergente s'est produite entre l'IA et la nature », explique Daniel Yamins, professeur adjoint de psychologie et d'informatique à l'université de Stanford, qui n'a pas participé à l'étude.
Une autre grande conclusion de l'étude, et celle qui la relie le plus aux théories sur la cognition, est que plus un modèle d'IA est semblable au cerveau, plus il est capable de correspondre au comportement humain, dans ce cas, aux temps de lecture individuels des sujets.
« Pour moi, ce résultat a changé la donne, déclare Evelina Fedorenko, professeur associé de neurosciences. Il a totalement transformé mon programme de recherche, car je n'aurais pas prédit que, de mon vivant, nous parviendrions à ces modèles explicites sur le plan informatique qui capturent suffisamment d'informations sur le cerveau pour que nous puissions réellement les exploiter afin de comprendre le fonctionnement du cerveau. »
Lorsqu'une chaîne de mots a été présentée à chaque modèle, les chercheurs ont mesuré l'activité des nœuds qui composent le réseau. Ils ont ensuite comparé ces modèles à l'activité du cerveau humain, mesurée chez des sujets effectuant trois tâches linguistiques : écouter des histoires, lire des phrases une par une et lire des phrases dans lesquelles un seul mot est révélé à la fois. Ces ensembles de données humaines comprenaient des données de résonance magnétique fonctionnelle (IRMf) et des mesures électrocorticographiques intracrâniennes (iEEG) prises chez des personnes subissant une opération du cerveau pour l'épilepsie.
Ils ont constaté que les modèles de prédiction du mot suivant les plus performants présentaient des schémas d'activité très proches de ceux observés dans le cerveau humain. L'activité de ces mêmes modèles était également fortement corrélée avec les mesures du comportement humain, comme la rapidité avec laquelle les personnes étaient capables de lire le texte.
« Nous avons constaté que les modèles qui prédisent bien les réponses neuronales ont également tendance à mieux prédire les réponses du comportement humain, sous la forme de temps de lecture. Et ces deux éléments sont expliqués par les performances du modèle en matière de prédiction du mot suivant. Ce triangle relie vraiment tout », explique Martin Schrimpf, étudiant diplômé du MIT qui travaille au Center for Brains, Minds, and Machines (CBMM) du MIT. Les chercheurs prévoient également d'essayer de combiner ces modèles de langage très performants avec certains modèles informatiques que le laboratoire de Tenenbaum a déjà mis au point et qui peuvent effectuer d'autres types de tâches, comme la construction de représentations perceptuelles du monde physique.
Selon dit Tenenbaum, si nous sommes en mesure de comprendre ce que font ces modèles de langage et comment ils peuvent se connecter à des modèles qui font des choses plus proches de la perception et de la pensée, alors cela peut nous donner des modèles plus intégratifs de la façon dont les choses fonctionnent dans le cerveau. Cela pourrait nous conduire à de meilleurs modèles d'intelligence artificielle, ainsi qu'à de meilleurs modèles du fonctionnement d'une plus grande partie du cerveau et de l'émergence de l'intelligence générale, que ceux dont nous disposions jusqu'à présent.
« L'un des principaux enseignements de ces travaux est que le traitement du langage est un problème hautement contraignant : les meilleures solutions que les ingénieurs en IA ont créées sont finalement similaires, comme le montre cet article, aux solutions trouvées par le processus évolutif qui a créé le cerveau humain. Étant donné que le réseau d'IA n'a pas cherché à imiter directement le cerveau, mais qu'il finit par lui ressembler, cela suggère que, dans un sens, une sorte d'évolution convergente s'est produite entre l'IA et la nature », explique Daniel Yamins, professeur adjoint de psychologie et d'informatique à l'université de Stanford, qui n'a pas participé à l'étude.
Une autre grande conclusion de l'étude, et celle qui la relie le plus aux théories sur la cognition, est que plus un modèle d'IA est semblable au cerveau, plus il est capable de correspondre au comportement humain, dans ce cas, aux temps de lecture individuels des sujets.
Source : MIT
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
Microsoft prévoit d'utiliser le machine learning pour ajouter la fonction de prédictions de texte à Word, elle apportera la réduction d'erreurs d'orthographe et de grammaire Microsoft crée un autocompléteur de code à l'aide de GPT-3, le système de génération de texte d'OpenAI, pour combler le manque de développeurs dans le monde GPT-3, le système de génération de texte d'OpenAI, produit désormais 4,5 milliards de mots par jour, avec une précision de 91 % Open AI présente DALL-E (comme GPT-3), un modèle qui crée des images à partir de texte, pour un large éventail de concepts exprimables en langage naturel 
Envoyé par Jules34
