Des scientifiques déclarent avoir mis au point une méthode qui utilise des enregistrements cérébraux par imagerie par résonance magnétique fonctionnelle pour reconstruire le langage continu. Ces résultats constituent la prochaine étape dans la recherche de meilleures interfaces cerveau-ordinateur, qui sont développées comme technologie d'assistance pour les personnes qui ne peuvent pas ni parler, ni écrire ou saisir du texte.Dans une édition publiée le 29 septembre sur bioRxiv, une équipe de l'université du Texas à Austin présente un "décodeur", ou algorithme, capable de "lire" les mots qu'une personne entend ou pense au cours d'un balayage cérébral par imagerie par résonance magnétique fonctionnelle (IRMf). Alors que d'autres équipes avaient précédemment fait état de certains succès dans la reconstruction du langage ou des images à partir de signaux provenant d'implants dans le cerveau, le nouveau décodeur est le premier à utiliser une méthode non invasive pour y parvenir. « Si vous aviez demandé à n'importe quel neuroscientifique cognitif dans le monde il y a vingt ans si c'était faisable, il vous aurait fait sortir de la pièce en riant », déclare Alexander Huth, neuroscientifique à l'université du Texas à Austin et coauteur de l'étude.
Yukiyasu Kamitani, un neuroscientifique spécialiste en informatique à l'université de Kyoto qui n'a pas participé à la recherche, écrit au sujet de cette méthode qu'il est « passionnant » de voir des séquences de langage intelligibles générées par un décodeur non invasif. « Cette étude... jette des bases solides pour les applications d'interface cerveau-ordinateur », ajoute-t-il.
Il est difficile d'utiliser les données de l'IRMf pour ce type de recherche, car elles sont plutôt lentes par rapport à la vitesse de la pensée humaine. Au lieu de détecter le déclenchement des neurones, qui se produit à l'échelle de quelques millisecondes, les appareils d'IRM mesurent les changements du flux sanguin dans le cerveau comme indicateurs de l'activité cérébrale ; ces changements prennent quelques secondes. Selon Huth, la configuration utilisée dans cette recherche fonctionne parce que le système ne décode pas le langage mot à mot, mais discerne plutôt le sens supérieur d'une phrase ou d'une pensée.
Huth et ses collègues ont entraîné leur algorithme à l'aide d'enregistrements cérébraux par IRMf effectués pendant que trois sujets de l'étude (une femme et deux hommes, tous âgés de 20 à 30 ans) écoutaient 16 heures de podcasts et de reportages radio. Pour construire un décodeur précis et applicable à grande échelle, Huth explique qu'il était important que les sujets de recherche écoutent un large éventail de médias. Il note que la quantité de données d'IRMf recueillies correspond à la plupart des autres études utilisant des enregistrements d'IRMf, même si la sienne comptait moins de sujets de recherche.
Sur la base de son apprentissage des 16 heures d'enregistrements IRMf du cerveau de l'individu, le décodeur a fait une série de prédictions sur l'aspect des lectures IRMf. Selon Huth, l'utilisation de ces « suppositions » est la clé pour s'assurer que le décodeur est capable de traduire des pensées qui ne sont pas liées à l'un des enregistrements audio connus utilisés dans la formation. Ces suppositions ont ensuite été comparées à l'enregistrement IRMf en temps réel, et la prédiction la plus proche de la lecture réelle a déterminé les mots que le décodeur a finalement générés.
Pour déterminer le degré de réussite du décodeur, les chercheurs ont noté la similarité entre la génération du décodeur et le stimulus présenté au sujet. Ils ont également noté le langage généré par le même décodeur qui n'avait pas été comparé à un enregistrement IRMf. Ils ont ensuite comparé ces scores et testé la signification statistique de la différence entre les deux.
Limites de la méthode
Les résultats indiquent que la procédure de devinette et de vérification de l'algorithme finit par générer une histoire complète à partir des enregistrements IRMf, qui, selon Huth, correspond « assez bien » à l'histoire réelle racontée dans l'enregistrement audio. Toutefois, cette méthode présente certaines lacunes ; par exemple, elle ne parvient pas à conserver les pronoms et confond souvent la première et la troisième personne. Selon Huth, le décodeur « sait assez précisément ce qui se passe, mais pas qui fait les choses ».
Sam Nastase, chercheur et maître de conférences à l'Institut des neurosciences de Princeton, qui n'a pas participé à cette recherche, estime que l'utilisation d'enregistrements IRMf pour ce type de décodage cérébral est « époustouflante », car ces données sont généralement très lentes et bruyantes. « Ce qu'ils montrent dans cet article, c'est que si vous disposez d'un cadre de modélisation suffisamment intelligent, vous pouvez en fait extraire une quantité surprenante d'informations à partir des enregistrements IRMf », dit-il.
Étant donné que le décodeur utilise des enregistrements cérébraux non invasifs par IRMf, Huth estime que son potentiel d'application dans le monde réel est plus élevé que celui des méthodes invasives, bien que le coût et l'inconvénient de l'utilisation des machines IRM constituent un défi évident. La magnétoencéphalographie, une autre technique d'imagerie cérébrale non invasive, mais plus portable et plus précise dans le temps que l'IRMf, pourrait être utilisée avec un décodeur de calcul similaire pour fournir aux personnes ne souffrant pas de troubles du langage une méthode de communication, ajoute-t-il.
Le décodeur ouvre une fenêtre sur le fonctionnement du cerveau humain
Selon le professeur Huth, l'élément le plus passionnant du succès du décodeur est l'aperçu qu'il donne du fonctionnement du cerveau. Par exemple, note-t-il, les résultats révèlent quelles parties du cerveau sont responsables de la création de sens. En utilisant le décodeur sur des enregistrements de zones spécifiques telles que le cortex préfrontal ou le cortex temporal pariétal, l'équipe a pu déterminer quelle partie représentait quelle information sémantique. L'équipe a notamment constaté que ces deux parties du cerveau représentaient les mêmes informations pour le décodeur et que celui-ci fonctionnait aussi bien avec des enregistrements provenant de l'une ou l'autre des régions du cerveau.
Le plus surprenant, ajoute Huth, est que le décodeur a été capable de reconstruire des stimuli qui n'utilisaient pas de langage sémantique, même s'il a été entraîné sur des sujets écoutant du langage parlé. Par exemple, après l'entraînement, l'algorithme a réussi à reconstituer le sens d'un film muet visionné par les sujets, ainsi que l'expérience imaginaire d'un participant racontant une histoire. « Le fait que ces éléments se chevauchent autant dans le cerveau est une chose que nous commençons tout juste à apprécier », explique-t-il.
Pour Kamitani et Nastase, les résultats du laboratoire de Huth, qui n'ont pas encore fait l'objet d'un examen par les pairs, soulèvent des questions sur la manière dont les décodeurs traitent le sens sous-jacent par rapport au langage textuel ou vocal. Étant donné que le nouveau décodeur détecte le sens, ou la sémantique, plutôt que les mots individuels, son succès peut être difficile à mesurer, car de nombreuses combinaisons de mots pourraient être considérées comme une « bonne » sortie, explique Nastase. « C'est un problème intéressant qu'ils introduisent », ajoute-t-il.
La problématique de la protection de la vie privée
Huth reconnaît que, pour certains, une technologie capable de « lire dans les pensées » peut être un peu « effrayante ». Il affirme que son équipe a réfléchi en profondeur aux implications de la recherche et, par souci de protection de la vie privée des personnes, a examiné si le décodeur pouvait fonctionner sans la coopération volontaire du participant. Lors de certains essais, pendant la lecture de l'audio, les chercheurs ont demandé aux sujets de se distraire en effectuant d'autres tâches mentales, comme compter, nommer et imaginer des animaux, et imaginer de raconter une autre histoire. Ils ont constaté que le fait de nommer et d'imaginer des animaux était le plus efficace pour rendre le décodage inexact.
Du point de vue de la protection de la vie privée, il est également intéressant de noter qu'un décodeur formé à partir des scanners cérébraux d'une personne ne pouvait pas reconstruire le langage d'une autre personne, explique Huth, ce qui signifie que l'étude n'a fourni « pratiquement aucune information utilisable ». Il faudrait donc qu'une personne participe à des séances d'entraînement approfondies avant que ses pensées puissent être décodées avec précision.
Pour Nastase, le fait que les chercheurs aient cherché des preuves de la protection de la vie privée dans le domaine mental est encourageant. « On aurait très bien pu publier cet article il y a six mois sans aucune de ces expériences de protection de la vie privée », dit-il. Cependant, il ajoute qu'il n'est pas convaincu que les auteurs ont définitivement démontré que la vie privée ne sera pas un problème à l'avenir, puisque les recherches futures pourraient éventuellement trouver des moyens de contourner les obstacles à la vie privée mentale décrits par les chercheurs. « Il s'agit de savoir si les avantages d'une telle technologie l'emportent sur les inconvénients possibles », conclut Nastase.
Source : biorxiv
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
IA : il est désormais possible de transformer l'activité cérébrale en paroles, en établissant un schéma neuronal spécifique à chaque personne Un implant cérébral a réussi à traduire les pensées d'un homme paralysé en texte avec une précision de 94 %, selon une étude Des chercheurs démontrent la première utilisation humaine d'une interface cerveau-ordinateur sans fil à large bande passante, une percée pour les personnes souffrant de paralysie L'IA Speech2Face permet de « reconstruire » le visage d'une personne en se basant sur sa voix, elle a besoin au minimum de trois secondes de parole pour générer un visage 
Envoyé par Arya Nawel
