Des chercheurs Jerry Tang et Alexander Huth, neuroscientifique informatique à l'université du Texas ont combiné l’imagerie par résonance magnétique fonctionnelle (IRMf) et un modèle de langage artificiel pour décoder le langage interne d’une personne à partir de son activité cérébrale. Ils ont également pu faire des hypothèses sur l’histoire d’un court métrage. Le décodeur peut reproduire avec une précision surprenante les histoires que la personne a écoutées ou imaginées raconter dans le scanner.Cette technologie pourrait aider les personnes qui ne peuvent pas parler ou communiquer extérieurement, comme celles qui ont subi des accidents vasculaires cérébraux ou qui vivent avec la sclérose latérale amyotrophique. Elle pourrait aussi permettre d’accéder aux pensées des personnes sans leur consentement, ce qui pose des questions éthiques et juridiques.
L’IRMf permet de capturer des images grossières et colorées du cerveau en action, mais elle n’est pas une machine à lire dans les pensées : les neuroscientifiques ne peuvent pas regarder une image du cerveau et dire ce que quelqu’un voyait, entendait ou pensait dans le scanner. Mais progressivement, les scientifiques repoussent cette barrière fondamentale pour traduire les expériences internes en mots à l’aide de l’imagerie cérébrale.
Parmi plus d'un quart de million d'études publiées sur l'imagerie par résonance magnétique fonctionnelle, on trouve des analyses qui prétendent localiser dans le cerveau nos expériences mentales de la religion, de l'amour et même de l'avenir. Récemment, des chercheurs ont même étudié la fiabilité des scanners afin de déterminer s'ils pouvaient être considérés comme des preuves de souvenirs passés devant un tribunal.
Mais de plus en plus, les scientifiques et les observateurs se demandent si ces flashs dans le cerveau nous ont dit ce que nous pensions qu'ils étaient, ou si les images n'étaient rien d'autre que des paillettes biologiques. Bien sûr, ce que les chercheurs voient réellement dans le cerveau n'est pas un message synaptique décodable, ni même une documentation de l'activité d'un neurone spécifique.
L’IRMf et l’optogénétique : deux techniques complémentaires pour explorer le cerveau
L'IRMf montre simplement des changements dans le flux sanguin et les niveaux d'oxygène dans le cerveau, ce qui, selon de nombreux scientifiques, est probablement en corrélation avec l'activité neuronale. Et les images de centres cérébraux illuminés publiées dans de nombreuses études sont souvent un mélange statistique de plusieurs cerveaux scannés pour une expérience, plutôt qu'une tranche claire d'un seul cerveau concentré sur Dieu, le sexe ou l'argent.
Peut-on donc faire confiance aux IRMf pour montrer ce que les chercheurs espèrent qu'ils montrent ? Oui, affirment les auteurs d'une étude, publiée en ligne le 16 mai 2010 dans Nature (Scientific American fait partie de Nature Publishing Group). Les chercheurs, dirigés par Jin Hyung Lee, du département de génie électrique, de psychiatrie et de sciences biocomportementales de l'université de Californie à Los Angeles, et Remy Durand, du département de génie biologique de l'université de Stanford, ont pu montrer que des neurones cibles spécifiques s'illuminent sur les scans IRMf lorsqu'ils sont activés par des impulsions lumineuses.
Les chercheurs ont utilisé une approche appelée optogénétique, dans laquelle les neurones génétiquement modifiés sont contrôlés par des impulsions lumineuses, sur des souris sous anesthésie générale. Lorsque l'équipe a activé manuellement des cellules cérébrales particulières à l'aide d'impulsions lumineuses, ces zones ont également clignoté sur l'écran de l'IRMf, ce qui suggère que les modifications du flux sanguin observées sur les IRMf sont réellement la preuve de l'activité des neurones à cet endroit.
Les images IRMf montrent le cerveau en fonction des variations du taux d'oxygène dans le sang, un indicateur du degré d'activité mentale. Il s'agit d'un outil assez étonnant ; il a permis de valider de nombreuses hypothèses sur les régions du cerveau et nous a aidés à faire des comparaisons entre des groupes de personnes, en nous éclairant sur la toxicomanie, le développement et la maladie.
Mais l'IRMf ne fournit pas de détails au niveau de la cellule. L'image tridimensionnelle qu'elle fournit est construite en unités appelées voxels. Chacun d'entre eux représente un cube bien rangé de tissu cérébral, un bloc de construction d'image en trois dimensions analogue au pixel en deux dimensions des écrans d'ordinateur, des téléviseurs ou des appareils photo numériques. Chaque voxel peut représenter environ un million de cellules cérébrales. Les taches orange de l'image ci-dessus sont en fait des groupes de voxels, peut-être des dizaines ou des centaines.
Les chercheurs ont fait un pas en avant en combinant la capacité de l’IRMf à surveiller l’activité neuronale avec le pouvoir prédictif des modèles de langage artificiel. La technologie hybride a abouti à un décodeur qui peut reproduire, avec un niveau de précision surprenant, les histoires qu’une personne a écoutées ou imaginées raconter dans le scanner. Le décodeur pouvait même deviner l’histoire derrière un court métrage que quelqu’un regardait dans le scanner, mais avec moins de précision.
« Il y a beaucoup plus d’informations dans les données cérébrales que nous le pensions initialement », a déclaré Jerry Tang, neuroscientifique computationnel à l’Université du Texas à Austin et auteur principal de l’étude, lors d’un point de presse. La recherche, publiée dans Nature est ce que Tang décrit comme « une preuve de concept que le langage peut être décodé à partir d’enregistrements non invasifs de l’activité cérébrale ».
Lire dans les pensées avec l’IRMf et le GPT-1
La technologie du décodeur est à ses débuts. Elle doit être entraînée de manière extensive pour chaque personne qui l’utilise, et elle ne construit pas une transcription exacte des mots qu’elle a entendus ou imaginés. Mais c’est quand même un progrès notable. Les chercheurs savent maintenant que le système de langage artificiel, un parent éloigné du modèle derrière ChatGPT, peut aider à faire des suppositions éclairées sur les mots qui ont évoqué l’activité cérébrale en regardant simplement les images IRMf du cerveau.
Alors que les limites technologiques actuelles empêchent le décodeur d’être largement utilisé, pour le meilleur ou pour le pire, les auteurs soulignent la nécessité de mettre en place des politiques proactives qui protègent la vie privée de ses processus mentaux internes.
« Les résultats sont tout simplement excellents », déclare Martin Schrimpf, neuroscientifique informatique au Massachusetts Institute of Technology, qui n'a pas participé à l'étude. Les précédentes tentatives d'utilisation de modèles d'IA pour décoder l'activité cérébrale ont connu un certain succès, mais ont fini par se heurter à un mur. Ici, l'équipe de Tang a utilisé « un modèle beaucoup plus précis du système linguistique », explique Schrimpf. Ce modèle est le GPT-1, qui a été publié en 2018 et qui était la version originale du GPT-4, le modèle qui sous-tend aujourd'hui le ChatGPT.
« Les données cérébrales contiennent beaucoup plus d'informations que nous ne le pensions au départ », a déclaré Jerry Tang, neuroscientifique informatique à l'université du Texas et auteur principal de l'étude, lors d'une conférence de presse. La recherche, publiée lundi dans Nature Communications, est ce que Tang décrit comme « une preuve de concept que le langage peut être décodé à partir d'enregistrements non invasifs de l'activité cérébrale ».
La technologie du décodeur n'en est qu'à ses débuts. Elle doit être entraînée de manière approfondie pour chaque personne qui l'utilise, et elle ne construit pas une transcription exacte des mots qu'elle a entendus ou imaginés. Il s'agit néanmoins d'une avancée notable. Les chercheurs savent aujourd'hui que le système linguistique IA, un proche parent du modèle à l'origine de ChatGPT, peut aider à faire des suppositions éclairées sur les mots qui ont évoqué l'activité cérébrale, simplement en regardant les scanners cérébraux IRMf.
Bien que les limites technologiques actuelles empêchent le décodeur d'être largement utilisé, pour le meilleur ou pour le pire, les auteurs soulignent la nécessité d'adopter des politiques proactives qui protègent la confidentialité des processus mentaux internes de chacun. « Ce que nous obtenons est encore une sorte d'essentiel, ou plutôt une paraphrase, de l'histoire originale », déclare Alexander Huth, également neuroscientifique informatique à l'université du Texas et auteur principal de l'étude.
Cette technologie a montré qu’elle pouvait reproduire avec une précision surprenante les histoires qu’une personne a écouté ou imaginé raconter dans le scanner, et même deviner l’histoire derrière un court métrage. Elle ouvre des perspectives fascinantes pour aider les personnes qui ne peuvent pas communiquer extérieurement, mais aussi des risques éthiques et juridiques pour la protection de la vie privée des processus mentaux internes.
Les auteurs appellent à mettre en place des politiques proactives pour encadrer l’utilisation de cette technologie et prévenir les abus potentiels. Ils soulignent par ailleurs les limites technologiques actuelles qui empêchent le décodeur d’être largement utilisé, et les défis scientifiques qui restent à relever pour améliorer la précision et la généralisation du décodeur.
Ils concluent que leur étude est une preuve de concept que le langage peut être décodé à partir d’enregistrements non invasifs de l’activité cérébrale, et qu’il y a beaucoup plus d’informations dans les données cérébrales que nous le pensions initialement.
Source : Jerry Tang and Alexander Huth, researchers at the University of Texas
Et vous ?
Les résultats de cette étude sont-elles pertinentes ? Quelles sont les implications sociales et psychologiques de savoir que ses pensées peuvent être lues par une machine ? Quelles sont les limites éthiques et juridiques de l’utilisation d’un décodeur cérébral pour accéder aux pensées des gens ? Quels sont les risques de biais ou d’erreur dans le modèle d’IA utilisé pour décoder l’activité cérébrale ? Quelles peuvent être les applications potentielles de cette technologie dans le domaine de la santé, de l’éducation ou de la communication ?Voir aussi :
Une entreprise d'implants cérébraux~ soutenue par Bezos et Gates, testerait sur des humains des systèmes informatiques contrôlés par l'esprit Mind Emulation, une fondation qui s'emploie à immortaliser l'esprit humain à travers un processus numérique, dans les décennies à venir « La partie est terminée » : DeepMind de Google estime avoir fait une percée en IA qui se rapproche de l'intelligence humaine, grâce à son « agent généraliste » baptisé Gato Le professeur Nita Farahany affirme que les intrusions dans l'esprit sont si proches, que les législateurs devraient adopter des mesures pour protéger nos pensées privées de la technologie Des implants dans le cerveau d'un humain lui permettent de contrôler des ordinateurs avec son esprit, à la suite d'un accident qui l'a paralysé 
Envoyé par Aiekick
