Il y a huit ans, une patiente a perdu son pouvoir d'élocution à cause de la SLA, ou maladie de Lou Gehrig, qui entraîne une paralysie progressive. Elle peut encore émettre des sons, mais ses mots sont devenus inintelligibles, ce qui la rend dépendante d'un tableau d'écriture ou d'un iPad pour communiquer.Les implants cérébraux sont une nouvelle technologie d'assistance émergente capable d'aider les personnes paralysées à saisir à l’écran d'ordinateur ou à contrôler des prothèses robotiques avec la pensée - en transférant l'intention neurologique du mouvement corporel en action numérique ou robotique. Après s'être portée volontaire pour recevoir un implant cérébral, cette femme a été capable de communiquer rapidement des phrases telles que « Je ne suis pas propriétaire de ma maison » et « C'est dur » à un rythme proche de celui de la parole normale.
C'est ce qu'affirme une équipe de l'université de Stanford dans un article publié ce week-end. L'étude n'a pas été officiellement examinée par d'autres chercheurs. Les scientifiques affirment que leur volontaire, identifié uniquement comme le « sujet T12 », a battu les records précédents en utilisant l'implant de lecture du cerveau pour communiquer à un rythme de 62 mots par minute, soit trois fois plus que le record précédent.
Philip Sabes, chercheur à l'université de Californie à San Francisco, qui n'a pas participé au projet, a qualifié les résultats de « grande avancée » et a déclaré que la technologie expérimentale de lecture du cerveau pourrait bientôt quitter le laboratoire et devenir un produit utile. « Les performances présentées dans cet article sont déjà à un niveau que de nombreuses personnes qui ne peuvent pas parler souhaiteraient, si l'appareil était prêt », déclare Sabes. « Les gens vont le vouloir ».
Envoyé par
Les interfaces cerveau-ordinateur (ICC) vocales ont le potentiel de restaurer une communication rapide pour les personnes paralysées en décodant l'activité neuronale évoquée par les mouvements de parole en texte ou en son. Les premières démonstrations, bien que prometteuses, n'ont pas encore atteint une précision suffisante pour permettre la communication de phrases non contraintes issues d'un large vocabulaire.
Nous présentons ici la première ICB de conversion de la parole en texte qui enregistre l'activité de stimulation à partir de réseaux de microélectrodes intracorticaux. Grâce à ces enregistrements à haute résolution, le participant à notre étude, qui ne peut plus parler de manière intelligible en raison d'une sclérose latérale amyotrophique (SLA), a atteint un taux d'erreur de 9,1 % sur un vocabulaire de 50 mots (2,7 fois moins d'erreurs que le précédent BCI vocal de pointe2) et un taux d'erreur de 23,8 % sur un vocabulaire de 125 000 mots (la première démonstration réussie du décodage d'un grand vocabulaire).
Notre BCI a décodé la parole à 62 mots par minute, ce qui est 3,4 fois plus rapide que le record précédent pour tout type de BCI et commence à se rapprocher de la vitesse de la conversation naturelle (160 mots par minute7). Enfin, nous soulignons deux aspects du code neuronal de la parole qui sont encourageants pour les BCI de la parole : une syntonisation spatialement intermixée des articulateurs de la parole qui rend possible un décodage précis à partir d'une petite région du cortex seulement, et une représentation articulatoire détaillée des phonèmes qui persiste des années après la paralysie. Ces résultats montrent qu'il est possible d'utiliser les ICB intracorticaux pour rétablir une communication rapide avec les personnes paralysées qui ne peuvent plus parler.
Nous présentons ici la première ICB de conversion de la parole en texte qui enregistre l'activité de stimulation à partir de réseaux de microélectrodes intracorticaux. Grâce à ces enregistrements à haute résolution, le participant à notre étude, qui ne peut plus parler de manière intelligible en raison d'une sclérose latérale amyotrophique (SLA), a atteint un taux d'erreur de 9,1 % sur un vocabulaire de 50 mots (2,7 fois moins d'erreurs que le précédent BCI vocal de pointe2) et un taux d'erreur de 23,8 % sur un vocabulaire de 125 000 mots (la première démonstration réussie du décodage d'un grand vocabulaire).
Notre BCI a décodé la parole à 62 mots par minute, ce qui est 3,4 fois plus rapide que le record précédent pour tout type de BCI et commence à se rapprocher de la vitesse de la conversation naturelle (160 mots par minute7). Enfin, nous soulignons deux aspects du code neuronal de la parole qui sont encourageants pour les BCI de la parole : une syntonisation spatialement intermixée des articulateurs de la parole qui rend possible un décodage précis à partir d'une petite région du cortex seulement, et une représentation articulatoire détaillée des phonèmes qui persiste des années après la paralysie. Ces résultats montrent qu'il est possible d'utiliser les ICB intracorticaux pour rétablir une communication rapide avec les personnes paralysées qui ne peuvent plus parler.
Les scientifiques et les ingénieurs créent et étudient des interfaces cerveau-ordinateur depuis les années 1950. Compte tenu de l'ampleur du mystère qui entoure le comportement du cerveau - notamment la façon dont la conscience émerge d'un poids de gelée électrique, les réalisations globales de ces systèmes sont remarquables. Des personnes paralysées équipées d'interfaces neuronales ont appris à jouer des airs simples sur un clavier numérique, à contrôler des exosquelettes et à manœuvrer des membres robotisés avec suffisamment de dextérité pour boire dans une bouteille.
L’année dernière, des implants ont été posés dans le cerveau de Dennis DeGray lui permettant de contrôler des ordinateurs avec son esprit, à la suite d'un accident qui l'a paralysé. Il y a 16 ans, Dennis DeGray a été paralysé dans un accident. Aujourd'hui, des implants dans son cerveau lui permettent d'avoir un semblant de contrôle. Le soir du 10 octobre 2006, l'esprit de Dennis DeGray était presque coupé de son corps.
Au cours de l'été 2016, Jaimie Henderson, professeur de neurochirurgie à l'université de Stanford, a ouvert le crâne de DeGray et exposé son cortex - la fine couche extérieure du cerveau, plissée - dans lequel il a implanté deux réseaux d'électrodes de 4 millimètres sur 4 millimètres ressemblant à des lits de clous miniatures. Chaque réseau comportait 100 minuscules pointes métalliques qui, collectivement, enregistraient les impulsions électriques circulant dans quelques centaines de neurones du cortex moteur, une région du cerveau impliquée dans les mouvements volontaires.
Ces algorithmes ont été conçus par David Brandman, à l'époque doctorant en neurosciences, qui collaborait avec l'équipe de Stanford dans le cadre d'un consortium appelé BrainGate. Brandman a demandé à DeGray d'imaginer un mouvement qui lui donnerait un contrôle intuitif du curseur. Un Allemand de 36 ans en état d'enfermement total a été équipé d'un nouveau système d'interface cerveau-ordinateur (ICO) reposant sur un retour auditif. L'homme a appris à modifier son activité cérébrale en réponse à ce retour auditif pour composer des messages simples. Selon un article publié récemment dans Nature Communications, il a utilisé cette capacité pour demander une bière, pour que ses soignants lui fassent écouter son groupe de rock préféré et pour communiquer avec son jeune fils.
- Schéma de l'algorithme de décodage. Tout d'abord, l'activité neuronale (franchissements de seuils multi-unitaires et puissance de la bande de pointes) est lissée sur chaque électrode. Ensuite, un réseau neuronal récurrent (RNN) convertit une série temporelle de cette activité neuronale en une probabilité pour chaque phonème (plus la probabilité d'un jeton " silence " entre les mots et d'un jeton " blanc " associé 135 à la procédure d'apprentissage de la classification temporelle connexionniste). Le RNN est une architecture d'unités récurrentes à 5 couches entraînées avec TensorFlow 2. Enfin, les probabilités des phonèmes sont combinées avec un modèle de langage à grand vocabulaire (un trigramme personnalisé de 125 000 mots), (un modèle personnalisé de trigrammes de 125 000 mots implémenté dans Kaldi) pour décoder la phrase la plus probable ;
- Les taux d'erreur sur les mots (distances d'édition) sont illustrés pour deux modes d'expression (vocalisé ou silencieux) et deux tailles de vocabulaire (50 ou 125 000 mots). Les lignes verticales indiquent les IC à 95 %. Les taux d'erreur sur les mots sont 2,7 fois inférieurs à ceux de l'état de l'art en utilisant le même vocabulaire de 50 mots (les travaux antérieurs sont indiqués par une ligne noire pointillée, qui doit être comparée à la ligne bleue).
- Idem que dans b, mais pour le débit de parole (mots par minute) ;
- Un exemple d'essai en boucle fermée est montré, démontrant la capacité du RNN à décoder des séquences sensibles de phonèmes (représentés en notation ARPABET) sans modèle de langage. Les phonèmes sont décalés verticalement pour plus de lisibilité et "<sil>" indique le jeton de silence. La séquence de phonèmes a été générée en prenant les phonèmes de probabilité maximale à chaque pas de temps. Notons que les erreurs de décodage des phonèmes sont souvent corrigées par le modèle de langage, qui infère toujours le mot correct. Les phonèmes et les mots incorrectement décodés sont indiqués en rouge.
Les ICB interagissent avec les cellules du cerveau, enregistrant l'activité électrique des neurones et traduisant ces signaux en actions. Ces systèmes impliquent généralement des capteurs à électrodes pour enregistrer l'activité neuronale, un chipset pour transmettre les signaux et des algorithmes informatiques pour traduire les signaux. Les BCI peuvent être externes, comme les EEG médicaux, c'est-à-dire que les électrodes sont placées sur le cuir chevelu ou le front à l'aide d'un capuchon portable, ou elles peuvent être implantées directement dans le cerveau. La première méthode est moins invasive mais peut-être moins précise car davantage de bruit interfère avec les signaux ; la seconde nécessite une opération du cerveau, ce qui peut être risqué.
Mais pour de nombreux patients paralysés ou le monde a assisté à deux étapes importantes sur le front des ICB. En mars 2021, la presse a fait état de la démonstration par Neuralink d'un singe jouant à Pong à l'aide d'un implant cérébral connecté sans fil à l'ordinateur du jeu. Pour y parvenir, la société a réussi à miniaturiser l'appareil et à le faire communiquer sans fil. En avril 2021, des chercheurs du consortium BrainGate ont démontré avec succès une BCI sans fil à large bande passante chez deux sujets humains tétraplégiques.
Des chercheurs dirigés par l'université Johns Hopkins ont mis au point une nouvelle technique permettant à un homme partiellement paralysé de se nourrir lui-même à l'aide de bras robotisés reliés par une interface cerveau-machine.
Selon les chercheurs, il pouvait manger un dessert en 90 secondes. La nouvelle méthode est axée sur un système de contrôle partagé qui minimise la quantité de données mentales nécessaires pour accomplir une tâche. Il peut associer ses quatre degrés de liberté de mouvement (deux pour chaque main) à 12 degrés de liberté pour contrôler les bras du robot. Les réponses intelligentes des membres, basées sur des invites, ont également réduit la charge de travail.
Les interfaces neuronales peuvent également créer des voies de communication bidirectionnelles entre le cerveau et la machine. En 2016, Nathan Copeland, paralysé de la poitrine à la suite d'un accident de voiture, a non seulement tapé du poing le président Barack Obama avec une main robotisée, mais il a également ressenti la sensation tactile de la bosse dans sa propre main, car la prothèse renvoyait des signaux à des électrodes dans son cerveau, stimulant son cortex sensoriel.
En combinant la technologie d'imagerie cérébrale et les réseaux neuronaux, les scientifiques ont également déchiffré et partiellement reconstruit des images de l'esprit des gens, produisant des imitations brumeuses qui ressemblent à des polaroïds vieillis ou à des peintures à l'huile maculées.
Un programme informatique prédit avec une bonne précision les mots que le patient essaye de prononcer
Les personnes ne souffrant pas de troubles de la parole parlent généralement à un rythme d'environ 160 mots par minute. Même à l'ère des claviers, de la saisie au pouce, des emojis et des abréviations Internet, la parole reste la forme de communication interhumaine la plus rapide.
Dans le cadre de cette nouvelle recherche, l'équipe de Stanford voulait savoir si les neurones du cortex moteur contenaient également des informations utiles sur les mouvements de la parole. En d'autres termes, pouvaient-ils détecter comment le "sujet T12" essayait de bouger sa bouche, sa langue et ses cordes vocales lorsqu'il tentait de parler ?
Les nouvelles recherches ont été menées à l'université de Stanford. Le document préliminaire, publié le 21 janvier, a commencé à attirer l'attention sur Twitter et d'autres médias sociaux en raison du décès, le même jour, de son coauteur principal, Krishna Shenoy, des suites d'un cancer du pancréas. L’une des grandes découvertes est que quelques neurones seulement contenaient suffisamment d'informations pour permettre à un programme informatique de prédire, avec une bonne précision, les mots que le patient essayait de prononcer. Ces informations ont été transmises par l'équipe de Shenoy à un écran d'ordinateur, où les mots du patient apparaissaient tels qu'ils étaient prononcés par l'ordinateur.
Shenoy avait consacré sa carrière à l'amélioration de la vitesse de communication par le biais d'interfaces cérébrales, tenant soigneusement à jour une liste d'enregistrements sur le site Web de son laboratoire. En 2019, un autre volontaire avec lequel Shenoy travaillait a réussi à utiliser ses pensées pour taper à un rythme de 18 mots par minute, une performance record à l'époque.
Les interfaces cerveau-ordinateur sur lesquelles travaille l'équipe de Shenoy sont constituées d'un petit bloc d'électrodes pointues intégrées dans le cortex moteur de la personne, la région du cerveau la plus impliquée dans le mouvement. Cela permet aux chercheurs d'enregistrer l'activité de quelques dizaines de neurones à la fois et de trouver des modèles qui reflètent les mouvements auxquels une personne pense, même si elle est paralysée.
Une voie à suivre
Chang utilisait auparavant des électrodes placées sur le dessus du cerveau pour permettre à un volontaire de parler par l'intermédiaire d'un ordinateur, mais dans leur préimpression, les chercheurs de Stanford affirment que leur système est plus précis et trois à quatre fois plus rapide. « Nos résultats montrent une voie possible pour rétablir la communication avec les personnes paralysées à des vitesses conversationnelles », ont écrit les chercheurs, parmi lesquels figurent Shenoy et le neurochirurgien Jaimie Henderson.
David Moses, qui travaille avec l'équipe de Chang à l'UCSF, affirme que les travaux actuels atteignent « de nouveaux repères de performance impressionnants ». Pourtant, même si des records continuent d'être battus, dit-il, « il sera de plus en plus important de démontrer la stabilité et la fiabilité des performances sur des échelles de temps de plusieurs années. » Tout implant cérébral commercial pourrait avoir du mal à passer le cap des organismes de réglementation, surtout s'il se dégrade avec le temps ou si la précision de l'enregistrement diminue.
La voie à suivre devrait inclure à la fois des implants plus sophistiqués et une intégration plus étroite avec l'intelligence artificielle. Le système actuel utilise déjà plusieurs types de programmes d'apprentissage automatique. Pour améliorer sa précision, l'équipe de Stanford a utilisé un logiciel qui prédit le mot qui suit généralement dans une phrase. Le mot « I » est plus souvent suivi de « am » que de « ham », même si ces mots ont une sonorité similaire en et pourraient produire des schémas similaires dans le cerveau d'une personne.
L'ajout du système de prédiction des mots a augmenté la vitesse à laquelle le sujet pouvait parler sans faire d'erreurs.
Modèles de langage
Les nouveaux modèles de langage « de grande taille », comme GPT-3, sont capables de rédiger des essais entiers et de répondre à des questions. Leur connexion à des interfaces cérébrales pourrait permettre aux personnes utilisant le système de parler encore plus vite, simplement parce que le système sera plus apte à deviner ce qu'elles essaient de dire sur la base d'informations partielles. « Le succès des grands modèles de langage de ces dernières années me fait penser qu'une prothèse vocale est à portée de main, car il n'est peut-être pas nécessaire de disposer d'une entrée aussi impressionnante pour obtenir de la parole », déclare Sabes.
Le groupe de Shenoy fait partie d'un consortium appelé BrainGate qui a placé des électrodes dans le cerveau de plus d'une douzaine de volontaires. Ils utilisent un implant appelé Utah Array, un carré métallique rigide comportant une centaine d'électrodes en forme d'aiguille.
Alors que certains sceptiques se sont demandé si la mesure d'un plus grand nombre de neurones en même temps ferait une différence, le nouveau rapport suggère que oui, en particulier si le but est de lire dans le cerveau des mouvements complexes comme la parole. Les scientifiques de Stanford ont constaté que plus le nombre de neurones lus en même temps était élevé, moins ils commettaient d'erreurs dans la compréhension de ce que « T12 » essayait de dire.
Source : L'université de Stanford
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de cet implant et de la méthodologie des chercheurs ? Êtes-vous pour ou contre les essais des implants cérébraux sur l'homme ?Voir aussi :
Une nouvelle interface cerveau-ordinateur permet à un homme de communiquer avec son fils et de lui demander une bière Une interface cerveau-machine permet à un paralysé de se nourrir seul à l'aide de bras robotisés, le participant a réussi 17 essais sur 20 soit 85 % La société Neuralink d'Elon Musk spécialisée dans les implants cérébraux se rapproche des essais sur l'homme, selon un rapport Un implant cérébral a réussi à traduire les pensées d'un homme paralysé en texte avec une précision de 94 %, selon une étude