En 2005, Ann Johnson a subi un accident vasculaire cérébral qui l'a laissée gravement paralysée et incapable de parler. Elle avait 30 ans. Au mieux, elle pouvait émettre des sons tels que "ooh" et "ah", mais son cerveau continuait à émettre des signaux.Aujourd'hui, 18 ans après l'accident vasculaire cérébral de Mme Johnson, une technologie expérimentale a permis de traduire les signaux de son cerveau en mots audibles, lui permettant de communiquer par l'intermédiaire d'un avatar numérique.
Cette technologie, mise au point par des chercheurs de l'université de Californie à San Francisco et de l'université de Californie à Berkeley, repose sur un implant placé à la surface du cerveau de Mme Johnson dans les régions associées à la parole et au langage.
L'implant, que Johnson a reçu lors d'une opération l'année dernière, contient 253 électrodes qui interceptent les signaux cérébraux provenant de milliers de neurones. Au cours de l'opération, les médecins ont également installé dans la tête de Mme Johnson un port relié à un câble qui transmet les signaux de son cerveau à une banque d'ordinateurs.
Les ordinateurs utilisent des algorithmes d'intelligence artificielle pour traduire les signaux cérébraux en phrases qui sont prononcées par une figure animée numériquement. Ainsi, lorsque Mme Johnson a essayé de prononcer une phrase telle que "Ravi de vous revoir", l'avatar sur un écran voisin a prononcé ces mots à haute voix.
Le système s'avère nettement plus rapide et plus précis que les technologies précédentes qui tentaient des prouesses similaires, et il a permis à Johnson de communiquer en utilisant un vocabulaire relativement étendu.
Les chercheurs ont utilisé un enregistrement de Mme Johnson lors de son mariage pour personnaliser la voix de l'avatar. Le système a également converti les signaux cérébraux de Mme Johnson en mouvements faciaux sur l'avatar, tels que les lèvres pincées, et en expressions émotionnelles, telles que la tristesse ou la surprise.
Les résultats de l'expérience ont été publiés dans la revue Nature.
Les neuroprothèses vocales ont le potentiel de restaurer la communication chez les personnes atteintes de paralysie, mais la vitesse et l'expressivité naturalistes restent insaisissables. Nous utilisons ici des enregistrements de surface à haute densité du cortex de la parole chez un participant à un essai clinique souffrant d'une grave paralysie des membres et de la voix pour réaliser un décodage en temps réel très performant à travers trois modalités de sortie complémentaires liées à la parole : texte, audio et animation d'avatar. Nous avons formé et évalué des modèles d'apprentissage profond à l'aide de données neuronales recueillies pendant que le participant tentait de prononcer des phrases en silence. Pour le texte, nous avons démontré un décodage précis et rapide d'un grand nombre de mots avec un taux médian de 78 mots par minute et un taux médian d'erreurs de mots de 25 %. Pour l'audio vocal, nous avons démontré une synthèse vocale intelligible et rapide ainsi qu'une personnalisation de la voix du participant avant sa blessure. Pour l'animation de l'avatar facial, nous avons démontré le contrôle des mouvements orofaciaux virtuels pour les gestes communicatifs vocaux et non vocaux. Les décodeurs ont atteint un niveau de performance élevé après moins de deux semaines de formation. Nos résultats introduisent une approche neuroprothétique multimodale de la parole qui est très prometteuse pour restaurer une communication complète et incarnée pour les personnes vivant avec une paralysie sévère.
"Il n'y a rien qui puisse exprimer à quel point il est satisfaisant de voir quelque chose comme cela fonctionner en temps réel", a déclaré Chang, président du département de chirurgie neurologique de l'UCSF, lors d'une conférence de presse.
La technologie a converti les tentatives d'élocution de Johnson en mots à une vitesse de près de 80 mots par minute. Selon M. Chang, la vitesse naturelle d'élocution est d'environ 150 à 200 mots. La précision médiane était d'environ 75 % lorsque Johnson utilisait un vocabulaire de 1 024 mots.
Dans une enquête de satisfaction, Mme Johnson a écrit qu'elle était émue d'entendre l'avatar parler d'une voix semblable à la sienne.
"Les sept premières années qui ont suivi mon accident vasculaire cérébral, je n'ai utilisé qu'un tableau de lettres. Mon mari en avait tellement marre de devoir se lever pour me traduire le tableau d'affichage", a-t-elle écrit.
En participant à l'étude, elle a déclaré que son objectif était de devenir conseillère et d'utiliser la technologie pour parler à ses clients.
"Je pense que l'avatar les mettrait plus à l'aise", écrit-elle.
Toutefois, la technologie n'est pas sans fil et n'est donc pas encore suffisamment avancée pour s'intégrer dans la vie quotidienne de Mme Johnson.
Source : Article de recherche intitulé "Une neuroprothèse haute performance pour le décodage de la parole et le contrôle des avatars"
Et vous?
Quel est votre avis sur le sujet ? Trouvez-vous ces informations utiles et pertinentes ? D'après vous, les technologies d'implants cérébraux sont-elles l'avenir de la médecine ?Voir aussi
L'IA Speech2Face permet de « reconstruire » le visage d'une personne en se basant sur sa voix, elle a besoin au minimum de trois secondes de parole pour générer un visage L'humanité accédera-t-elle à la vie éternelle via l'informatique ? Altos Labs de Jeff Bezos lance ses activités pour transformer la médecine via la programmation du rajeunissement cellulaire Neuralink, l'entreprise d'Elon Musk, veut implanter des micro-puces dans des cerveaux humains et parallèlement prépare des robots qui pratiqueront ces interventions chirurgicales Une entreprise d'implants cérébraux~ soutenue par Bezos et Gates, testerait sur des humains des systèmes informatiques contrôlés par l'esprit Meta déclare que son nouveau modèle d'IA de synthèse vocale est beaucoup trop dangereux pour être rendu public, il pourrait être utilisé pour perfectionner les deepfakes ou dans des escroqueries