En première mondiale, des chercheurs du GrapheneX-UTS Human-centric Artificial Intelligence Centre de l'Université de technologie de Sydney (UTS) ont mis au point un système portable et non invasif capable de décoder les pensées silencieuses et de les transformer en texte. Cette technologie pourrait faciliter la communication pour les personnes incapables de parler en raison d'une maladie ou d'une blessure, y compris un accident vasculaire cérébral ou une paralysie. Elle pourrait également permettre une communication transparente entre les humains et les machines, comme le fonctionnement d'un bras bionique ou d'un robot.
L'étude a été sélectionnée comme article vedette à la conférence NeurIPS, une réunion annuelle de haut niveau qui présente les recherches de pointe sur l'intelligence artificielle et l'apprentissage automatique, qui se tient à la Nouvelle-Orléans.
La recherche a été menée par le professeur CT Lin, directeur du GrapheneX-UTS HAI Centre, avec le premier auteur Yiqun Duan et son collègue doctorant Jinzhou Zhou de la faculté d'ingénierie et d'informatique de l'UTS.
Dans le cadre de l'étude, les participants ont lu silencieusement des passages de texte tout en portant une casquette qui enregistrait l'activité cérébrale électrique à travers leur cuir chevelu au moyen d'un électroencéphalogramme (EEG). Une démonstration de la technologie est présentée dans cette vidéo.
L'onde EEG est segmentée en unités distinctes qui capturent des caractéristiques et des modèles spécifiques du cerveau humain. Cette opération est réalisée par un modèle d'intelligence artificielle appelé DeWave, mis au point par les chercheurs. DeWave traduit les signaux EEG en mots et en phrases en apprenant à partir de grandes quantités de données EEG.
"Cette recherche représente un effort pionnier dans la traduction des ondes EEG brutes directement en langage, marquant une avancée significative dans ce domaine", a déclaré le professeur Lin.
"C'est la première fois que l'on incorpore des techniques d'encodage discret dans le processus de traduction du cerveau en texte, introduisant ainsi une approche innovante du décodage neuronal. L'intégration de grands modèles de langage ouvre également de nouvelles frontières dans les neurosciences et l'IA", a-t-il ajouté.
Les technologies antérieures de traduction des signaux cérébraux en langage nécessitaient une intervention chirurgicale pour implanter des électrodes dans le cerveau, comme le Neuralink d'Elon Musk, ou un balayage dans un appareil IRM, qui est volumineux, coûteux et difficile à utiliser dans la vie de tous les jours.
Ces méthodes peinent également à transformer les signaux cérébraux en segments de mots sans aides supplémentaires telles que l'oculométrie, ce qui limite l'application pratique de ces systèmes. La nouvelle technologie peut être utilisée avec ou sans suivi oculaire.
La recherche de l'UTS a été menée auprès de 29 participants. Cela signifie qu'elle devrait être plus robuste et plus adaptable que les technologies de décodage précédentes qui n'ont été testées que sur une ou deux personnes, car les ondes EEG diffèrent d'un individu à l'autre.
L'utilisation de signaux EEG reçus par l'intermédiaire d'un capuchon, plutôt que par des électrodes implantées dans le cerveau, signifie que le signal est plus bruyant. Toutefois, en termes de traduction EEG, l'étude a fait état de performances de pointe, dépassant les références précédentes.
"Le modèle est plus apte à faire correspondre les verbes que les noms. Cependant, lorsqu'il s'agit de noms, nous avons constaté une tendance à créer des paires de synonymes plutôt que des traductions précises, comme "l'homme" au lieu de "l'auteur"", a déclaré M. Duan.
"Nous pensons que cela est dû au fait que lorsque le cerveau traite ces mots, des mots sémantiquement similaires peuvent produire des ondes cérébrales similaires. Malgré ces difficultés, notre modèle produit des résultats significatifs, en alignant les mots-clés et en formant des structures de phrases similaires", a-t-il ajouté.
Le taux de précision de la traduction est actuellement d'environ 40 % selon la méthode BLEU-1. Le score BLEU est un nombre compris entre zéro et un qui mesure la similarité du texte traduit par la machine avec un ensemble de traductions de référence de haute qualité. Les chercheurs espèrent que ce score s'améliorera pour atteindre un niveau comparable à celui des programmes traditionnels de traduction ou de reconnaissance vocale, qui est plus proche de 90 %.
La recherche fait suite à une technologie d'interface cerveau-ordinateur développée par l'UTS en association avec les forces de défense australiennes, qui utilise les ondes cérébrales pour commander un robot quadrupède.
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous cette étude de l'Université de technologie de Sydney crédible et pertinente ?Voir aussi
Un implant cérébral qui pourrait permettre de communiquer à partir de la seule pensée, l'implant décode les signaux cérébraux en ce que la personne essaie de dire, par des scientifiques de Duke Brainoware : un système d'IA bioinformatique fabriqué à partir de cellules cérébrales humaines vivantes effectue une reconnaissance vocale, d'après une étude scientifique de l'Université de l'Indiana Neuralink : la start-up d'implants cérébraux d'Elon Musk est prête à commencer la chirurgie sur des humains, pour créer une interface cerveau-ordinateur