Des chercheurs chinois ont mis au point une puce d'IA qui utilise la lumière au lieu de l'électricité pour traiter les données et serait 1 000 fois plus économe en énergie que les puces électroniques

Des chercheurs chinois ont mis au point une puce d'IA qui utilise la lumière au lieu de l'électricité pour traiter les données et serait 1 000 fois plus économe en énergie que les puces électroniques

Des chercheurs de l'université chinoise Tsinghua affirment avoir mis au point une puce d'IA révolutionnaire plus rapide et plus économe en énergie. Baptisée "Taichi", la puce utilise la lumière au lieu de l'électricité pour traiter les données, ce qui, selon les chercheurs, la rend 1 000 fois plus économe en énergie que les puces électroniques comme le GPU H100 de Nvidia. Ce développement constitue une étape prometteuse vers l'informatique photonique dans le monde réel et ouvre la voie à l'intelligence artificielle générale. Taichi est particulièrement intéressante compte tenu des restrictions à l'exportation vers la Chine dues à la politique commerciale des États-Unis.

Taichi : un circuit intégré photonique rapide et hautement économe en énergie

Dans un article publié jeudi dans la revue Science, l'équipe de scientifiques de l'université chinois Tsinghua, dirigée par les professeurs Dai Qionghai et Fang Lu, a démontré comment son circuit intégré photonique (photonic integrated circuit - PIC) Taichi surpasse les puces électroniques traditionnelles dans des tâches comme la formation à la reconnaissance d'images et la génération de contenu. L'article indique que Taichi peut exécuter des tâches d'IA aussi bien que ses homologues électroniques avec un millième de l'énergie consommée. Ce développement pourrait permettre d'améliorer l'efficacité énergétique de l'IA.


Les chercheurs ont déclaré dans leur article : « Taichi ouvre la voie à l'informatique photonique à grande échelle et aux tâches avancées, en exploitant davantage la flexibilité et le potentiel de la photonique pour l'intelligence artificielle générale (AGI) moderne ». Les PIC utilisent la lumière au lieu de signaux électriques pour traiter les données, ce qui permet de transmettre des données à des vitesses et des largeurs de bande extrêmement élevées, tout en consommant beaucoup moins d'énergie que les dispositifs électroniques. Ils sont considérés comme incontournables pour répondre au nombre croissant de données échangées.

Pour rappel, à mesure que les réseaux neuronaux gagnent en taille et en puissance, ils deviennent de plus en plus gourmands en énergie lorsqu'ils sont exécutés sur des appareils électroniques conventionnels. Par exemple, une étude de nature suggère que pour entraîner son grand modèle d'IA GPT-3, OpenAI a dépensé 4,6 millions de dollars pour faire fonctionner 9 200 GPU pendant deux semaines, avec une consommation énergétique très importante. Les inconvénients de l'informatique électronique poussent les scientifiques à considérer l'informatique optique comme une base prometteuse pour l'IA de la prochaine génération.

Contrairement aux approches traditionnelles des puces qui empilent les PIC, l'équipe de Taichi a opté pour une architecture innovante. Elle a organisé les puces en grappes indépendantes, créant ainsi une architecture peu profonde, mais large. Cette répartition des ressources permet à Taichi d'atteindre des performances impressionnantes. Les performances comprennent la classification sur puce de plus de 1 000 catégories avec une précision de 91,89 % sur l'ensemble de données Omniglot. Les chercheurs affirment que Taichi constitue un grand pas en avant vers l'application des réseaux de neurones optiques à des tâches réelles.

« Les réseaux neuronaux optiques ne sont plus des modèles de jouets. Ils peuvent désormais être appliqués à des tâches réelles », affirme Lu Fang, professeur associé d'ingénierie électronique à l'université Tsinghua. Selon les chercheurs, Taichi pourrait faire de l'AGI une réalité. (L'AGI est une forme d'IA dotée de capacités cognitives de niveau humain qui pourrait être appliquée à un large éventail de disciplines. En comparaison, malgré leurs capacités, les systèmes d'IA actuels restent limités dans leur champ d'application.) L'efficacité énergétique de Taichi devrait permettre de traiter de gros volumes de données à moindre coût.

Taichi laisse entrevoir un avenir où l'IA sera propulsée par l'informatique photonique. Les puces électroniques traditionnelles approchent de leurs limites en matière de vitesse et d'efficacité et il est nécessaire de trouver des alternatives viables. « Le présent travail constitue une étape prometteuse vers l'informatique photonique dans le monde réel, à l'appui de diverses applications dans le domaine de l'IA », a déclaré Yury Suleymanov, rédacteur en chef adjoint de la revue Science.

Réseau neuronal optique : fonctionnement et choix de l'architecture de Taichi

Selon les experts, il existe deux façons pour développer des réseaux neuronaux optiques : soit diffuser la lumière selon des schémas spécifiques à l'intérieur des micropuces, soit faire interférer les ondes lumineuses les unes avec les autres de manière précise à l'intérieur des dispositifs. Lorsque la lumière entre dans ces réseaux neuronaux optiques, la lumière qui en sort encode les données des opérations complexes effectuées dans ces dispositifs. Selon le professeur Fang de l'université Tsinghua, les deux approches de l'informatique photonique présentent chacune plusieurs avantages et des inconvénients significatifs.

À titre d'exemple, les réseaux neuronaux optiques qui reposent sur le principe de la diffusion, ou diffraction, peuvent regrouper de nombreux neurones à proximité les uns des autres et ne consomment pratiquement pas d'énergie. Les réseaux neuronaux basés sur la diffraction s'appuient sur la diffusion des faisceaux lumineux lorsqu'ils traversent les couches optiques qui représentent les opérations du réseau. Cependant, l'un des inconvénients des réseaux neuronaux basés sur la diffraction est qu'ils ne peuvent pas être reconfigurés. Chaque chaîne d'opérations ne peut être utilisée que pour une tâche spécifique.

Par contre, les réseaux neuronaux optiques qui dépendent des interférences peuvent être facilement reconfigurés. Les réseaux neuronaux basés sur les interférences envoient un grand nombre de faisceaux à travers un maillage de canaux, et la manière dont ils interfèrent à l'intersection de ces canaux permet d'effectuer les opérations de l'appareil. L'inconvénient des interféromètres est qu'ils sont également encombrants, ce qui limite la capacité d'extension de ces réseaux neuronaux. Ils consomment également beaucoup d'énergie. Dans le même temps, les puces photoniques actuelles présentent des erreurs inévitables.

Les tentatives d'extension des réseaux neuronaux optiques en augmentant le nombre de couches de neurones dans ces dispositifs ne font généralement qu'accroître de manière exponentielle ce bruit inévitable. Cela signifie que, jusqu'à présent, les réseaux neuronaux optiques étaient limités à des tâches d'IA de base comme la simple reconnaissance de formes. « En d'autres termes, les réseaux neuronaux optiques n'étaient généralement pas adaptés aux applications avancées du monde réel », explique Fang. L'équipe affirme que Taichi est une conception hybride qui combine les approches de diffraction et d'interférence.

Il contient des grappes d'unités de diffraction qui peuvent compresser les données pour une entrée et une sortie à grande échelle dans un espace compact. Mais leur puce contient également des réseaux d'interféromètres pour des calculs reconfigurables. Le protocole d'encodage développé pour Taichi divise les tâches difficiles et les grands modèles de réseau en sous-problèmes et sous-modèles qui peuvent être répartis entre différents modules.

Comment Taichi combine-t-il les deux types de réseaux neuronaux optiques ?

Les recherches antérieures visaient généralement à accroître la capacité des réseaux neuronaux optiques en imitant ce qui est souvent fait avec leurs homologues électroniques, c'est-à-dire en augmentant le nombre de couches de neurones. Au lieu de cela, l'architecture de Taichi s'étend en répartissant le calcul sur plusieurs chiplets qui fonctionnent en parallèle. Cela signifie que Taichi peut éviter le problème de l'accumulation exponentielle d'erreurs qui se produit lorsque...