Alors que la plupart des algorithmes d'apprentissage machine actuels – qui sont comparés au cerveau humain et toute sa belle complexité – ne peuvent pas affiner leurs compétences au-delà d'une période de formation initiale, un groupe d’ingénieurs a mis au point une nouvelle approche qui s’inspire du cerveau d'un minuscule ver. Et cette simplicité a payé, selon le document de recherche des ingénieurs. En effet, le réseau de neurones qui en résulte est efficace, transparent, et son point fort est qu’il permet d'apprendre tout au long de la vie.Le monde de la technologie regorge de mises à jour sur les dernières innovations dans le domaine de l’IA. Des applications telles que l'apprentissage machine, la vision par ordinateur, l'apprentissage approfondi, le traitement du langage naturel et les réseaux de neurones sont en cours de déploiement et influencent les résultats de plusieurs secteurs industriels. Parmi celles-ci, le réseau neuronal a acquis un statut de grand intérêt dans la communauté scientifique, car il s'inspire des informations sur les processus du système nerveux biologique. En émulant les fonctions du cerveau humain, il aide à développer des modèles de calcul équipés pour la reconnaissance des formes et, enfin, la délibération de nouvelles informations.
Cependant, comme les réseaux neuronaux ne peuvent pas être programmés directement pour une application quelconque, ils doivent d'abord être formés, avant d'apprendre à partir du flux de données d'entrée. Récemment, une équipe de chercheurs du MIT a formé ce sous-ensemble de l'apprentissage machine à s'adapter et à apprendre en permanence à partir des données entrées. La nouvelle approche, appelée "réseau neuronal liquide", possède une sorte de "neuroplasticité" intégrée, selon les chercheurs. En termes simples, ce nouveau modèle de réseau neuronal est capable d'adapter son comportement sous-jacent après la phase initiale de formation.
L'architecture de l'algorithme a été inspirée par les 302 neurones qui composent le système nerveux du Caenorhabditis elegans, un minuscule nématode (ou ver). Dans un document publié en décembre dernier, le groupe, qui comprend des chercheurs du MIT et de l'Institut autrichien des sciences et technologies, a déclaré que malgré sa simplicité, C. elegans est capable d'un comportement étonnamment intéressant et varié.
Le groupe de travail dirigé par Hasani, post-doctorant du laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) et auteur principal de l'étude, a codé son réseau de neurones en portant une attention particulière à la façon dont les neurones du C. elegans s'activent et communiquent entre eux par des impulsions électriques. Dans les équations que les chercheurs ont utilisées pour structurer leur réseau neuronal, ils ont laissé les paramètres changer au fil du temps en se basant sur les résultats d'un ensemble imbriqué d'équations différentielles.
Pour tester son approche, l'équipe a choisi une tâche particulièrement importante : le maintien des voitures autonomes sur leur voie. Le réseau neuronal reçoit en entrée des images de caméra de la route et doit décider automatiquement de se diriger à droite ou à gauche. Leur algorithme était beaucoup plus simple que les autres algorithmes d'apprentissage machine de pointe, et pourtant il était capable d'accomplir des tâches similaires, comme par exemple garder une voiture dans sa voie.
« Aujourd'hui, des modèles d'apprentissage profond comportant plusieurs millions de paramètres sont souvent utilisés pour apprendre des tâches complexes telles que la conduite autonome », a déclaré l’année dernière Mathias Lechner, doctorant à l'Institut autrichien des sciences et des technologies et co-auteur de l'étude. « Cependant, notre nouvelle approche nous permet de réduire la taille des réseaux de deux ordres de grandeur. Nos systèmes n'utilisent que 75 000 paramètres pouvant être formés ». Depuis l’année dernière, le groupe a ajouté de nouvelles capacités à son système.
Une IA "liquide" dont les paramètres continuent à changer avec le temps et l'expérience
La sortie d'un réseau de neurones - tourner le volant vers la droite, par exemple - dépend d'un ensemble de connexions pondérées entre les neurones du réseau. Dans le cerveau humain, c'est la même chose. Chaque cellule du cerveau est connectée à de nombreuses autres cellules. Le fait qu'une cellule particulière se mette en marche ou non dépend de la somme des signaux qu'elle reçoit. Au-delà d'un certain seuil - ou poids - la cellule envoie un signal à son propre réseau de connexions en aval.
Dans un réseau neuronal, ces poids sont appelés paramètres. À mesure que le système alimente le réseau en données, ses paramètres convergent vers la configuration qui donne les meilleurs résultats. Habituellement, les paramètres d'un réseau neuronal sont verrouillés après l'entraînement, et l'algorithme est mis en œuvre. Mais dans le monde réel, cela peut signifier que l'algorithme est un peu fragile - si l'algorithme s'écarte trop de sa formation, il se casse. Ce qui n'est pas un résultat idéal.
En revanche, dans le "réseau neuronal liquide" de MIT, les paramètres peuvent continuer à changer avec le temps et l'expérience. L'IA apprend sur le tas. Cette adaptabilité signifie que l'algorithme a moins de chances de se casser lorsque le monde réel envoie des informations nouvelles ou bruyantes, par exemple, lorsque la pluie masque la caméra d'une voiture autonome. En outre, contrairement aux algorithmes plus importants, dont le fonctionnement interne est largement impénétrable, l'architecture simple de l'algorithme permet aux chercheurs de regarder à l'intérieur et de vérifier ses décisions.
Selon Hasani, les données de séries chronologiques sont à la fois omniprésentes et essentielles à notre compréhension du monde. « Le monde réel est fait de séquences. Même notre perception - vous ne percevez pas des images, vous percevez des séquences d'images », dit-il. « Donc, les données des séries temporelles créent en fait notre réalité ».
Hasani cite le traitement de vidéo, les données financières et les applications de diagnostic médical comme exemples de séries chronologiques qui sont au cœur de la société. Les vicissitudes de ces flux de données en constante évolution peuvent être imprévisibles. Pourtant, l'analyse de ces données en temps réel, et leur utilisation pour anticiper les comportements futurs, peuvent stimuler le développement de technologies émergentes comme les voitures autonomes.
Un algorithme adaptable qui consomme relativement peu de puissance de calcul ferait un cerveau de robot idéal. Ramin Hasani pense que cette approche pourrait être utile dans d'autres applications qui impliquent l'analyse en temps réel de nouvelles données comme le traitement vidéo ou l'analyse financière. Elle pourrait également faciliter la prise de décision basée sur des flux de données impliqués dans le diagnostic médical.
L’équipe prévoit de continuer à utiliser cette approche pour la rendre pratique. « Nous disposons d'un réseau neuronal plus expressif qui s'inspire de la nature. Mais ce n'est que le début du processus », a déclaré Hasani. « La question évidente est de savoir comment étendre cela ? Nous pensons que ce type de réseau pourrait être un élément clé des futurs systèmes d’IA ».
Une nouvelle IA "liquide" avec une taille réduite change-t-elle tout ?
Selon Hasani, ni la nouvelle capacité du "réseau neuronal liquide", ni sa stature réduite ne semblaient freiner l'IA. L'algorithme s'est avéré aussi performant, voire meilleur, que d'autres algorithmes de séquence temporelle de pointe pour prédire les prochaines étapes d'une série d'événements. « Tout le monde parle d'étendre son réseau », a déclaré Hasani. « Nous voulons réduire l'échelle, avoir moins de nœuds, mais plus riches ».
À l'heure où de grands acteurs comme OpenAI et Google font régulièrement la une des journaux avec des algorithmes d'apprentissage machine géants, c'est un exemple fascinant d'une approche alternative allant dans la direction opposée. L'algorithme GPT-3 d'OpenAI a impressionné l’année dernière, tant pour sa taille - à l'époque, un record de 175 milliards de paramètres - que pour ses capacités. Un récent algorithme de Google, formé en janvier, a dépassé les records avec plus de mille milliards de paramètres.
Pourtant, les critiques s'inquiètent de la tendance à l'augmentation constante des systèmes d'IA, qui est source de gaspillage et de coûts et qui concentre la recherche entre les mains de quelques entreprises disposant de fonds pour financer des modèles à grande échelle. De plus, ces modèles gigantesques sont des "boîtes noires", leurs actions étant largement impénétrables. Cela peut être particulièrement problématique lorsque des modèles non supervisés sont formés sur Internet. On ne peut pas contrôler quelles mauvaises habitudes ils vont prendre.
De plus en plus, les chercheurs universitaires s'efforcent de résoudre certains de ces problèmes. Alors que des entreprises comme OpenAI, Google et Microsoft s'efforcent de prouver l'hypothèse du "bigger is better", il est possible que de sérieuses innovations en matière d'efficacité de l'IA apparaissent ailleurs afin de juguler le manque de ressources.
Hasani dit que son réseau liquide contourne l'impénétrabilité commune aux autres réseaux neuronaux, « En changeant simplement la représentation d'un neurone », dit-il. « Le modèle lui-même est plus riche en termes d'expressivité ». Cela pourrait aider les ingénieurs à comprendre et à améliorer les performances du réseau neuronal liquide. Cette recherche a été financée, en partie, par Boeing, la National Science Foundation, le Fonds autrichien pour la science et Electronic Components and Systems for European Leadership.
Sources : Document recherche, IST d'Australie
Et vous ?
Que pensez-vous de cette nouvelle approche du réseau neuronal inspirée du cerveau d’un ver ? Le modèle n’utilise que 75 000 paramètres, comparés aux 175 milliards de paramètres de GPT-3 d'OpenAI et aux plus de mille milliards de paramètres dans un récent algorithme de Google. Qu’en pensez-vous ? Quels sont les avantages de cette approche simplifiée, selon vous ? Voir aussi :
Open AI propose en bêta privée son modèle de traitement du langage naturel GPT-3, ses applications vont de la génération de texte cohérent à la génération de code en passant par la création d'apps Google utilise l'intelligence artificielle pour concevoir des puces plus efficaces et moins gourmandes en énergie, qui accéléreront le développement de l'IA, selon l'entreprise États-Unis : une loi donne un coup de pouce à la recherche sur l'intelligence artificielle, un Cloud national est prévu pour accélérer la formation des algorithmes d'IA Microsoft embarque les accélérateurs d'IA de Graphcore à sa plateforme cloud Azure, pour optimiser les calculs liés à l'intelligence artificielle 
