Yann LeCun, l'un des meilleurs chercheurs en IA de Meta et l'un des plus grands scientifiques mondiaux dans ce domaine, quitte l'entreprise, estimant que les grands modèles de langage (LLM) sont une impasse

Yann LeCun, l'un des meilleurs chercheurs en IA de Meta et l'un des plus grands scientifiques mondiaux dans ce domaine, quitte l'entreprise, estimant que les grands modèles de langage (LLM) sont une impasse.

Un rapport a révélé que Yann LeCun, l'une des figures les plus influentes du monde de l'intelligence artificielle et scientifique en chef de Meta, serait sur le point de démissionner. Pionnier du deep learning et figure de proue de la recherche en IA, Yann LeCun serait sur le point de partir en raison d'un désaccord fondamental avec l'intérêt actuel de l'industrie pour les grands modèles de langage (LLM), qu'il considère comme une « impasse » pour atteindre une véritable intelligence humaine.

Les systèmes d'IA actuels se heurtent à des limites majeures dans l'automatisation du travail. Pour certains, cela est lié à leur incapacité à apprendre en continu comme le font les humains. Yann LeCun, responsable de l'IA chez Meta, a déclaré que les grands modèles de langage (LLM) actuels n'atteindront pas l'intelligence humaine et ne conduiront pas l'intelligence artificielle générale (AGI). Leur incapacité à construire un contexte, apprendre à partir de retours d'information ou s'améliorer au fil du temps comme le font les employés humains remettent en causes les discours enthousiastes selon lesquels l'AGI arrivera à la fin de la décennie, voire plus tôt.

Yann André Le Cun, généralement orthographié LeCun, est un informaticien franco-américain qui travaille principalement dans les domaines de l'apprentissage automatique, de la vision par ordinateur, de la robotique mobile et des neurosciences computationnelles. Il est scientifique en chef en intelligence artificielle (IA) chez Meta. En 2018, LeCun, Yoshua Bengio et Geoffrey Hinton ont reçu le prix Turing pour leurs travaux sur l'apprentissage profond. Les trois hommes sont parfois appelés les « parrains de l'IA » et les « parrains de l'apprentissage profond ».

Récemment, un rapport a révélé que Yann LeCun, l'une des figures les plus influentes du monde de l'intelligence artificielle et scientifique en chef de Meta, serait sur le point de démissionner. Pionnier du deep learning et figure de proue de la recherche en IA, Yann LeCun serait sur le point de partir en raison d'un désaccord fondamental avec l'intérêt actuel de l'industrie pour les grands modèles de langage (LLM), qu'il considère comme une « impasse » pour atteindre une véritable intelligence humaine. Yann LeCun prône plutôt un changement révolutionnaire vers les « modèles de monde » (world model).

À 65 ans, Yann LeCun jouit d'un statut d'éminent spécialiste au sein de la communauté de l'IA, ayant bénéficié de vastes ressources au sein de la division « recherche fondamentale en IA » de Meta. Sa démission imminente, corroborée par plusieurs rapports crédibles, intervient à un moment où Meta, comme de nombreux géants de la technologie, investit massivement dans l'IA, recrute les meilleurs talents et, selon le PDG Mark Zuckerberg, se rapproche même de la « superintelligence ».

Cependant, LeCun laisse depuis longtemps entendre son scepticisme. Il est devenu célèbre pour ses critiques à l'égard des architectures LLM actuelles, déclarant dès avril dernier qu'« un LLM est fondamentalement une sortie de secours, une distraction, une impasse ». Cette position a suscité une certaine controverse, des critiques comme Gary Marcus soulignant un revirement apparent après que LeCun ait précédemment défendu les LLM. Néanmoins, la conviction de LeCun est claire : le simple fait d'augmenter la taille des LLM existants ne permettra pas d'obtenir une véritable intelligence.


Une analyse récente suggère que des dynamiques internes potentielles ont contribué à la décision de LeCun. L'été dernier, Alexandr Wang, 28 ans, co-créateur du ChatGPT, une application basée sur le LLM, a été nommé responsable de l'IA chez Meta, devenant ainsi le supérieur hiérarchique de LeCun. De plus, Shengjia Zhao, un autre scientifique en chef relativement jeune vantant les « percées » en matière de mise à l'échelle, a rejoint Meta cette année, au-dessus de LeCun. Ces nominations soulignent un pivot stratégique au sein de Meta vers les approches de mise à l'échelle LLM auxquelles LeCun a perdu confiance. Le fonctionnement de l'IA chez Meta est décrit comme ayant un organigramme excentrique, composé de plusieurs groupes distincts, qui a vu des centaines de licenciements le mois dernier dans le cadre d'un effort de rationalisation.

Des rapports indiquent que LeCun pourrait créer une nouvelle start-up dédiée au développement de « modèles mondiaux ». Il n'a cessé d'expliquer pourquoi ces modèles sont la clé de l'avenir de l'intelligence artificielle. Dans un discours détaillé prononcé lors du sommet AI Action Summit à Paris, LeCun, qui a travaillé sur les lunettes intelligentes de Meta mais moins sur son LLM Llama, a souligné la nécessité cruciale pour l'IA future, en particulier dans les appareils portables, de comprendre le monde comme le font les humains.

Il affirme que les LLM actuels « ne peuvent même pas reproduire l'intelligence d'un chat ou d'un rat, sans parler de celle d'un chien ». Selon lui, les animaux accomplissent des « exploits incroyables » parce qu'ils comprennent le monde physique, planifient des actions complexes et possèdent des modèles causaux. C'est cette compréhension fondamentale qui, selon LeCun, fait défaut aux LLM.

Pour illustrer cette limitation, LeCun propose une expérience de pensée convaincante : « Si je vous dis : « Imaginez un cube flottant dans les airs devant vous. Maintenant, faites pivoter ce cube de 90 degrés autour d'un axe vertical. À quoi ressemble-t-il ? » Il est très facile pour vous d'avoir en quelque sorte ce modèle mental d'un cube en rotation. »

Si un LLM peut facilement générer une description, il ne peut pas vraiment « interagir » avec le cube, mentalement ou physiquement. LeCun attribue cela à la différence inhérente entre les données textuelles sur lesquelles les LLM sont entraînés (équivalentes à 450 000 années de lecture) et les vastes données sensorielles (vue, toucher) qu'un enfant traite en quelques années seulement (estimées à 1,4 x 10 puissances 14 octets). Cette abstraction souligne sa conviction que les LLM sont fondamentalement limités d'une manière que les modèles mondiaux visent à surmonter.

LeCun envisage des modèles de monde qui maintiennent une « estimation de l'état du monde » actuelle grâce à des représentations abstraites. Contrairement aux prédictions séquentielles et tokenisées des LLM, son modèle idéal « prédirait l'état du monde qui résulterait après avoir effectué cette séquence d'actions ». Selon lui, ces systèmes sophistiqués permettront aux informaticiens de créer une IA capable de planification hiérarchique, de raisonnement et dotée de fonctionnalités de sécurité intrinsèquement plus robustes. Plutôt que d'être des « boîtes noires mystérieuses » affinées par un réglage fin, les modèles de monde auraient leurs mécanismes de contrôle directement intégrés dans leur architecture.

LeCun suggère que, tandis que l'IA classique, comme les moteurs de recherche, réduit les problèmes à une question d'optimisation, son modèle de monde rechercherait la compatibilité entre différents états du monde, identifiant des solutions efficaces à l'aide d'une « fonction énergétique qui mesure l'incompatibilité ».

Si LeCun a déjà commencé à explorer les modèles de monde chez Meta, ses prochaines étapes précises et le lancement d'une nouvelle entreprise restent à confirmer. Ses déclarations publiques, bien que détaillées, dépeignent un projet ambitieux, une quête de percée comparable à celle de ChatGPT, mais dans une direction fondamentalement différente. Une telle entreprise nécessiterait sans aucun doute beaucoup de temps, des investissements considérables et pourrait prendre des années, voire plus, avant de donner des résultats vraiment remarquables.

Ces rapports interviennent alors que l'industrie de l'IA est confrontée à une pénurie critique de données d'entraînement de haute qualité. La raréfaction des données crée un goulot d'étranglement pour les progrès des grands modèles de langages (LLM). Elle induit également une dépendance accrue à l'égard des données synthétiques. Ce qui risque de submerger les modèles avec des résultats de mauvaise qualité, et influencer les futurs systèmes d'IA. Mais pour l'instant, les entreprises possèdent encore de vastes quantités de données propriétaires inexploitées, ce qui constitue une ressource importante pour le développement de l'IA en entreprise malgré la pénurie mondiale de données.

Ce changement potentiel de la part de Yann LeCun, l'un des plus grands esprits de l'IA, marque un tournant décisif, remettant en question le paradigme dominant et ouvrant de nouvelles perspectives pour l'avenir de la recherche en intelligence artificielle.

Et vous ?

Pensez-vous que ces rapports sont crédibles ou pertinents ?
Quel est votre avis sur le sujet ?

Voir aussi :

Yann LeCun affirme que l'AGI est inévitable, mais qu'elle n'arrivera pas l'année prochaine et qu'elle ne sera pas uniquement l'œuvre des LLM. Il propose une piste pour créer une IA de niveau humain

Alors que les progrès des LLM ralentissent, les entreprises d'IA investissent massivement dans les « modèles de monde » capables de comprendre les environnements humains et simuler la réalité au-delà du texte

Le recrutement massif de talents en IA par Zuckerberg alimente un chaos interne marqué par des départs précipités et des menaces de démission massive : des initiés évoquent une absence de vision claire