Un ingénieur sénior de Google affirme que l'entreprise est en train de perdre la course à l'IA au profit de la communauté open source

Et ajoute qu'OpenAI est également dans la même situation

Un document prétendument rédigé par un ingénieur sénior de Google affirme que Google perd progressivement son avance dans le domaine de l'IA au profit de la communauté open source. Le mémo explique que Google a concentré toute son attention sur sa rivalité avec OpenAI et a oublié de surveiller de près ce qui se passait dans la communauté des logiciels libres, mais qu'en fin de compte, ni Google ni OpenAI ne l'emportera. Il indique que, pendant que Google et OpenAI se querellaient, l'open source a pris les devants dans cette course. Le document a été divulgué jeudi dernier et suggère que les Big Tech sont loin d'avoir une mainmise sur le marché de l'IA.

Google serait en train de perdre la course à l'IA au profit de la communauté open source

Ce serait actuellement la confusion au sein des équipes spécialisées dans l'IA chez Google. Après que le PDG Sundar Pichai a lancé une alerte rouge en décembre afin de développer rapidement un concurrent à ChatGPT pour éviter que le chatbot d'IA d'OpenAI concentre toute l'attention du public, la réponse de Google - Bard - n'a pas répondu aux attentes de Wall Street et n'a pas suscité un grand enthousiasme comme son rival. Mais encore, certains ingénieurs affirment désormais que les produits d'IA de l'entreprise manquent de plus en plus d'une "sauce secrète" qui ferait la différence et conforterait sa position de leader dans la course à l'IA.

Sur la base de ce constat, un ingénieur sénior de Google a écrit dans un document ayant récemment fait l'objet de fuite que la firme de Redmond n'est tout simplement pas en mesure de gagner la course mondiale à l'IA. Le document a été publié anonymement par le soc SemiAnalysis, mais Bloomberg a ensuite identifié Luke Sernau, ingénieur chez Google, comme étant l'auteur du mémo. Le profil LinkedIn de Sernau montre qu'il est diplômé en mathématiques et qu'il travaille chez Google en tant qu'ingénieur principal depuis mars 2019. Il a auparavant passé quatre ans chez Meta sur les insights automatisés et l'infrastructure d'apprentissage automatique.


Selon l'ingénieur, l'IA open source pourrait finir par surpasser les modèles de langages propriétaires de Google, Meta et OpenAI. Le mémo met en cause la stratégie de Google pour freiner la montée en puissance du laboratoire d'IA OpenAI. Selon l'analyse de l'ingénieur, cette rivalité a aveuglé Google et a empêché l'entreprise de voir le travail qui s'abattait du côté de la communauté open source. Cette dernière aurait progressé rapidement, formant des modèles d'IA qui s'avèrent parfois plus intéressants que les modèles propriétaires de Google OpenAI. Le document suggère que Google et OpenAI pourraient payer très cher cette ignorance à l'avenir.

« Nous avons beaucoup regardé par-dessus nos épaules à OpenAI. Qui franchira la prochaine étape ? Quel sera le prochain mouvement ? Mais la vérité désagréable est que nous ne sommes pas en position de gagner cette course aux armements et qu'OpenAI non plus. Pendant que nous nous chamaillions, une troisième faction a tranquillement mangé notre déjeuner. Je parle, bien sûr, de l'open source », peut-on lire dans le document rédigé par l'ingénieur Sernau. Selon ce dernier, le géant de la recherche en ligne n'en fait pas assez pour maintenir son avance, ce qui lui fait prendre un retard considérable par rapport à la communauté des logiciels libres.

Le mémo indique que la poursuite du développement de modèles d'IA propriétaires pourrait rendre Google et OpenAI inutiles, car les modèles open source progressent rapidement. Il cite des exemples de progrès récents, tels que des modèles d'IA fonctionnant sur des téléphones, des modèles multimodaux s'entraînant en moins d'une heure et des réglages personnalisés de l'IA sur des ordinateurs portables. Il s'agirait des premiers signes de l'évolution rapide de l'aspect open source de l'IA générative. Ce paradigme de développement rapide et abordable est à l'opposé du système fermé dans lequel OpenAI et Google ont développé leurs modèles de langage.

La construction d'un modèle d'IA open source coûterait moins cher qu'un modèle propriétaire

OpenAI a dépensé 540 millions de dollars en 2022 pour développer et lancer ChatGPT. À tire de comparaison, des chercheurs de Stanford ont mis au point leur propre modèle d'IA, Alpaca, qui est semblable à ChatGPT avec seulement 600 dollars. L'expérience montre que les nouveaux systèmes d'IA avancés peuvent être facilement reproduits, et que cela ne nécessite même pas des coûts énormes. Bien que les chercheurs aient des difficultés à affiner leurs modèles pour les rendre moins toxiques, ils ont trouvé le moyen de les construire à moindres coûts, ce qui est un avantage majeur par rapport aux centaines de millions que coûtent les modèles propriétaires.


Selon l'analyse de Sernau, la genèse de cette innovation open source remonte à la fuite du grand modèle de de langage LLaMA de Meta. La version de LLaMA divulgué était relativement peu sophistiquée et manquait de fonctionnalités clés, mais un mois après sa publication, de nombreuses améliorations avaient été apportées. L'effort collectif d'"une planète entière de travail gratuit" consacré à l'innovation sur LLaMA a permis des progrès incroyables. Par exemple, le modèle Alpaca des chercheurs de Stanford a été conçu sur la base de la plateforme open source LLaMA de Meta. D'autres modèles open source, comme AutoGPT, sont également disponible.

Un autre modèle appelé Vicuna-13B a été entraîné pour seulement 300 dollars en utilisant un mécanisme de réglage fin très peu coûteux appelé "Low Rank Adaptation" (LoRA). Cette méthode, que Google et OpenAI n'utilisent pas pour l'instant, permet un réglage fin empilable plutôt qu'un réentraînement coûteux. Selon Sernau, ce qui est intéressant, c'est que Vicuna-13B a été publié trois semaines seulement après la fuite de LLaMA-13B. L'ingénieur juge le délai "extraordinairement" court et ajoute que cela met en évidence la vitesse de l'innovation dans le monde open source. Il aurait observé la même chose en ce qui concerne les IA de génération d'images.

Sernau affirme que les racines open source de Stable Diffusion lui ont permis de devancer Dall-E d'OpenAI. « Le modèle ouvert a permis des intégrations de produits, des places de marché, des interfaces utilisateur et des innovations qui n'ont pas eu lieu pour Dall-E », note-t-il. Le mémo de Sernau semble vouloir servir de rappel à l'ordre pour la stratégie de Google en matière d'IA. Il affirme que la concurrence directe avec la communauté open source est une proposition perdante et que Google devrait s'orienter vers une offre open source, un peu comme sa stratégie derrière le navigateur Chrome et le système d'exploitation Android.

« Plus nous contrôlons étroitement nos modèles de langage, plus nous rendons les alternatives ouvertes attrayantes. Google devrait s'imposer en tant que leader de la communauté open source, en prenant les devants et en coopérant avec le plus grand nombre, plutôt qu'en l'ignorant », a-t-il écrit. L'argument central du mémo rédigé par l'ingénieur de Google a divisé la communauté technologique. Certains se sont réjouis de son analyse et d'autres non. « Il serait inattendu et glorieux que Google soit le premier des grandes entreprises technologiques à être totalement décimé par la concurrence technologique », a tweeté un observateur.

Les défis auxquels la communauté open source pourrait faire face dans la course à l'IA

Si certains pensent que Google et ses rivaux Meta et OpenAI pourraient perdre la course à l'IA, d'autres sont sceptiques. Le PDG de Stability AI, Emad Mostaque, a réagi : « bien que cet article corresponde en grande partie à notre thèse, je pense qu'il ne comprend pas bien ce que sont réellement les fossés. Il est [très] difficile de construire une entreprise avec l'innovation comme douve, l'exigence de base est trop élevée. Les données, la distribution, les bons produits sont des douves. Microsoft et OpenAI peuvent très bien prospérer en raison de leur partenariat, car l'écosystème qui se construit autour des plug-ins OpenAI est fantastique ».

Google “We Have No Moat, And Neither Does OpenAI”

Leaked Internal Google Document Claims Open Source AI Will Outcompete Google & OpenAI

The leaked article is a good analysis of the current landscape of open-source models from a researcher...

La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.