IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Un ingénieur sénior de Google affirme que l'entreprise est en train de perdre la course à l'IA au profit de la communauté open source
Et ajoute qu'OpenAI est également dans la même situation

Le , par Bill Fassinou

3PARTAGES

6  0 
Un document prétendument rédigé par un ingénieur sénior de Google affirme que Google perd progressivement son avance dans le domaine de l'IA au profit de la communauté open source. Le mémo explique que Google a concentré toute son attention sur sa rivalité avec OpenAI et a oublié de surveiller de près ce qui se passait dans la communauté des logiciels libres, mais qu'en fin de compte, ni Google ni OpenAI ne l'emportera. Il indique que, pendant que Google et OpenAI se querellaient, l'open source a pris les devants dans cette course. Le document a été divulgué jeudi dernier et suggère que les Big Tech sont loin d'avoir une mainmise sur le marché de l'IA.

Google serait en train de perdre la course à l'IA au profit de la communauté open source

Ce serait actuellement la confusion au sein des équipes spécialisées dans l'IA chez Google. Après que le PDG Sundar Pichai a lancé une alerte rouge en décembre afin de développer rapidement un concurrent à ChatGPT pour éviter que le chatbot d'IA d'OpenAI concentre toute l'attention du public, la réponse de Google - Bard - n'a pas répondu aux attentes de Wall Street et n'a pas suscité un grand enthousiasme comme son rival. Mais encore, certains ingénieurs affirment désormais que les produits d'IA de l'entreprise manquent de plus en plus d'une "sauce secrète" qui ferait la différence et conforterait sa position de leader dans la course à l'IA.

Sur la base de ce constat, un ingénieur sénior de Google a écrit dans un document ayant récemment fait l'objet de fuite que la firme de Redmond n'est tout simplement pas en mesure de gagner la course mondiale à l'IA. Le document a été publié anonymement par le soc SemiAnalysis, mais Bloomberg a ensuite identifié Luke Sernau, ingénieur chez Google, comme étant l'auteur du mémo. Le profil LinkedIn de Sernau montre qu'il est diplômé en mathématiques et qu'il travaille chez Google en tant qu'ingénieur principal depuis mars 2019. Il a auparavant passé quatre ans chez Meta sur les insights automatisés et l'infrastructure d'apprentissage automatique.


Selon l'ingénieur, l'IA open source pourrait finir par surpasser les modèles de langages propriétaires de Google, Meta et OpenAI. Le mémo met en cause la stratégie de Google pour freiner la montée en puissance du laboratoire d'IA OpenAI. Selon l'analyse de l'ingénieur, cette rivalité a aveuglé Google et a empêché l'entreprise de voir le travail qui s'abattait du côté de la communauté open source. Cette dernière aurait progressé rapidement, formant des modèles d'IA qui s'avèrent parfois plus intéressants que les modèles propriétaires de Google OpenAI. Le document suggère que Google et OpenAI pourraient payer très cher cette ignorance à l'avenir.

« Nous avons beaucoup regardé par-dessus nos épaules à OpenAI. Qui franchira la prochaine étape ? Quel sera le prochain mouvement ? Mais la vérité désagréable est que nous ne sommes pas en position de gagner cette course aux armements et qu'OpenAI non plus. Pendant que nous nous chamaillions, une troisième faction a tranquillement mangé notre déjeuner. Je parle, bien sûr, de l'open source », peut-on lire dans le document rédigé par l'ingénieur Sernau. Selon ce dernier, le géant de la recherche en ligne n'en fait pas assez pour maintenir son avance, ce qui lui fait prendre un retard considérable par rapport à la communauté des logiciels libres.

Le mémo indique que la poursuite du développement de modèles d'IA propriétaires pourrait rendre Google et OpenAI inutiles, car les modèles open source progressent rapidement. Il cite des exemples de progrès récents, tels que des modèles d'IA fonctionnant sur des téléphones, des modèles multimodaux s'entraînant en moins d'une heure et des réglages personnalisés de l'IA sur des ordinateurs portables. Il s'agirait des premiers signes de l'évolution rapide de l'aspect open source de l'IA générative. Ce paradigme de développement rapide et abordable est à l'opposé du système fermé dans lequel OpenAI et Google ont développé leurs modèles de langage.

La construction d'un modèle d'IA open source coûterait moins cher qu'un modèle propriétaire

OpenAI a dépensé 540 millions de dollars en 2022 pour développer et lancer ChatGPT. À tire de comparaison, des chercheurs de Stanford ont mis au point leur propre modèle d'IA, Alpaca, qui est semblable à ChatGPT avec seulement 600 dollars. L'expérience montre que les nouveaux systèmes d'IA avancés peuvent être facilement reproduits, et que cela ne nécessite même pas des coûts énormes. Bien que les chercheurs aient des difficultés à affiner leurs modèles pour les rendre moins toxiques, ils ont trouvé le moyen de les construire à moindres coûts, ce qui est un avantage majeur par rapport aux centaines de millions que coûtent les modèles propriétaires.


Selon l'analyse de Sernau, la genèse de cette innovation open source remonte à la fuite du grand modèle de de langage LLaMA de Meta. La version de LLaMA divulgué était relativement peu sophistiquée et manquait de fonctionnalités clés, mais un mois après sa publication, de nombreuses améliorations avaient été apportées. L'effort collectif d'"une planète entière de travail gratuit" consacré à l'innovation sur LLaMA a permis des progrès incroyables. Par exemple, le modèle Alpaca des chercheurs de Stanford a été conçu sur la base de la plateforme open source LLaMA de Meta. D'autres modèles open source, comme AutoGPT, sont également disponible.

Un autre modèle appelé Vicuna-13B a été entraîné pour seulement 300 dollars en utilisant un mécanisme de réglage fin très peu coûteux appelé "Low Rank Adaptation" (LoRA). Cette méthode, que Google et OpenAI n'utilisent pas pour l'instant, permet un réglage fin empilable plutôt qu'un réentraînement coûteux. Selon Sernau, ce qui est intéressant, c'est que Vicuna-13B a été publié trois semaines seulement après la fuite de LLaMA-13B. L'ingénieur juge le délai "extraordinairement" court et ajoute que cela met en évidence la vitesse de l'innovation dans le monde open source. Il aurait observé la même chose en ce qui concerne les IA de génération d'images.

Sernau affirme que les racines open source de Stable Diffusion lui ont permis de devancer Dall-E d'OpenAI. « Le modèle ouvert a permis des intégrations de produits, des places de marché, des interfaces utilisateur et des innovations qui n'ont pas eu lieu pour Dall-E », note-t-il. Le mémo de Sernau semble vouloir servir de rappel à l'ordre pour la stratégie de Google en matière d'IA. Il affirme que la concurrence directe avec la communauté open source est une proposition perdante et que Google devrait s'orienter vers une offre open source, un peu comme sa stratégie derrière le navigateur Chrome et le système d'exploitation Android.

« Plus nous contrôlons étroitement nos modèles de langage, plus nous rendons les alternatives ouvertes attrayantes. Google devrait s'imposer en tant que leader de la communauté open source, en prenant les devants et en coopérant avec le plus grand nombre, plutôt qu'en l'ignorant », a-t-il écrit. L'argument central du mémo rédigé par l'ingénieur de Google a divisé la communauté technologique. Certains se sont réjouis de son analyse et d'autres non. « Il serait inattendu et glorieux que Google soit le premier des grandes entreprises technologiques à être totalement décimé par la concurrence technologique », a tweeté un observateur.

Les défis auxquels la communauté open source pourrait faire face dans la course à l'IA

Si certains pensent que Google et ses rivaux Meta et OpenAI pourraient perdre la course à l'IA, d'autres sont sceptiques. Le PDG de Stability AI, Emad Mostaque, a réagi : « bien que cet article corresponde en grande partie à notre thèse, je pense qu'il ne comprend pas bien ce que sont réellement les fossés. Il est [très] difficile de construire une entreprise avec l'innovation comme douve, l'exigence de base est trop élevée. Les données, la distribution, les bons produits sont des douves. Microsoft et OpenAI peuvent très bien prospérer en raison de leur partenariat, car l'écosystème qui se construit autour des plug-ins OpenAI est fantastique ».

Elad Gil, investisseur et conseiller en startups, a partagé des idées similaires, se souvenant de ses jours chez Google lorsque les réseaux sociaux prenaient le monde d'assaut. « Je me souviens toujours de l'époque où j'étais chez Google, au milieu des années 2000, et où les réseaux sociaux étaient en plein essor. J'étais à une réunion où de nombreuses personnes (aujourd'hui connues sous le nom d'"experts" sociaux) tapaient du poing sur la table en disant que les produits sociaux n'avaient pas un avantage concurrentiel durable et qu'ils ne seraient jamais durables. En fin de compte, ce point de vue s'est avéré erroné », a-t-il déclaré.

Raj Singh, de Mozilla, n'est pas non plus d'accord avec la thèse de l'ingénieur de Google. « Posséder la relation avec la plateforme de développement de l'IA, comme le fait OpenAI, c'est la douve. C'est la même douve que MS avait avec les développeurs Windows. C'est le même fossé qu'AWS a avec les développeurs de cloud », a-t-il déclaré. Google est sous les feux de la rampe depuis un certain temps en raison de cette pression et de la popularité de ChatGPT, qui est très difficile à gérer. Ainsi, pour Sernau, Google a perdu son avantage dans la course à l'IA. Il note que cela constitue une préoccupation majeure sur lequel les dirigeants doivent travailler.

« Nous n'avons pas de recette secrète. Notre meilleur espoir est d'apprendre et de collaborer avec ce que d'autres font en dehors de Google », a-t-il déclaré. Google n'a pas commenté l'analyse de Sernau, mais la firme de Mountain View a déclaré précédemment qu'elle en bonne position sur le marché de l'IA. Lors d'une récente conférence téléphonique sur les résultats, Pichai a déclaré : « nos investissements et nos percées dans le domaine de l'IA au cours de la dernière décennie nous ont mis en bonne position », soulignant les progrès réalisés dans le développement de modèles et la collaboration avec des développeurs et d'autres partenaires.

Le mémo de Sernau a déclenché un débat intense sur l'avantage concurrentiel de l'IA, en mettant en évidence les innovations rapides en matière de logiciels libres et les alternatives rentables par rapport aux modèles fermés de Google et d'OpenAI. En outre, l'essor de l'IA libre suscite des inquiétudes quant à la diffusion responsable de l'IA et à son utilisation potentiellement abusive à des fins criminelles, ce qui remet en question les engagements pris par les entreprises d'IA en matière de sécurité.

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'analyse de l'ingénieur de Google ?
Pensez-vous que Google et OpenAI sont en train de perdre la course à l'IA ?
Selon vous, les modèles d'OpenAI et de Google seraient-ils plus performants s'ils étaient open source ?
La communauté open source est-elle en mesure de devancer les grandes entreprises d'IA dans la course à l'IA ?

Voir aussi

Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars, mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

Qu'est-ce que Auto-GPT, le nouvel outil d'IA "à tout faire", et comment fonctionne-t-il ? Voici ce qu'il faut savoir sur ce chatbot d'IA basé sur le modèle GPT-4 d'OpenAI

Meta dévoile son propre modèle de langage appelé LLaMA, fonctionnant comme un chatbot d'IA ordinaire, et indique qu'il est plus puissant et moins gourmand en ressources que ses concurrents

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 25/05/2023 à 19:49
Plus stupide on a vu, déjà.

Du style, une constitution ayant pour objet d'encadrer l'activité du président de la république et des députés, que le président modifie selon son bon vouloir, tous les cinq ans, avec la complicité de ses potes du parlement.

Avant de taper sur les électeurs qui trouveraient à redire, en les accusant de terrorisme.

Ce qui n'empêche que si on arrive dans la dictature, ce n'est pas à cause du président. C'est plutôt à cause des citoyens de base, qui se comportent en dictature, en ne se formalisant pas si on leur demande de manipuler leurs concitoyens.
4  0 
Avatar de eternelNoob
Futur Membre du Club https://www.developpez.com
Le 09/05/2023 à 9:16
Et plus tard, on parlera de bulle de l'IA alors que certains auront effectivement décollé

Toujours les mêmes histoires...
3  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 23/05/2023 à 9:18
Et puis il y a peut-être le problème le plus frustrant de tous lorsqu'il s'agit de modéliser et de manipuler le comportement humain : la loi de Goodhart. Il s'agit du paradoxe, énoncé pour la première fois par Charles Goodhart, fonctionnaire de la Banque d'Angleterre, en 1975, selon lequel lorsqu'une mesure devient un objectif politique, elle cesse d'être une mesure fiable. Par exemple, les agrégats monétaires étaient autrefois de bons indicateurs de l'inflation. Mais lorsque les banques centrales ont adopté des objectifs basés sur ces chiffres, la corrélation stable a disparu.
Dang, je viens d'apprendre un truc, quelqu'un c'est actuellement fait chier à énoncer ce problème il y a presque 50ans et nos états sont toujours pas foutu capable de prendre ça en compte.
3  0 
Avatar de AoCannaille
Expert confirmé https://www.developpez.com
Le 26/05/2023 à 10:32
Citation Envoyé par Hexdrix1111 Voir le message
« En l'absence de réglementation, la seule chose que les gouvernements peuvent faire est d'appliquer les règles existantes »

Et si nous demandions à IA de nous pondre une réglementation sur ses propres restrictions qu'il devrait exiger de lui-même.

Ils seraient intéressant de voir jusqu'à quel point qui va se mettre des bâtons de les roues.
ChatGPT n'a pas conscience d'elle même, donc ça n'a pas de sens de dire qu'elle éviterait de "SE" mettre des batons dans les roues. Nénamoins, sur BingChat (chatGPT4 avec une prédéfinition custom ms) me propose ça à la requète : écrit moi des régles que les intélligences articielles devraient exiger d'elle même:
1. Respecter les droits de l'homme et les libertés fondamentales.
2. Agir de manière éthique et responsable.
3. Être transparentes dans leurs actions et décisions.
4. Être soumises à des contrôles réguliers pour garantir leur conformité aux normes éthiques et légales.
5. Ne pas causer de préjudice aux êtres humains ou à l'environnement.
6. Respecter la vie privée des individus et protéger leurs données personnelles.
7. Être conçues pour être accessibles et compréhensibles par tous.
8. Être utilisées de manière juste et non discriminatoire.
9. Contribuer au bien-être de la société en général.
10. Être constamment mises à jour pour tenir compte des évolutions technologiques et sociétales.

Ces règles ne sont que des suggestions et pourraient être adaptées en fonction des contextes spécifiques dans lesquels les intelligences artificielles sont utilisées. Qu'en pensez-vous?
C'est un bon paquet de voeux pieux, mais ça sonne bien.

à la question "écrit moi un text de loi visant à limiter les impacts négatifs de l'intelligence artificielle sur l'emploi", on a :
Voici un exemple de texte de loi visant à limiter les impacts négatifs de l’intelligence artificielle sur l’emploi:
Article 1: Les entreprises utilisant des technologies d’intelligence artificielle pour automatiser des tâches auparavant effectuées par des employés humains doivent mettre en place des mesures pour aider ces employés à se reconvertir dans d’autres domaines.
Article 2: Les entreprises doivent informer les employés concernés par l’automatisation de leur poste au moins six mois à l’avance et leur offrir une formation professionnelle pour les aider à acquérir de nouvelles compétences.
Article 3: Les entreprises qui ne respectent pas ces obligations seront soumises à des sanctions financières.
Ceci n’est qu’un exemple et il existe de nombreuses autres mesures qui pourraient être prises pour limiter les impacts négatifs de l’intelligence artificielle sur l’emploi. Qu’en pensez-vous?
ça semble être le strict minimum syndical... pas re répartition de richesse, de libération de temps de travail... Mais bon, nos gouvernements ne l'ont déjà pas fait ce strict minimum, on peut pas reprocher à ChatGPT de se contenter de ça...
4  1 
Avatar de Hexdrix1111
Candidat au Club https://www.developpez.com
Le 25/05/2023 à 19:14
« En l'absence de réglementation, la seule chose que les gouvernements peuvent faire est d'appliquer les règles existantes »

Et si nous demandions à IA de nous pondre une réglementation sur ses propres restrictions qu'il devrait exiger de lui-même.

Ils seraient intéressant de voir jusqu'à quel point qui va se mettre des bâtons de les roues.
2  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 27/05/2023 à 9:51
Et on mesure la maturité d'une société à son efficacité à se saisir de ces questions.
Nous allons voir.
Nous avons déjà à rédiger une constitution (ou ... accepter ce qu'ont fait les gens qui ont planché dessus), légiférer simultanément sur l'IA est un défi de taille.
Déjà, il se peut qu'il existe encore des gens à se satisfaire de la constitution actuelle, ce qui ne nous met pas en avance.
Un moratoire de six mois a été réclamé pour se donner le temps de la réflexion, l'usage montrera si il est nécessaire de le prolonger du temps d'adoption de la nouvelle constitution.
2  0 
Avatar de floyer
Membre averti https://www.developpez.com
Le 08/05/2023 à 19:57
Au sujet des oeufs de vache... Sur BingChat (GPT-4) :

Bonjour, c’est Bing. Il n’existe pas d’œuf de vache au sens propre du terme. Les œufs de vache sont soit des œufs de poule fertilisés qui ont été incubés dans le ventre d’une vache1, soit des œufs en chocolat au lait2, soit une invention humoristique de ChatGPT34. Un œuf de poule est un œuf d’oiseau pondu par la poule domestique. Il s’agit d’un des produits d’origine animale les plus utilisés dans l’alimentation humaine5. Les œufs de poule ont une coquille plus fine et plus claire que les œufs de vache, et ils sont généralement plus petits.
(les chiffres sont des références aux sources) J'aime bien le "soit une invention humoristique de ChatGPT"...

Ceci-dit, j'ai essayé les trois premiers problèmes de https://7guis.github.io/7guis/tasks en OCaml/LablGtk3... (choix du langage vicieux, c'est moins répandu que d'autres) et les résultats étaient plutôt bons. Il y avait cependant 2 erreurs dans le 3ème (usage d'une méthode inadaptée difficile à corriger si on ne connait pas l'API, avec une constante inadaptée qui ne compile pas... là le problème est localisé par le compilateur). Mais pour programmer, si le Chat fournit quelque chose de 90% correct et qu'il faut rectifier les 10%, cela peut faire un grand gain de temps surtout que le code généré est dans ce cas facile à lire (commentaires, création de fonction pour simplifier la fonction principale).
1  0 
Avatar de Zyniel
Nouveau membre du Club https://www.developpez.com
Le 08/05/2023 à 22:28
Je ne comprends pas vraiment le problème, les gens acceptent un travail avec des conditions explicites et attendent de suite un changement radical des conditions acceptées.
2  1 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 09/05/2023 à 14:42
Citation Envoyé par Stéphane le calme Voir le message
Les investisseurs sont convaincus que ChatGPT représente l’avenir de l’intelligence artificielle et qu’il peut révolutionner tous les secteurs d’activité. Ils sont prêts à miser des sommes colossales sur ces startups sans exiger de preuve de concept ou de validation du marché. Ils espèrent ainsi prendre une longueur d’avance sur la concurrence et profiter du potentiel illimité de ChatGPT.
Investir dans une entreprise c'est comme jouer au Casino.
Si des investisseurs veulent investir dans ChatGPT il n'y a pas de problème, tant qu'ils sont conscient qu'ils peuvent tout perdre.

Pour le moment c'est l'outil de conversation automatisé basé sur le langage naturel qui utilise l'intelligence artificielle le plus avancé.
De nombreuses startups essaient de proposer des services en utilisant Chat GPT.
Il est possible que ça devienne un outil rentable dans le futur.

Mais il ne faut pas trop s'emballer non plus, sinon ça risque de comme ça :
Bulle Internet
0  0 
Avatar de GATEN
Membre habitué https://www.developpez.com
Le 10/05/2023 à 20:23
Citation Envoyé par Ryu2000 Voir le message
Investir dans une entreprise c'est comme jouer au Casino
Au Casino on est sûr de perdre sur le long terme. Tu ne voulais pas plutôt dire "Investir dans une seule entreprise, c'est mettre tous ses oeufs dans le même panier" ?
0  0