Google a annoncé PaLM 2, un modèle de langage qui rivalise avec GPT-4 d’OpenAI. PaLM 2 peut générer du code, traduire des langues et « raisonner » de manière plus performante que GPT-4, selon Google. PaLM 2 est utilisé dans 25 produits de Google, dont son assistant conversationnel Bard. PaLM 2 se décline en quatre tailles : Gecko, Otter, Bison, Unicorn. Google n’a pas révélé le nombre de paramètres de PaLM 2, ni son impact environnemental ou éthique.Mercredi, Google a présenté PaLM 2, une famille de modèles de langage fondamentaux comparables au GPT-4 d'OpenAI. Lors de son événement Google I/O à Mountain View, en Californie, Google a révélé qu'il utilisait déjà PaLM 2 pour alimenter 25 produits, dont son assistant d'IA conversationnel Bard. PaLM 2 est le modèle de langage de Google étendu de nouvelle génération, qui s'appuie sur l'héritage de Google en matière de recherche de pointe dans le domaine de l'apprentissage automatique et de l'IA responsable.
Il excelle dans les tâches de raisonnement avancées, notamment le code et les mathématiques, la classification et la réponse aux questions, la traduction et la maîtrise du multilinguisme, ainsi que la génération de langage naturel, mieux que nos précédents LLM de pointe, y compris le PaLM. Il peut accomplir ces tâches grâce à la manière dont il a été construit, en combinant une mise à l'échelle informatique optimale, un meilleur mélange d'ensembles de données et des améliorations de l'architecture du modèle.
Selon Google, PaLM 2 est fondé sur l'esprit de l’entreprise en matière de construction et de déploiement de l'IA de manière responsable. Il a fait l'objet d'une évaluation rigoureuse de ses inconvénients et biais potentiels, de ses capacités et de ses utilisations en aval dans le cadre de la recherche et des applications en cours de production. Il est utilisé dans d'autres modèles de pointe, tels que Med-PaLM 2 et Sec-PaLM, et comme dit précédemment, alimente des fonctions et des outils d'IA générative chez Google, tels que Bard et l'API PaLM.
En tant que famille de grands modèles de langage (LLM), le PaLM 2 a été entraîné sur un énorme volume de données et permet de prédire le mot suivant, c'est-à-dire de produire le texte le plus probable après la saisie dans l’invite par l’utilisateur. PaLM est l'abréviation de « Pathways Language Model », et « Pathways » est une technique d'apprentissage automatique créée par Google. PaLM 2 fait suite au PaLM original, annoncé par Google en avril 2022.
Selon Google, PaLM 2 prend en charge plus de 100 langues et peut effectuer du "raisonnement", de la génération de code et de la traduction multilingue. Lors de sa présentation à la conférence Google I/O de 2023, Sundar Pichai, PDG de Google, a déclaré que le PaLM 2 était disponible en quatre tailles : Gecko, Otter, Bison, Unicorn. Gecko est le plus petit et pourrait fonctionner sur un appareil mobile. Outre Bard, PaLM 2 est à l'origine des fonctionnalités d'IA dans Docs, Sheets et Slides.
Comment le PaLM 2 a été construit et évalué
PaLM 2 serait excellent dans des tâches telles que le raisonnement avancé, la traduction et la génération de code en raison de la manière dont il a été construit. Il améliore son prédécesseur, PaLM, en unifiant trois avancées distinctes en matière de recherche sur les grands modèles de langage :
- utilisation de la mise à l'échelle optimale : l'idée de base de la mise à l'échelle optimale pour le calcul est de mettre à l'échelle la taille du modèle et la taille de l'ensemble de données d'apprentissage proportionnellement l'une à l'autre. Cette nouvelle technique rend PaLM 2 plus petit que PaLM, mais plus efficace avec une performance globale meilleure, y compris une inférence plus rapide, moins de paramètres à servir et un coût de service plus faible ;
- mélange de données amélioré : les LLM précédents, comme le PaLM, utilisaient des ensembles de données de préentraînement constitués principalement de textes en anglais uniquement. PaLM 2 améliore son corpus avec un mélange de préentraînement plus multilingue et plus diversifié, qui comprend des centaines de langues humaines et de programmation, des équations mathématiques, des articles scientifiques et des pages web ;
- mise à jour de l'architecture et de l'objectif du modèle : PaLM 2 a une architecture améliorée et a été entraîné sur une variété de tâches différentes, ce qui permet à PaLM 2 d'apprendre différents aspects du langage.
PaLM 2 se compare-t-il favorablement à GPT-4 ?
Selon le rapport technique de PaLM 2, PaLM 2 surpasse GPT-4 dans certains domaines comme les mathématiques, la traduction et le raisonnement. Mais les résultats de Google pourraient ne pas refléter la réalité. Ethan Mollick, un professeur de Wharton spécialisé dans l’IA, a évalué sommairement la version PaLM 2 de Bard et a trouvé que PaLM 2 était moins performant que GPT-4 et Bing dans divers tests de langage informel, qu’il a partagés dans un fil Twitter.
La famille de modèles de langage PaLM était un produit interne de Google Research sans accès public jusqu’à récemment, mais Google a offert un accès limité à l’API en mars. Le premier PaLM se distinguait par sa taille énorme : 540 milliards de paramètres. Les paramètres sont des variables numériques qui représentent les « connaissances » apprises par le modèle, qui lui permettent de faire des prédictions et de générer du texte en fonction des entrées qu’il reçoit.
Source : Google
Et vous ?
Quels sont les avantages et les inconvénients de l’utilisation de PaLM 2 dans les produits de Google ? Selon vous, quels sont les risques de PaLM 2 pour la société, l’environnement et l’éthique ? À votre avis, quels peuvent être les défis et les limites de PaLM 2 et comment Google compte-t-il les surmonter ? Jusqu'où pourra aller la comparaison entre PaLM 2 et GPT-4 ?Voir aussi :
Microsoft annonce GPT-4, le modèle de langage, de type transformeur génératif préentraîné et assure qu'elle n'utilise pas les données de ses clients pour former ses modèles, il sera multimodal Google I/O 2023 : l'IA est désormais omniprésente dans les produits phares de Google, l'entreprise présente ses dernières innovations en matière de technologie, d'IA, de cloud computing Les managers qui utilisent l'IA remplaceront ceux qui ne le font pas, déclare un cadre d'IBM Annonce de la prochaine vague d'innovation en matière d'IA avec Microsoft Bing et Edge L'IA causera « des dommages réels » : Microsoft alerte sur les risques de son utilisation par des acteurs malveillants et appelle à une réglementation de l'IA face aux dangers potentiels Un ingénieur sénior de Google affirme que l'entreprise est en train de perdre la course à l'IA au profit de la communauté open source et ajoute qu'OpenAI est également dans la même situation