Google s'est emparé de la première place du prestigieux classement Chatbot Arena grâce à son modèle d'intelligence artificielle (IA) expérimental Gemini-Exp-1206. Surpassant GPT-4o d'OpenAI, le modèle Gemini-Exp-1206 dispose d'une fenêtre contextuelle de 2 millions de jetons, lui permettant de traiter plus d'une heure de contenu vidéo. Par ailleurs, en offrant gratuitement son modèle avancé, Google fait monter les enchères, défiant ainsi les services payants d'OpenAI.Gemini, rappelons-le, est une famille de grands modèles de langage (LLM) multimodaux développés par Google DeepMind et servant de successeur à LaMDA et PaLM 2. Composé de Gemini Ultra, Gemini Pro, Gemini Flash, et Gemini Nano, la famille de LLM a été annoncé le 6 décembre 2023 et se positionne comme un concurrent du modèle GPT-4 d'OpenAI. Gemini alimente notamment le chatbot du même nom.
En septembre 2024, Google a annoncé de nouvelles mises à jour concernant la famille de modèles d'IA Gemini, en particulier la publication de deux nouveaux modèles (Gemini-1.5-Pro-002 et Gemini-1.5-Flash-002) et la réduction du prix de la version 1.5 Pro. Par ailleurs, l'entreprise a également apporté des améliorations aux modèles dont une limite de débit 2 fois plus élevées sur Gemini 1.5 Flash et environ 3 fois plus élevées sur Gemini 1.5 Pro ainsi qu'une sortie 2 fois plus rapide et une latence 3 fois plus faible.
Avec l'introduction de son modèle expérimental Gemini-Exp-1206, la société détenue par Alphabet a aujourd'hui repris la première place du classement respecté de Chatbot Arena, reléguant OpenAI à la deuxième place. Auparavant, la société de Sam Altman était en pole position avec son offre ChatGPT-4o, devançant de peu Gemini-Exp-114, qui a été lancé le 15 novembre.
Ces LLM concurrents ont été effectivement mis en concurrence, Google semblant combler l'écart avec son concurrent le plus proche.
La Chatbot Arena a rapporté que la nouvelle version de Google Gemini montrait une amélioration significative dans des catégories importantes telles que les mathématiques, l'écriture créative et les images, avec une amélioration de 40 points par rapport aux offres précédentes. Malgré cela, certains rapports ont souligné que l'approche actuelle de l'évaluation comparative de l'IA pourrait simplifier à l'extrême l'évaluation des modèles.
Il s'agit d'une question distincte, et Google ne doit pas s'inquiéter outre mesure pour l'instant, avec les impressionnantes références de Gemini-Exp-1206 désormais disponibles. OpenAI est le leader du marché des modèles d'IA avancés depuis un certain temps, mais Google a son rival dans sa ligne de mire.
Exp-1206, dont l'utilisation est gratuite, peut traiter et interpréter des contenus vidéo, contrairement à ses principaux concurrents, ChatGPT et Claude, qui se limitent aux images. Le modèle de Google possède une fenêtre contextuelle de 2 millions de jetons, ce qui signifie qu'il peut traiter plus d'une heure de contenu vidéo.
What a way to celebrate one year of incredible Gemini progress -- #1🥇across the board on overall ranking, as well as on hard prompts, coding, math, instruction following, and more, including with style control on.
— Jeff Dean (@🏡) (@JeffDean) December 6, 2024
Thanks to the hard work of everyone in the Gemini team and… https://t.co/BnjfUIexpU pic.twitter.com/i4Fof5KoWc
Google a pris le pas sur son principal adversaire en proposant Gemini-exp-1206 gratuitement via Google AI studio et l'API Gemini, tandis qu'OpenAI a décidé d'augmenter le prix de son service de premier plan.
C'est vraiment important, car les utilisateurs pourraient économiser 200 dollars pour un produit qui est essentiellement du même niveau. Cette performance sans coût supplémentaire fera réagir le marché et ouvrira les portes de l'accessibilité à l'IA.
Par ailleurs, dans le cadre de ses efforts pour démocratiser l'IA, Google a également lancé Gemini Live, un chatbot IA à commande vocale gratuit pour les utilisateurs d'Android. Cet outil permet aux utilisateurs d'interagir avec un assistant d'IA à l'aide de commandes vocales, en mettant l'accent sur la commodité et l'accessibilité. L'un des points forts de Gemini Live étant sa capacité à générer et à modifier des images sur la base de messages vocaux.
Source : Google
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les résultats de ce classement crédibles ou pertinents ?Voir aussi :
GPT-4o arrive en tête du classement des modèles d'IA les plus performants de LMSYS Chatbot Arena avec un score Elo de 1 289, surpassant ainsi Gemini Pro 1.5 de Google et Claude 3 Opus d'Anthropic Gemini 1.5 Pro de Google détrône GPT-4o sur le LMSYS Chatbot Arena, l'un des benchmarks les plus reconnus dans la communauté de l'IA L'IA Gemini de Google dispose désormais de sa propre application iPhone qui s'accompagne de la prise en charge Gemini Live, qui permet aux utilisateurs d'avoir des conversations naturelles avec le chatbot