La startup xAI d'Elon Musk vient de dévoiler Grok 1.5, la nouvelle version du grand modèle de langage qui pilote son chatbot d'IA Grok. xAI a annoncé que Grok-1.5 bénéficie d'un "raisonnement amélioré", notamment pour les tâches liées au codage et aux mathématiques. Le nouveau modèle a plus que doublé le score de Grok-1 sur le benchmark mathématique populaire MATH et a obtenu plus de 10 points de pourcentage de plus sur le test HumanEval (de génération de code et de capacités de résolution de problèmes). Toutefois, malgré ses performances, Grok 1.5 reste à la traîne par rapport aux modèles tels que Gemini Pro 1.5, GPT-4 et Claude 3 Opus.Grok est un chatbot d'IA développé par la startup xAI lancée par Elon Musk l'année dernière. Musk a notamment lancé xAI pour développer un rival de ChatGPT, le chatbot d'OpenAI qu'il accuse d'être woke et de promouvoir les idées de gauche, tout en censurant les voix des conservateurs. Contrairement à ses rivaux, Grok a la capacité d'accéder à des informations en temps réel grâce à une intégration avec le réseau social X (ex-Twitter). En outre, Grok se différencie des autres par le fait qu'il est prêt à s'attaquer à des questions "épicées" et est programmé pour le faire d'une manière à la fois spirituelle et un peu rebelle.
Bien que la première version de Grok, Grok 1, ait fait sensation sur X, son côté "audacieux" et "rebelle" n'a pas attiré grand monde et il n'a pas suscité autant de réactions dans la communauté comme ses rivaux GPT-4 d'OpenAI et Claude d'Anthopic. L'entreprise a toutefois poursuivi ses développements et a annoncé mercredi que la version Grok 1.5 est prête. Le nouveau modèle sera bientôt disponible pour les utilisateurs payants existants et les premiers testeurs sur le réseau social X. Les nouvelles fonctionnalités comprennent "des capacités de raisonnement améliorées et une longueur de contexte de 128 000 jetons.
Pour mémoire, la longueur de contexte (ou fenêtre contextuelle) correspond au nombre de mots ou de pages que le modèle peut traiter en une seule fois. Une longueur de contexte de 128 000 jetons correspond à environ 100 000 mots ou 300 pages de livre. Cela signifie que Grok 1.5 peut traiter des questions plus complexes comportant davantage d'exemples. À titre de comparaison, Claude 3 Opus a une longueur de contexte de 200 000 jetons et celle de GPT-4 Turbo est de 128 000 jetons. Mistral Large, Mistral Medium, Mistral 8x7B et Gemini Pro ont chacun une longueur de contexte bien plus petite de 32 800 jetons.
À l'heure actuelle, aucun grand modèle de langage (LLM) ne dispose d'une longueur de contexte supérieure à 200 000 jetons. Les modèles Claude 3 Opus et Claude 3 Sonnet (dont la longueur de contexte est également de 200 000 jetons) détiennent donc le record en ce qui concerne la longueur de la fenêtre de contexte. Pour en revenir à Grok 1.5, les résultats des tests révèlent qu'il a plus que doublé le score de Grok-1 sur le benchmark "MATH" et a obtenu plus de 10 points de pourcentage de plus sur HumanEval (qui évalue les capacités en matière de génération de code informatique et de résolution de problèmes).
Plus précisément, Grok 1.5 a obtenu un score de 50,6 % sur le benchmark MATH et 90 % au test de référence GSM8K. Ces deux tests couvrent un large éventail de problèmes mathématiques allant de l'école primaire au niveau de compétition de l'école secondaire. Pour la génération de code et la résolution de problèmes, Grok-1.5 a obtenu un score de 74,1 % sur le test HumanEval. Sur le test de compréhension du langage MMLU, Grok 1.5 a obtenu un score d'environ 81 %. C'est un grand bond en avant par rapport aux 73 % de Grok-1, mais il est loin derrière les leaders actuels du marché GPT-4 et Claude 3 Opus.
Sur le benchmark MMLU, GPT-4 et Claude 3 Opus ont chacun obtenu un score d'environ 86 %. Dans le test "Needle in a Haystack" (l'aiguille dans une botte de foin), qui vérifie si le modèle d'IA peut trouver de manière fiable des informations spécifiques dans la fenêtre contextuelle, Grok 1.5 a obtenu un résultat parfait. Toutefois, ce test n'est pas très significatif, car il utilise le modèle comme une fonction de recherche coûteuse. Selon les experts du milieu, des éléments plus pertinents, mais beaucoup plus difficiles à tester, seraient le nombre d'erreurs ou d'omissions lors de la synthèse de documents très volumineux.
D'autres entreprises d'IA, telles que Google ou Anthropic, utilisent également ce critère finalement trompeur pour vanter les performances de la fenêtre contextuelle de leur modèle. Évoquant la fenêtre contextuelle de Grok-1.5, xAI a déclaré dans un billet de blogue : « Grok-1.5 peut utiliser des informations provenant de documents beaucoup plus longs. En outre, le modèle peut gérer des invites plus longues et plus complexes tout en conservant sa capacité à suivre les instructions au fur et à mesure que sa fenêtre contextuelle s'agrandit ». Google et Anthropic ont déjà fait des déclarations similaires précédemment.
Selon le billet de blogue, xAI met l'accent sur l'innovation, en particulier dans le cadre de la formation. Grok-1.5 serait basé sur un framework de formation distribué spécialisé construit sur JAX, Rust et Kubernetes. Cette pile de formation permettrait à l'équipe de prototyper des idées et de former de nouvelles architectures à l'échelle avec un minimum d'effort. L'entreprise explique : « l'un des plus grands défis de la formation de grands modèles de langage (LLM) sur de grands clusters de calcul est l'optimisation de la fiabilité et de la disponibilité du travail de formation ». xAI présente son infrastructure comme suit :
Envoyé par xAI
La recherche de pointe sur les grands modèles de langage (LLM) qui s'exécute sur des clusters GPU massifs exige une infrastructure robuste et flexible. Grok-1.5 est construit sur un framework d'entraînement distribué personnalisé basé sur JAX, Rust et Kubernetes. Cette pile de formation permet à notre équipe de prototyper des idées et de former de nouvelles architectures à l'échelle avec un minimum d'effort. Un défi majeur de la formation des LLM sur de grands clusters de calcul est de maximiser la fiabilité et le temps de disponibilité du travail de formation.
Notre framework de formation personnalisé garantit que les nœuds problématiques sont automatiquement détectés et éjectés de la tâche de formation. Nous avons également optimisé les points de contrôle, le chargement des données et le redémarrage des tâches de formation afin de minimiser les temps d'arrêt en cas de défaillance.
L'annonce de Grok 1.5 intervient quelques jours après que xAI a publié Grok-1 en open source, bien que sans le code nécessaire pour l'affiner ou l'entraîner davantage. Plus récemment, Musk a déclaré qu'un plus grand nombre d'utilisateurs de X (en particulier les utilisateurs qui paient l'abonnement Premium de 8 dollars par mois) auraient accès au chatbot Grok, qui n'était auparavant disponible que pour les clients X Premium+ (qui paient 16 dollars par mois).
Grok-1 est le plus grand modèle de mélange d'experts disponible en open source à ce jour. Cependant, ses performances sont inférieures à celles de modèles open source plus petits et plus efficaces. Le billet de blogue de xAI n'a pas fait de commentaires sur d'éventuels projets visant à publier Grok 1.5 en open source.
Source : Grok 1.5
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des améliorations apportées par le modèle d'IA Grok 1.5 ? Quid de ses performances ? En limitant l'accès de Grok à la version payante de X, Musk tient-il sa promesse de développer une IA ouverte et bénéfique à tous ? Voir aussi
Elon Musk défie ChatGPT avec son bot IA Grok, premier produit de son entreprise xAI. Présenté comme plus audacieux que ses concurrents, il s'inspire d'un roman de science-fiction humoristique Elon Musk publie le code source de son chatbot d'IA Grok dans le cadre de la dernière escalade de la guerre de l'IA, il est publié sous la licence Apache 2.0 qui autorise l'utilisation commerciale Qualité vs prix : Mistral 8x7B est le modèle d'IA le plus rapide et le plus accessible en matière de coût, tandis que GPT-4 Turbo et Claude 3 Opus fournissent des réponses de meilleure qualité 
