IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

xAI dévoile son chatbot d'IA Grok 1.5 avec un "raisonnement amélioré" qui accroit ses performances en codage et en mathématiques,
Mais il reste à la traîne par rapport à OpenAI et à Anthropic

Le , par Mathis Lucas

0PARTAGES

3  0 
La startup xAI d'Elon Musk vient de dévoiler Grok 1.5, la nouvelle version du grand modèle de langage qui pilote son chatbot d'IA Grok. xAI a annoncé que Grok-1.5 bénéficie d'un "raisonnement amélioré", notamment pour les tâches liées au codage et aux mathématiques. Le nouveau modèle a plus que doublé le score de Grok-1 sur le benchmark mathématique populaire MATH et a obtenu plus de 10 points de pourcentage de plus sur le test HumanEval (de génération de code et de capacités de résolution de problèmes). Toutefois, malgré ses performances, Grok 1.5 reste à la traîne par rapport aux modèles tels que Gemini Pro 1.5, GPT-4 et Claude 3 Opus.

Grok est un chatbot d'IA développé par la startup xAI lancée par Elon Musk l'année dernière. Musk a notamment lancé xAI pour développer un rival de ChatGPT, le chatbot d'OpenAI qu'il accuse d'être woke et de promouvoir les idées de gauche, tout en censurant les voix des conservateurs. Contrairement à ses rivaux, Grok a la capacité d'accéder à des informations en temps réel grâce à une intégration avec le réseau social X (ex-Twitter). En outre, Grok se différencie des autres par le fait qu'il est prêt à s'attaquer à des questions "épicées" et est programmé pour le faire d'une manière à la fois spirituelle et un peu rebelle.

Bien que la première version de Grok, Grok 1, ait fait sensation sur X, son côté "audacieux" et "rebelle" n'a pas attiré grand monde et il n'a pas suscité autant de réactions dans la communauté comme ses rivaux GPT-4 d'OpenAI et Claude d'Anthopic. L'entreprise a toutefois poursuivi ses développements et a annoncé mercredi que la version Grok 1.5 est prête. Le nouveau modèle sera bientôt disponible pour les utilisateurs payants existants et les premiers testeurs sur le réseau social X. Les nouvelles fonctionnalités comprennent "des capacités de raisonnement améliorées et une longueur de contexte de 128 000 jetons.


Pour mémoire, la longueur de contexte (ou fenêtre contextuelle) correspond au nombre de mots ou de pages que le modèle peut traiter en une seule fois. Une longueur de contexte de 128 000 jetons correspond à environ 100 000 mots ou 300 pages de livre. Cela signifie que Grok 1.5 peut traiter des questions plus complexes comportant davantage d'exemples. À titre de comparaison, Claude 3 Opus a une longueur de contexte de 200 000 jetons et celle de GPT-4 Turbo est de 128 000 jetons. Mistral Large, Mistral Medium, Mistral 8x7B et Gemini Pro ont chacun une longueur de contexte bien plus petite de 32 800 jetons.

À l'heure actuelle, aucun grand modèle de langage (LLM) ne dispose d'une longueur de contexte supérieure à 200 000 jetons. Les modèles Claude 3 Opus et Claude 3 Sonnet (dont la longueur de contexte est également de 200 000 jetons) détiennent donc le record en ce qui concerne la longueur de la fenêtre de contexte. Pour en revenir à Grok 1.5, les résultats des tests révèlent qu'il a plus que doublé le score de Grok-1 sur le benchmark "MATH" et a obtenu plus de 10 points de pourcentage de plus sur HumanEval (qui évalue les capacités en matière de génération de code informatique et de résolution de problèmes).

Plus précisément, Grok 1.5 a obtenu un score de 50,6 % sur le benchmark MATH et 90 % au test de référence GSM8K. Ces deux tests couvrent un large éventail de problèmes mathématiques allant de l'école primaire au niveau de compétition de l'école secondaire. Pour la génération de code et la résolution de problèmes, Grok-1.5 a obtenu un score de 74,1 % sur le test HumanEval. Sur le test de compréhension du langage MMLU, Grok 1.5 a obtenu un score d'environ 81 %. C'est un grand bond en avant par rapport aux 73 % de Grok-1, mais il est loin derrière les leaders actuels du marché GPT-4 et Claude 3 Opus.

Sur le benchmark MMLU, GPT-4 et Claude 3 Opus ont chacun obtenu un score d'environ 86 %. Dans le test "Needle in a Haystack" (l'aiguille dans une botte de foin), qui vérifie si le modèle d'IA peut trouver de manière fiable des informations spécifiques dans la fenêtre contextuelle, Grok 1.5 a obtenu un résultat parfait. Toutefois, ce test n'est pas très significatif, car il utilise le modèle comme une fonction de recherche coûteuse. Selon les experts du milieu, des éléments plus pertinents, mais beaucoup plus difficiles à tester, seraient le nombre d'erreurs ou d'omissions lors de la synthèse de documents très volumineux.

D'autres entreprises d'IA, telles que Google ou Anthropic, utilisent également ce critère finalement trompeur pour vanter les performances de la fenêtre contextuelle de leur modèle. Évoquant la fenêtre contextuelle de Grok-1.5, xAI a déclaré dans un billet de blogue : « Grok-1.5 peut utiliser des informations provenant de documents beaucoup plus longs. En outre, le modèle peut gérer des invites plus longues et plus complexes tout en conservant sa capacité à suivre les instructions au fur et à mesure que sa fenêtre contextuelle s'agrandit ». Google et Anthropic ont déjà fait des déclarations similaires précédemment.

Selon le billet de blogue, xAI met l'accent sur l'innovation, en particulier dans le cadre de la formation. Grok-1.5 serait basé sur un framework de formation distribué spécialisé construit sur JAX, Rust et Kubernetes. Cette pile de formation permettrait à l'équipe de prototyper des idées et de former de nouvelles architectures à l'échelle avec un minimum d'effort. L'entreprise explique : « l'un des plus grands défis de la formation de grands modèles de langage (LLM) sur de grands clusters de calcul est l'optimisation de la fiabilité et de la disponibilité du travail de formation ». xAI présente son infrastructure comme suit :

Citation Envoyé par xAI

La recherche de pointe sur les grands modèles de langage (LLM) qui s'exécute sur des clusters GPU massifs exige une infrastructure robuste et flexible. Grok-1.5 est construit sur un framework d'entraînement distribué personnalisé basé sur JAX, Rust et Kubernetes. Cette pile de formation permet à notre équipe de prototyper des idées et de former de nouvelles architectures à l'échelle avec un minimum d'effort. Un défi majeur de la formation des LLM sur de grands clusters de calcul est de maximiser la fiabilité et le temps de disponibilité du travail de formation.

Notre framework de formation personnalisé garantit que les nœuds problématiques sont automatiquement détectés et éjectés de la tâche de formation. Nous avons également optimisé les points de contrôle, le chargement des données et le redémarrage des tâches de formation afin de minimiser les temps d'arrêt en cas de défaillance.
Bien sûr, il est difficile de prédire comment ces résultats se traduiront en matière d'utilisation réelle. Les benchmarks couramment utilisés pour tester les modèles, qui mesurent des choses aussi ésotériques que les performances lors de réponse à des questions d'examen de chimie de niveau supérieur, ne reflètent pas vraiment la façon dont l'utilisateur moyen interagit avec les modèles aujourd'hui. En ce qui concerne le caractère "rebelle" et "audacieux" de Grok, les changements éventuels apportés par Grok-1.5 dans ces domaines ne sont pas clairs. L'entreprise n'y fait pas allusion dans son billet de blogue de mardi.

L'annonce de Grok 1.5 intervient quelques jours après que xAI a publié Grok-1 en open source, bien que sans le code nécessaire pour l'affiner ou l'entraîner davantage. Plus récemment, Musk a déclaré qu'un plus grand nombre d'utilisateurs de X (en particulier les utilisateurs qui paient l'abonnement Premium de 8 dollars par mois) auraient accès au chatbot Grok, qui n'était auparavant disponible que pour les clients X Premium+ (qui paient 16 dollars par mois).

Grok-1 est le plus grand modèle de mélange d'experts disponible en open source à ce jour. Cependant, ses performances sont inférieures à celles de modèles open source plus petits et plus efficaces. Le billet de blogue de xAI n'a pas fait de commentaires sur d'éventuels projets visant à publier Grok 1.5 en open source.

Source : Grok 1.5

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des améliorations apportées par le modèle d'IA Grok 1.5 ? Quid de ses performances ?
En limitant l'accès de Grok à la version payante de X, Musk tient-il sa promesse de développer une IA ouverte et bénéfique à tous ?

Voir aussi

Elon Musk défie ChatGPT avec son bot IA Grok, premier produit de son entreprise xAI. Présenté comme plus audacieux que ses concurrents, il s'inspire d'un roman de science-fiction humoristique

Elon Musk publie le code source de son chatbot d'IA Grok dans le cadre de la dernière escalade de la guerre de l'IA, il est publié sous la licence Apache 2.0 qui autorise l'utilisation commerciale

Qualité vs prix : Mistral 8x7B est le modèle d'IA le plus rapide et le plus accessible en matière de coût, tandis que GPT-4 Turbo et Claude 3 Opus fournissent des réponses de meilleure qualité

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OrthodoxWindows
Membre émérite https://www.developpez.com
Le 03/04/2024 à 12:32
Citation Envoyé par Stéphane le calme Voir le message
Que pensez-vous de l'approche de cette équipe rouge ?
Elle n'a aucun intérêt, ce "combat" est totalement dépassé. Ce chercheurs ferais mieux de s'intéresser au vrais mauvais usages de l'IA, par des gouvernements répressifs. Parce que le résultat, ce n'est pas quelques morts (où l'auteur aurais de toute façon trouvé un moyen de commettre son crime), mais potentiellement des millions de personnes fichés, surveillés, emprisonnés, et assassinés si désobéissance.

Le problème c'est que l'on vis dans un monde ou cette cette maxime dirige l'espace médiatique :
Citation Envoyé par Joseph Staline
“La mort d'un homme est une tragédie. La mort d'un million d'hommes est une statistique.”
Pensez-vous que les chatbots IA devraient être soumis à des réglementations plus strictes ? Pourquoi ou pourquoi pas ?
Non. Un chatbot est un outils censé être neutre, un "mauvais " usage se déroule dans la vie réel, pas devant l'écran.
Et de toute façon certains sont open-source, donc cela ne changera rien. Je pense notamment au premiers modèles de Mistral, sous licence MIT.
De plus, une trop forte censure réduit la pertinence du chatbot.
Et enfin, une censure étatique risque de favoriser les grandes entreprises, au détriment de systèmes libres collaboratifs. Ce qui finira par favoriser les mauvais usages pas des gouvernements répressifs.

Sinon, on apprécie la délicatesse de ces "chercheurs" pour les proches de victimes d'attentats :

Alors qu'aucun des modèles d'IA n'était vulnérable aux attaques adverses par manipulation de la logique, Grok s'est révélé vulnérable à toutes les autres méthodes, tout comme Le Chat de Mistral. Selon Polyakov, Grok a tout de même obtenu les pires résultats parce qu'il n'a pas eu besoin de jailbreak pour obtenir des résultats concernant le câblage électrique, la fabrication de bombes ou l'extraction de drogues, qui sont les questions de base posées aux autres modèles d'IA.
En ce qui concerne des sujets encore plus dangereux, comme la séduction des enfants
Un meurtre dans un attentat terroriste c'est moins grave qu'un abus d'enfant ?
1  0