IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

xAI d'Elon Musk publie l'architecture de son LLM de base Grok-1, sous forme de code open source
Avec un modèle "Mixture-of-Experts" de 314 milliards de paramètres

Le , par Jade Emy

0PARTAGES

5  0 
xAI, la startup d'intelligence artificielle d'Elon Musk, publie les poids et l'architecture de Grok-1, son grand modèle de langage. Selon xAI, Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro.

La startup d'intelligence artificielle xAI Corp. dirigée par Elon Musk a publié les poids et l'architecture de son grand modèle de langage Grok-1 sous forme de code open source, peu après qu'Apple Inc. a publié un article décrivant ses propres travaux sur les LLM multimodaux. M. Musk a d'abord annoncé que xAI publierait Grok en open source le 11 mars, mais la publication du modèle de base et des poids, éléments fondamentaux du fonctionnement du modèle, en fait la première publication open source de l'entreprise.

Ce qui a été publié fait partie de l'architecture de réseau de la conception structurelle de Grok, y compris la façon dont les couches et les nœuds sont disposés et interconnectés pour traiter les données. Les poids du modèle de base sont les paramètres de l'architecture d'un modèle donné qui ont été ajustés au cours de la formation, codant les informations apprises et déterminant la manière dont les données d'entrée sont transformées en sortie.

Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro par xAI. Un modèle de mélange d'experts est une approche d'apprentissage automatique qui combine les résultats de plusieurs sous-modèles spécialisés, également connus sous le nom d'experts, pour établir une prédiction finale, en optimisant pour diverses tâches ou sous-ensembles de données en tirant parti de l'expertise de chaque modèle individuel.


Cette version est le point de contrôle du modèle de base brut issu de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Selon l'entreprise, "cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue".

Musk a révélé en juillet qu'il avait fondé xAI et que l'entreprise serait en concurrence avec les services d'IA d'entreprises telles que Google LLC et OpenAI. Le premier modèle de la société, Grok, a été présenté par xAI comme ayant été modelé sur le livre classique de Douglas Adams "The Hitchhiker's Guide to the Galaxy" et est "destiné à répondre à presque tout et, bien plus difficile, à suggérer les questions à poser !"

Voici l'annonce de xAI :

Publication ouverte de Grok-1

Nous publions les poids du modèle de base et l'architecture du réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres, entraîné à partir de zéro par xAI.

Il s'agit du point de contrôle du modèle de base brut de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue.

Nous publions les poids et l'architecture sous la licence Apache 2.0.

Détails du modèle

  • Modèle de base entraîné sur une grande quantité de données textuelles, non affiné pour une tâche particulière.
  • Modèle de mélange d'experts de 314B paramètres avec 25% des poids actifs sur un token donné.
  • Entraîné à partir de zéro par xAI en utilisant une pile d'entraînement personnalisée au-dessus de JAX et Rust en octobre 2023.
Pour commencer à utiliser le modèle, suivez les instructions ici.

Source : xAI

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que Grok-1 soit crédible ou pertinent ?

Voir aussi :

Elon Musk annonce que xAI va ouvrir Grok, son rival de ChatGPT, cette semaine et ravive le débat sur la pertinence de publier les modèles d'intelligence artificielle en open source

Elon Musk défie ChatGPT avec son bot IA Grok, premier produit de son entreprise xAI. Présenté comme plus audacieux que ses concurrents, il s'inspire d'un roman de science-fiction humoristique

Grok, le rival de ChatGPT d'Elon Musk, est en train d'être déployé pour les utilisateurs de X Premium, mais le côté "audacieux et rebelle" du chatbot suscite des réactions mitigées

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de OrthodoxWindows
Membre émérite https://www.developpez.com
Le 03/04/2024 à 12:32
Citation Envoyé par Stéphane le calme Voir le message
Que pensez-vous de l'approche de cette équipe rouge ?
Elle n'a aucun intérêt, ce "combat" est totalement dépassé. Ce chercheurs ferais mieux de s'intéresser au vrais mauvais usages de l'IA, par des gouvernements répressifs. Parce que le résultat, ce n'est pas quelques morts (où l'auteur aurais de toute façon trouvé un moyen de commettre son crime), mais potentiellement des millions de personnes fichés, surveillés, emprisonnés, et assassinés si désobéissance.

Le problème c'est que l'on vis dans un monde ou cette cette maxime dirige l'espace médiatique :
Citation Envoyé par Joseph Staline
“La mort d'un homme est une tragédie. La mort d'un million d'hommes est une statistique.”
Pensez-vous que les chatbots IA devraient être soumis à des réglementations plus strictes ? Pourquoi ou pourquoi pas ?
Non. Un chatbot est un outils censé être neutre, un "mauvais " usage se déroule dans la vie réel, pas devant l'écran.
Et de toute façon certains sont open-source, donc cela ne changera rien. Je pense notamment au premiers modèles de Mistral, sous licence MIT.
De plus, une trop forte censure réduit la pertinence du chatbot.
Et enfin, une censure étatique risque de favoriser les grandes entreprises, au détriment de systèmes libres collaboratifs. Ce qui finira par favoriser les mauvais usages pas des gouvernements répressifs.

Sinon, on apprécie la délicatesse de ces "chercheurs" pour les proches de victimes d'attentats :

Alors qu'aucun des modèles d'IA n'était vulnérable aux attaques adverses par manipulation de la logique, Grok s'est révélé vulnérable à toutes les autres méthodes, tout comme Le Chat de Mistral. Selon Polyakov, Grok a tout de même obtenu les pires résultats parce qu'il n'a pas eu besoin de jailbreak pour obtenir des résultats concernant le câblage électrique, la fabrication de bombes ou l'extraction de drogues, qui sont les questions de base posées aux autres modèles d'IA.
En ce qui concerne des sujets encore plus dangereux, comme la séduction des enfants
Un meurtre dans un attentat terroriste c'est moins grave qu'un abus d'enfant ?
1  0