xAI d'Elon Musk publie l'architecture de son LLM de base Grok-1~? sous forme de code open source
Avec un modèle "Mixture-of-Experts" de 314 milliards de paramètres
Le 2024-03-18 10:02:32, par Jade Emy, Communiqués de presse
xAI, la startup d'intelligence artificielle d'Elon Musk, publie les poids et l'architecture de Grok-1, son grand modèle de langage. Selon xAI, Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro.
La startup d'intelligence artificielle xAI Corp. dirigée par Elon Musk a publié les poids et l'architecture de son grand modèle de langage Grok-1 sous forme de code open source, peu après qu'Apple Inc. a publié un article décrivant ses propres travaux sur les LLM multimodaux. M. Musk a d'abord annoncé que xAI publierait Grok en open source le 11 mars, mais la publication du modèle de base et des poids, éléments fondamentaux du fonctionnement du modèle, en fait la première publication open source de l'entreprise.
Ce qui a été publié fait partie de l'architecture de réseau de la conception structurelle de Grok, y compris la façon dont les couches et les nœuds sont disposés et interconnectés pour traiter les données. Les poids du modèle de base sont les paramètres de l'architecture d'un modèle donné qui ont été ajustés au cours de la formation, codant les informations apprises et déterminant la manière dont les données d'entrée sont transformées en sortie.
Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro par xAI. Un modèle de mélange d'experts est une approche d'apprentissage automatique qui combine les résultats de plusieurs sous-modèles spécialisés, également connus sous le nom d'experts, pour établir une prédiction finale, en optimisant pour diverses tâches ou sous-ensembles de données en tirant parti de l'expertise de chaque modèle individuel.
Cette version est le point de contrôle du modèle de base brut issu de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Selon l'entreprise, "cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue".
Musk a révélé en juillet qu'il avait fondé xAI et que l'entreprise serait en concurrence avec les services d'IA d'entreprises telles que Google LLC et OpenAI. Le premier modèle de la société, Grok, a été présenté par xAI comme ayant été modelé sur le livre classique de Douglas Adams "The Hitchhiker's Guide to the Galaxy" et est "destiné à répondre à presque tout et, bien plus difficile, à suggérer les questions à poser !"
Voici l'annonce de xAI :
Pour commencer à utiliser le modèle, suivez les instructions ici.
Source : xAI
Et vous ?
Voir aussi :
La startup d'intelligence artificielle xAI Corp. dirigée par Elon Musk a publié les poids et l'architecture de son grand modèle de langage Grok-1 sous forme de code open source, peu après qu'Apple Inc. a publié un article décrivant ses propres travaux sur les LLM multimodaux. M. Musk a d'abord annoncé que xAI publierait Grok en open source le 11 mars, mais la publication du modèle de base et des poids, éléments fondamentaux du fonctionnement du modèle, en fait la première publication open source de l'entreprise.
Ce qui a été publié fait partie de l'architecture de réseau de la conception structurelle de Grok, y compris la façon dont les couches et les nœuds sont disposés et interconnectés pour traiter les données. Les poids du modèle de base sont les paramètres de l'architecture d'un modèle donné qui ont été ajustés au cours de la formation, codant les informations apprises et déterminant la manière dont les données d'entrée sont transformées en sortie.
Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro par xAI. Un modèle de mélange d'experts est une approche d'apprentissage automatique qui combine les résultats de plusieurs sous-modèles spécialisés, également connus sous le nom d'experts, pour établir une prédiction finale, en optimisant pour diverses tâches ou sous-ensembles de données en tirant parti de l'expertise de chaque modèle individuel.
Cette version est le point de contrôle du modèle de base brut issu de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Selon l'entreprise, "cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue".
Musk a révélé en juillet qu'il avait fondé xAI et que l'entreprise serait en concurrence avec les services d'IA d'entreprises telles que Google LLC et OpenAI. Le premier modèle de la société, Grok, a été présenté par xAI comme ayant été modelé sur le livre classique de Douglas Adams "The Hitchhiker's Guide to the Galaxy" et est "destiné à répondre à presque tout et, bien plus difficile, à suggérer les questions à poser !"
Voici l'annonce de xAI :
Publication ouverte de Grok-1
Nous publions les poids du modèle de base et l'architecture du réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres, entraîné à partir de zéro par xAI.
Il s'agit du point de contrôle du modèle de base brut de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue.
Nous publions les poids et l'architecture sous la licence Apache 2.0.
Détails du modèle
Nous publions les poids du modèle de base et l'architecture du réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres, entraîné à partir de zéro par xAI.
Il s'agit du point de contrôle du modèle de base brut de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue.
Nous publions les poids et l'architecture sous la licence Apache 2.0.
Détails du modèle
- Modèle de base entraîné sur une grande quantité de données textuelles, non affiné pour une tâche particulière.
- Modèle de mélange d'experts de 314B paramètres avec 25% des poids actifs sur un token donné.
- Entraîné à partir de zéro par xAI en utilisant une pile d'entraînement personnalisée au-dessus de JAX et Rust en octobre 2023.
Source : xAI
Et vous ?
Voir aussi :
-
virginiehMembre expérimentéOui enfin part de zéro ...
Tu connais l'histoire du millionnaire ? (je sais plus lequel c'est censé être)
Comment je suis devenu millionnaire ? C'est très simple, j'ai acheté une pomme moche, je l'ai frottée et revendue le double, puis j'ai acheté 2 pommes et j'ai recommencé. Puis mon grand père m'a donné 1 million.
Si tu enlève des "self-made" tous ceux qui ont lancé leur(s) boite(s) sponsorisées par leurs parents il n'en reste plus beaucoup.le 22/04/2024 à 7:42 -
AiekickMembre extrêmement actifau debut j'étais admiratif d'elon musk. je me disait, le mec aprt de zero et va au bout de ses reves.
maintenant je pense que c'est un paradoxe. a la fois tres intelligent, et un cretin fini. une sorte de politique quoile 20/04/2024 à 12:44 -
totozorMembre expertOn sait pourtant qu'il ne faut pas former une IA sur un royaume de trolls, on a déjà testé avant avec 4chan, on connait le résultat.
Mais je ne serais pas si critique, Grok est finalement un sous-Gorafi
Comment diffuser des infos construites sur une plateforme qui limite les messages à 300 caractères?Que pensez-vous de la tendance du chatbot Grok d'Elon Musk à diffuser des infox ?
Twitter est un nid à trolls, Grok est un troll.
Ca ne devrait même pas être une idée.L'accès de Grok aux messages publiés par les utilisateurs de X est-il une mauvaise idée ? le 22/04/2024 à 7:51 -
OrthodoxWindowsMembre émériteElle n'a aucun intérêt, ce "combat" est totalement dépassé. Ce chercheurs ferais mieux de s'intéresser au vrais mauvais usages de l'IA, par des gouvernements répressifs. Parce que le résultat, ce n'est pas quelques morts (où l'auteur aurais de toute façon trouvé un moyen de commettre son crime), mais potentiellement des millions de personnes fichés, surveillés, emprisonnés, et assassinés si désobéissance.
Le problème c'est que l'on vis dans un monde ou cette cette maxime dirige l'espace médiatique :
Envoyé par Joseph Staline Non. Un chatbot est un outils censé être neutre, un "mauvais " usage se déroule dans la vie réel, pas devant l'écran.Pensez-vous que les chatbots IA devraient être soumis à des réglementations plus strictes ? Pourquoi ou pourquoi pas ?
Et de toute façon certains sont open-source, donc cela ne changera rien. Je pense notamment au premiers modèles de Mistral, sous licence MIT.
De plus, une trop forte censure réduit la pertinence du chatbot.
Et enfin, une censure étatique risque de favoriser les grandes entreprises, au détriment de systèmes libres collaboratifs. Ce qui finira par favoriser les mauvais usages pas des gouvernements répressifs.
Sinon, on apprécie la délicatesse de ces "chercheurs" pour les proches de victimes d'attentats :Alors qu'aucun des modèles d'IA n'était vulnérable aux attaques adverses par manipulation de la logique, Grok s'est révélé vulnérable à toutes les autres méthodes, tout comme Le Chat de Mistral. Selon Polyakov, Grok a tout de même obtenu les pires résultats parce qu'il n'a pas eu besoin de jailbreak pour obtenir des résultats concernant le câblage électrique, la fabrication de bombes ou l'extraction de drogues, qui sont les questions de base posées aux autres modèles d'IA.Un meurtre dans un attentat terroriste c'est moins grave qu'un abus d'enfant ?En ce qui concerne des sujets encore plus dangereux, comme la séduction des enfantsle 03/04/2024 à 12:32 -
David_gMembre éclairéje me demande si leur outil se sert aussi allégrement dans les messages privés ce qui ouvrirait la porte à pas mal d'emmerdes juridiques.le 22/04/2024 à 15:36