IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

xAI d'Elon Musk publie l'architecture de son LLM de base Grok-1, sous forme de code open source
Avec un modèle "Mixture-of-Experts" de 314 milliards de paramètres

Le , par Jade Emy

13PARTAGES

5  0 
xAI, la startup d'intelligence artificielle d'Elon Musk, publie les poids et l'architecture de Grok-1, son grand modèle de langage. Selon xAI, Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro.

La startup d'intelligence artificielle xAI Corp. dirigée par Elon Musk a publié les poids et l'architecture de son grand modèle de langage Grok-1 sous forme de code open source, peu après qu'Apple Inc. a publié un article décrivant ses propres travaux sur les LLM multimodaux. M. Musk a d'abord annoncé que xAI publierait Grok en open source le 11 mars, mais la publication du modèle de base et des poids, éléments fondamentaux du fonctionnement du modèle, en fait la première publication open source de l'entreprise.

Ce qui a été publié fait partie de l'architecture de réseau de la conception structurelle de Grok, y compris la façon dont les couches et les nœuds sont disposés et interconnectés pour traiter les données. Les poids du modèle de base sont les paramètres de l'architecture d'un modèle donné qui ont été ajustés au cours de la formation, codant les informations apprises et déterminant la manière dont les données d'entrée sont transformées en sortie.

Grok-1 est un modèle de "mélange d'experts" (Mixture-of-Experts) de 314 milliards de paramètres, formé à partir de zéro par xAI. Un modèle de mélange d'experts est une approche d'apprentissage automatique qui combine les résultats de plusieurs sous-modèles spécialisés, également connus sous le nom d'experts, pour établir une prédiction finale, en optimisant pour diverses tâches ou sous-ensembles de données en tirant parti de l'expertise de chaque modèle individuel.


Cette version est le point de contrôle du modèle de base brut issu de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Selon l'entreprise, "cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue".

Musk a révélé en juillet qu'il avait fondé xAI et que l'entreprise serait en concurrence avec les services d'IA d'entreprises telles que Google LLC et OpenAI. Le premier modèle de la société, Grok, a été présenté par xAI comme ayant été modelé sur le livre classique de Douglas Adams "The Hitchhiker's Guide to the Galaxy" et est "destiné à répondre à presque tout et, bien plus difficile, à suggérer les questions à poser !"

Voici l'annonce de xAI :

Publication ouverte de Grok-1

Nous publions les poids du modèle de base et l'architecture du réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres, entraîné à partir de zéro par xAI.

Il s'agit du point de contrôle du modèle de base brut de la phase de pré-entraînement de Grok-1, qui s'est achevée en octobre 2023. Cela signifie que le modèle n'a pas été affiné pour une application spécifique, telle que le dialogue.

Nous publions les poids et l'architecture sous la licence Apache 2.0.

Détails du modèle

  • Modèle de base entraîné sur une grande quantité de données textuelles, non affiné pour une tâche particulière.
  • Modèle de mélange d'experts de 314B paramètres avec 25% des poids actifs sur un token donné.
  • Entraîné à partir de zéro par xAI en utilisant une pile d'entraînement personnalisée au-dessus de JAX et Rust en octobre 2023.
Pour commencer à utiliser le modèle, suivez les instructions ici.

Source : xAI

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que Grok-1 soit crédible ou pertinent ?

Voir aussi :

Elon Musk annonce que xAI va ouvrir Grok, son rival de ChatGPT, cette semaine et ravive le débat sur la pertinence de publier les modèles d'intelligence artificielle en open source

Elon Musk défie ChatGPT avec son bot IA Grok, premier produit de son entreprise xAI. Présenté comme plus audacieux que ses concurrents, il s'inspire d'un roman de science-fiction humoristique

Grok, le rival de ChatGPT d'Elon Musk, est en train d'être déployé pour les utilisateurs de X Premium, mais le côté "audacieux et rebelle" du chatbot suscite des réactions mitigées

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de virginieh
Membre expérimenté https://www.developpez.com
Le 22/04/2024 à 7:42
Citation Envoyé par Aiekick Voir le message
au debut j'étais admiratif d'elon musk. je me disait, le mec aprt de zero et va au bout de ses reves.

maintenant je pense que c'est un paradoxe. a la fois tres intelligent, et un cretin fini. une sorte de politique quoi
Oui enfin part de zéro ...

Tu connais l'histoire du millionnaire ? (je sais plus lequel c'est censé être)
Comment je suis devenu millionnaire ? C'est très simple, j'ai acheté une pomme moche, je l'ai frottée et revendue le double, puis j'ai acheté 2 pommes et j'ai recommencé. Puis mon grand père m'a donné 1 million.

Si tu enlève des "self-made" tous ceux qui ont lancé leur(s) boite(s) sponsorisées par leurs parents il n'en reste plus beaucoup.
7  0 
Avatar de Aiekick
Membre extrêmement actif https://www.developpez.com
Le 20/04/2024 à 12:44
au debut j'étais admiratif d'elon musk. je me disait, le mec aprt de zero et va au bout de ses reves.

maintenant je pense que c'est un paradoxe. a la fois tres intelligent, et un cretin fini. une sorte de politique quoi
3  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 22/04/2024 à 7:51
Citation Envoyé par Mathis Lucas Voir le message
Quel est votre avis sur le sujet ?
On sait pourtant qu'il ne faut pas former une IA sur un royaume de trolls, on a déjà testé avant avec 4chan, on connait le résultat.
Mais je ne serais pas si critique, Grok est finalement un sous-Gorafi
Que pensez-vous de la tendance du chatbot Grok d'Elon Musk à diffuser des infox ?
Comment diffuser des infos construites sur une plateforme qui limite les messages à 300 caractères?
Twitter est un nid à trolls, Grok est un troll.
L'accès de Grok aux messages publiés par les utilisateurs de X est-il une mauvaise idée ?
Ca ne devrait même pas être une idée.
2  0 
Avatar de
https://www.developpez.com
Le 30/08/2024 à 19:16
Il a toujours été très accessible de faire un trucage avec photoshop ou gimp, à l'époque les gens étaient bien moins informé et il y a eu peu de désinformation.

La question de la responsabilité concernant les fake news IA, n'est pas a posé du côté de l'IA, des dev, ou autres. Elle est du côté de l'utilisateur.
Quelqu'un a parfaitement le droit de créer une fausse image et de la diffuser, par contre, l'intention de tromper et de manipuler est condamnable.

Cette évolution juridique et des mentalités qui tend à rendre irresponsable les utilisateurs (citoyens) est plus qu'inquiétante pour la démocratie.
Mieux vaudrait se concentrer sur l'enseignement de l'esprit critique, que sur la censure de modèle IA ...
2  0 
Avatar de OrthodoxWindows
Membre expert https://www.developpez.com
Le 03/04/2024 à 12:32
Citation Envoyé par Stéphane le calme Voir le message
Que pensez-vous de l'approche de cette équipe rouge ?
Elle n'a aucun intérêt, ce "combat" est totalement dépassé. Ce chercheurs ferais mieux de s'intéresser au vrais mauvais usages de l'IA, par des gouvernements répressifs. Parce que le résultat, ce n'est pas quelques morts (où l'auteur aurais de toute façon trouvé un moyen de commettre son crime), mais potentiellement des millions de personnes fichés, surveillés, emprisonnés, et assassinés si désobéissance.

Le problème c'est que l'on vis dans un monde ou cette cette maxime dirige l'espace médiatique :
Citation Envoyé par Joseph Staline
“La mort d'un homme est une tragédie. La mort d'un million d'hommes est une statistique.”
Pensez-vous que les chatbots IA devraient être soumis à des réglementations plus strictes ? Pourquoi ou pourquoi pas ?
Non. Un chatbot est un outils censé être neutre, un "mauvais " usage se déroule dans la vie réel, pas devant l'écran.
Et de toute façon certains sont open-source, donc cela ne changera rien. Je pense notamment au premiers modèles de Mistral, sous licence MIT.
De plus, une trop forte censure réduit la pertinence du chatbot.
Et enfin, une censure étatique risque de favoriser les grandes entreprises, au détriment de systèmes libres collaboratifs. Ce qui finira par favoriser les mauvais usages pas des gouvernements répressifs.

Sinon, on apprécie la délicatesse de ces "chercheurs" pour les proches de victimes d'attentats :

Alors qu'aucun des modèles d'IA n'était vulnérable aux attaques adverses par manipulation de la logique, Grok s'est révélé vulnérable à toutes les autres méthodes, tout comme Le Chat de Mistral. Selon Polyakov, Grok a tout de même obtenu les pires résultats parce qu'il n'a pas eu besoin de jailbreak pour obtenir des résultats concernant le câblage électrique, la fabrication de bombes ou l'extraction de drogues, qui sont les questions de base posées aux autres modèles d'IA.
En ce qui concerne des sujets encore plus dangereux, comme la séduction des enfants
Un meurtre dans un attentat terroriste c'est moins grave qu'un abus d'enfant ?
1  0 
Avatar de
https://www.developpez.com
Le 16/08/2024 à 8:30
Gestion des filtres : Faut il censurer la génération d'images de l'IA comme OpenAI le fait avec ChatGPT ou laisser faire comme Elon Musk le fait avec Grok 2 ? Dans quelle mesure ?
Non, simplement. Libre aux différents réseaux sociaux et autres plateformes d'adapter leurs chartes d'utilisation.

Désinformation et contenus offensants : Comment pouvons-nous garantir que Grok ne propage pas de désinformation ou de contenus offensants ?
Alors ce n'est pas Grok, une intelligence artificielle qui propage de la désinformation mais des intelligences humaines, qui utilisent l'IA
Comment faire pour que l'utilisateur d'une plateforme ne propage pas de désinformation ou de contenus offensants ? J'ai 4 potentielles solutions mais elles ne sont évidemment pas exhaustive :
  • Avec une charte d'utilisation des plateformes de partage (réseaux sociaux, forums, etc..) et les sanctions qui vont avec en cas de non-respect.
  • En intégrant des outils de détection d'IA par exemple.
  • Les Notes de la Communauté sur X/Twitter fonctionnent relativement bien. Un contexte est souvent (toujours) apporté sur les fake news, y compris les images générées par IA. Les autres réseaux devraient s'en inspirer.
  • Et le plus important, la sensibilisation : Un utilisateur sensibilisé est un pilier de la sécurité collective.


Créativité humaine : Grok peut générer du contenu, mais comment préserver la créativité individuelle face à cette automatisation ?
En continuant à créer individuellement Les bibliothécaires, journalistes et éditeurs n'ont pas disparu avec l'expansion des moteurs de recherche comme Google à l'époque. Alors je pense que tout comme avec l'arrivée de Google, l'IA fera sans doute évoluer la manière de fonctionner de certains domaine (telle que la créativité individuelle) sans pour autant la faire disparaitre. Ce n'est qu'un outil que personne n'oblige à utiliser.
2  1 
Avatar de OrthodoxWindows
Membre expert https://www.developpez.com
Le 16/08/2024 à 11:29
Tout cela ressemble vraiment à une panique morale... Alors que dans les faits, les conséquences seront très limités. Le seul truc qui m’effraie avec la génération d'image est le risque de désinformation avec les deepfakes. Pour le reste, l'AI générative d'image est loin d'être la plus dangereuse. On devrait (et surtout ces activistes du dimanche) surtout s’inquiéter des risques de la surveillance algorithmique.

« Toutefois, ce problème a été résolu bien avant que ChatGPT ne soit accessible au public. Il est très inquiétant de constater que n'importe qui peut payer X 4 $ pour générer des images de Micky Mouse en train d'effectuer une fusillade de masse contre des enfants »
En quoi pouvoir générer des images de Micky Mouse en train d'effectuer une fusillade de masse contre des enfants représente un danger ?? Personne ne crois que Micky Mouse est un personnage réel...
1  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 16/08/2024 à 11:30
Citation Envoyé par OrthodoxWindows Voir le message
Personne ne crois que Micky Mouse est un personnage réel...
Ouais mais ça ne va pas plaire à Disney.
2  1 
Avatar de OrthodoxWindows
Membre expert https://www.developpez.com
Le 16/08/2024 à 21:09
Citation Envoyé par Ryu2000 Voir le message
Ouais mais ça ne va pas plaire à Disney.
Certes

D'ailleurs quand on y pense, les grosses multinationales de gestion des droits d'auteur (de Disney à Warner en passant par Sony) sont en train de se faire vraiment avoir ; pendant des années, on nous a fait ch*** avec le strict respect du droit d'auteur, désormais ces même pouvoir publiques deviennent très laxistes avec l'IA. La différence est que ce n'a jamais été des multinationales du numérique qui piratais du contenu... Alors qu'avec l'IA, les intérêts financiers ne sont plus les mêmes
1  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 23/08/2024 à 8:22
Citation Envoyé par Ryu2000 Voir le message
Il faut le temps que les lois se fassent, c'est un processus lent.
Je suis moins optimiste que toi là dessus.
Le problème n'est pas le temps législatif mais l'impunité de certains ou la capacité à répondre à ce système.

Je vais donner un exemple : il y a 7-8 ans les troupes d'improvisations théâtrale vers chez moi ont reçu des courriers ou des mails leur signalant qu'elles avaient violées les droits d'auteurs pendant certains de leurs évènements en diffusant au public des musiques qui n'étaient pas libre de droits (de mémoire on leur réclamait 75€ par évènements sur environ 1 an soit entre 300 et 1000€).
Certaines troupes ont décidé de payer vite pour éviter tout problème.
D'autres ont décidé de contester collectivement chaque évènement via courrier d'un avocat.
Une partie des évènements ont été retiré de la liste mais pour d'autres on a reçu la liste des musiques diffusées avec les heures de diffusion.
Je n'ai pas le détail de la suite mais s'en est suivi plusieurs échanges entre avocats pour que finalement ils renoncent à toute demande.

Là où je veux en venir est que si tu as les moyens (en l'occurrence un improvisateur avocat) et que tu pousses l'adversaire à dépenser plus en te répondant qu'il n'y gagnera à la fin, les poursuites sont abandonnées.
Les puissants ont quasiment moyens illimités sur ce genre de sujets stratégique pour eux (regarde les amendes données aux GAFAM qui se répètent tous les ans sans que rien ne change).
Ils sont factuellement au dessus de la loi parce qu'il est plus rentable pour eux de ne pas la respecter et de payer l'amende que de la respecter.
1  0