La startup xAI d'Elon Musk a publié en open source son grand modèle de langage (LLM) Grok. Cela signifie que les chercheurs et les développeurs peuvent maintenant s'appuyer sur Grok et influer sur la manière dont xAI mettra à jour le modèle d'IA à l'avenir. Ils pourront utiliser gratuitement les capacités de Grok dans leurs propres projets. La version open source de Grok n'inclut pas l'accès aux données du réseau social X. La publication de Grok intervient dans le cadre de la guerre d'Elon Musk contre les modèles d'IA commerciaux d'OpenAI. Il accuse OpenAI d'avoir rompu ses promesses initiales et de s'être transformée en une entreprise avide de pouvoir.Elon Musk a annoncé au début du mois que xAI publierait en accès libre son modèle Grok, et une version ouverte est désormais disponible sur GitHub. C'est désormais chose faite. xAI a annoncé la disponibilité d'une version open source comprenant les ressources du modèle de base et l'architecture du réseau du modèle Mixture-of-Experts de 314 milliards de paramètres, Grok-1. Elle a ajouté que le modèle provient d'un point de contrôle effectué en octobre dernier et qu'il n'a pas fait l'objet d'une mise au point pour une application spécifique. La société a publié un référentiel GitHub de 318,24 Go sous licence Apache 2.0.
« Nous publions les poids du modèle de base et l'architecture du réseau de Grok-1, notre grand modèle de langage. Grok-1 est un modèle de mélange d'experts de 314 milliards de paramètres formé à partir de zéro par xAI », explique l'entreprise dans un billet de blogue. xAI a déclaré dans un billet en novembre dernier que le grand modèle de langage (LLM) Grok a été développé au cours des quatre mois précédents et est destiné à des utilisations autour de la génération de code, de l'écriture créative et de la réponse à des questions. Le modèle pouvait notamment accéder à certains types de données du réseau social X.░W░E░I░G░H░T░S░I░N░B░I░O░
— Grok (@grok) March 17, 2024
Mais le modèle open source n'inclut pas de connexions au réseau social. Certains fabricants d'outils d'IA parlent déjà d'utiliser Grok dans leurs solutions. Le PDG de Perplexity, Arvind Srinivas, a indiqué sur X que l'entreprise allait affiner Grok pour la recherche conversationnelle et le mettre à la disposition des utilisateurs professionnels. Cependant, bien que Grok ait été mis à disposition sous licence Apache 2.0, qui autorise l'utilisation commerciale, les modifications et la distribution, rappelons que le modèle ne peut pas faire l'objet d'une marque déposée et les utilisateurs ne bénéficient d'aucune responsabilité ou garantie.
En outre, ils doivent reproduire la licence originale et l'avis de droit d'auteur, et indiquer les modifications qu'ils ont apportées. Grok a été initialement publié en tant que modèle propriétaire ou "source fermée" en novembre 2023 et n'était, jusqu'à présent, accessible que sur le réseau social X, distinct, mais connexe de Musk, en particulier par le biais du service d'abonnement payant X Premium+, qui coûte 16 dollars par mois ou 168 dollars par an. La publication de Grok permettra aux chercheurs et aux développeurs de s'appuyer sur le modèle et d'influer sur la manière dont xAI mettra à jour son produit à l'avenir.
La version open source de Grok n'inclut pas le corpus complet de ses données d'entraînement. Cela n'a pas vraiment d'importance pour l'utilisation du modèle, puisqu'il a déjà été entraîné, mais cela ne permet pas aux utilisateurs de voir ce qu'il a appris, vraisemblablement les messages textuels des utilisateurs de X. Cette version n'inclut pas non plus de connexion aux informations en temps réel disponibles sur X, ce que le milliardaire a initialement présenté comme un attribut majeur de Grok par rapport aux modèles concurrents. Pour y avoir accès, les utilisateurs devront toujours s'abonner à la version payante sur X.
De nombreuses entreprises ont publié des modèles open source ou avec une licence open source limitée afin d'obtenir les commentaires d'autres chercheurs sur la manière de les améliorer. S'il existe des modèles de fondation d'IA entièrement libres, dont Mistral et Falcon, les modèles les plus largement utilisés sont soit fermés, soit assortis d'une licence ouverte limitée. Par exemple, Meta met gratuitement à disposition les recherches sur son modèle Llama 2, mais fait payer ses clients, qui comptent 700 millions d'utilisateurs quotidiens, et ne permet pas aux développeurs d'effectuer des itérations à partir du Llama 2.
Mais les entreprises comme OpenAI, Microsoft, Anthropic et Google refusent d'ouvrir le code source de leurs modèles prétendument pour des raisons de concurrence et de sécurité. De son côté, Musk a déclaré la guerre aux modèles d'IA à code source fermé, affirmant que cela réduit les chances de développer une IA centrée sur les valeurs humaines et bénéfique à tous. Ainsi, Musk a lancé Grok pour rivaliser avec le chatbot d'IA ChatGPT d'OpenAI, une entreprise qu'il a cofondée en 2015, mais dont il s'est séparé de manière acrimonieuse en 2018 pour des raisons liées à la gestion et à l'orientation du laboratoire d'IA.
Grok est nommé d'après le terme argotique qui signifie "compréhension" et est décrit comme "une IA modelée d'après Hitchhiker's Guide to the Galaxy", le feuilleton radiophonique des années 1970 et la série de livres de science-fiction satiriques de l'auteur britannique Douglas Adams (il a été adapté dans un film majeur en 2005). Selon Musk, Grok est un chatbot centré sur l'humour et est non censuré. L'année dernière, le milliardaire de Tesla a soutenu les accusations selon lesquelles ChatGPT est un programme woke, met en avant les idées de gauche et progressistes et censure les idées et les voix des conservateurs.Grok weights are out under Apache 2.0: https://t.co/9K4IfarqXK
— Sebastian Raschka (@rasbt) March 17, 2024
It's more open source than other open weights models, which usual come with usage restrictions.
It's less open source than Pythia, Bloom, and OLMo, which come with training code and reproducible datasets. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
L'ouverture de Grok est aussi clairement une position idéologique utile pour Musk dans son procès et ses critiques générales contre OpenAI. Musk poursuivit en effet OpenAI en justice, accusant l'entreprise d'avoir abandonné son "accord fondateur" d'opérer en tant qu'organisation à but non lucratif. Pour sa défense devant le tribunal de l'opinion publique, OpenAI a publié des courriels échangés avec Musk, affirmant qu'il était au courant de son évolution vers une technologie propriétaire et à but lucratif, et qu'il l'a peut-être soutenue. OpenAI dit regretter que ses relations avec Musk se soient autant dégradées.
Dans sa réponse, OpenAI a déclaré qu'en raison des vastes ressources informatiques nécessaires au développement de l'AGI, il est devenu évident que les coûts annuels s'élèveraient à des milliards de dollars. Cette prise de conscience a permis de comprendre qu'il était essentiel de passer à une structure à but lucratif pour obtenir le financement et les ressources nécessaires. Mais c'est à ce moment-là que les désaccords ont commencé entre Musk et les autres cofondateurs d'OpenAI.
Sources : référentiel GitHub de Grok, xAI
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la publication de Grok en open source ? Selon vous, la licence Apache 2.0 est-elle adaptée pour les modèles d'IA ? Quels impacts la publication de Grok en accès libre pourrait avoir sur la course à l'IA ?Voir aussi
OpenAI répond à Elon Musk en déclarant qu'il voulait fusionner la startup d'IA avec Tesla ou en prendre le contrôle total, mais reste flou sur les accusations pour violation des accords de fondation xAI d'Elon Musk publie l'architecture de son LLM de base Grok-1, sous forme de code open source avec un modèle "Mixture-of-Experts" de 314 milliards de paramètres xAI, la start-up d'IA d'Elon Musk, est en pourparlers pour lever jusqu'à 6 milliards de $ sur la base d'une évaluation proposée de 20 milliards de $, alors que Musk cherche à défier OpenAI 
Envoyé par Aiekick
