Stability AI lance StableLM, une alternative open source à ChatGPT qui utilise beaucoup de paramètres

Pour atteindre des performances similaires à celles de GPT-3

Stability AI, la société derrière le modèle d'IA de génération d'images Stable Diffusion, a annoncé la première de sa suite de modèles de langage StableLM. Stability espère répéter les effets catalyseurs de son modèle de synthèse d'images open source Stable Diffusion, lancé en 2022. Avec raffinement, StableLM pourrait être utilisé pour construire une alternative open source à ChatGPT.

Comme d'autres « petits » LLM récents à l'instar de LLaMA de Meta, Stanford Alpaca, Cerebras-GPT et Dolly 2.0, StableLM prétend atteindre des performances similaires au modèle de référence GPT-3 d'OpenAI tout en utilisant beaucoup moins de paramètres (7 milliards pour StableLM contre 175 milliards pour GPT-3).

Stability AI est une entreprise basée à Londres qui se positionne comme un rival open source d’OpenAI, une entreprise qui développe des modèles de langage artificiel puissants mais propriétaires, comme ChatGPT.

StableLM est le nom de la famille de modèles de langage artificiel créés par Stability AI, qui sont disponibles en open source sur GitHub sous la licence Creative Commons BY-SA-4.012. Cette licence signifie que toute adaptation doit créditer le créateur original et partager la même licence.

StableLM est un modèle de génération de texte qui peut composer du texte humain et écrire des programmes en prédisant le prochain mot d’une séquence. Il utilise une technique appelée « prédiction par jetons » qui consiste à deviner le prochain fragment de mot à partir du contexte fourni par un humain sous la forme d’un "prompt".

StableLM prétend avoir des performances similaires à celles de GPT-3, le modèle de langage qui alimente ChatGPT, tout en utilisant beaucoup moins de paramètres (7 milliards contre 175 milliards). Les paramètres sont des variables que le modèle utilise pour apprendre à partir des données d’entraînement. Avoir moins de paramètres rend le modèle plus petit et plus efficace, ce qui peut le rendre plus facile à exécuter sur des appareils locaux comme les smartphones et les ordinateurs portables.

StableLM a été entraîné sur un nouveau jeu de données basé sur The Pile, qui contient 1 500 milliards de jetons, soit environ 3 fois la taille de The Pile. The Pile est un ensemble de données diversifié et de haute qualité pour l’entraînement des modèles de langage.

Stability AI a également affiné le modèle avec la procédure d’Alpaca de Stanford en utilisant une combinaison de cinq jeux de données récents pour les agents conversationnels : Alpaca de Stanford, gpt4all de Nomic-AI, ShareGPT52K de RyokoAI, Dolly de Databricks labs et HH d’Anthropic. Ces modèles affinés sont appelés StableLM-Tuned-Alpha et peuvent être utilisés pour créer des chatbots intelligents et cohérents.


Annonce de Stability AI

Les modèles linguistiques constitueront l'épine dorsale de notre économie numérique, et nous voulons que chacun ait son mot à dire dans leur conception. Des modèles comme StableLM démontrent notre engagement envers une technologie d'IA transparente, accessible et solidaire*:

• Transparent : nous rendons open-source nos modèles pour promouvoir la transparence et favoriser la confiance. Les chercheurs peuvent «*regarder sous le capot*» pour vérifier les performances, travailler sur les techniques d'interprétabilité, identifier les risques potentiels et aider à développer des protections. Les organisations des secteurs public et privé peuvent adapter (« affiner ») ces modèles open source pour leurs propres applications sans partager leurs données sensibles ni abandonner le contrôle de leurs capacités d'IA.
• Accessible : nous concevons pour la périphérie afin que les utilisateurs quotidiens puissent exécuter nos modèles sur des appareils locaux. À l'aide de ces modèles, les développeurs peuvent créer des applications indépendantes compatibles avec du matériel largement disponible au lieu de s'appuyer sur les services propriétaires d'une ou deux sociétés. De cette façon, les avantages économiques de l'IA sont partagés par une large communauté d'utilisateurs et de développeurs. Un accès ouvert et précis à nos modèles permet à l'ensemble de la recherche et de la communauté universitaire de développer des techniques d'interprétabilité et de sécurité au-delà de ce qui est possible avec des modèles fermés.
• Soutien : nous construisons des modèles pour soutenir nos utilisateurs, pas pour les remplacer. Nous nous concentrons sur des performances d'IA efficaces, spécialisées et pratiques, et non sur une quête d'une intelligence divine. Nous développons des outils qui aident les gens ordinaires et les entreprises ordinaires à utiliser l'IA pour libérer leur créativité, augmenter leur productivité et ouvrir de nouvelles opportunités économiques.

Les modèles sont maintenant disponibles dans notre référentiel GitHub. Nous publierons un rapport technique complet dans un avenir proche et nous attendons avec impatience une collaboration continue avec les développeurs et les chercheurs lors du déploiement de la suite StableLM. De plus, nous lancerons notre programme RLHF participatif et travaillerons avec des efforts communautaires tels que Open Assistant pour créer un ensemble de données open source pour les assistants IA.

SDXL, le dernier modèle de la suite Stable Diffusion

Stability AI a également annoncé la sortie en version bêta de SDXL (qui est l’acronyme de Stable Diffusion Extra Large), un nouveau modèle d’intelligence artificielle capable de générer des images à partir de descriptions textuelles. SDXL est le dernier né de la suite Stable Diffusion, qui comprend également les modèles SD, SDT et SDC.

SDXL se distingue des autres modèles par sa taille et ses capacités. Avec 2,3 milliards de paramètres, SDXL est plus de 2,5 fois plus grand que le modèle SD original, qui n’en comptait que 890 millions. Ces paramètres supplémentaires permettent à SDXL de générer des images qui respectent davantage les consignes complexes. Par exemple, SDXL peut produire du texte lisible dans les images, ou créer des portraits de personnages fictifs avec un réalisme saisissant.


SDXL est actuellement en version bêta sur DreamStudio et d’autres applications d’imagerie populaires, comme NightCafe Creator. Comme tous les modèles de Stability AI, SDXL sera bientôt publié en open source pour une accessibilité optimale. Stability AI annonce que SDXL offre une licence permissive pour un usage commercial et non commercial, à condition de respecter les règles éthiques et légales.

SDXL est un modèle prometteur pour les créateurs d’images, qu’ils soient artistes, designers, éducateurs ou simples amateurs. Il suffit de quelques secondes pour obtenir des résultats impressionnants et originaux. SDXL offre également plusieurs façons de modifier les images générées, comme l’inpainting (éditer à l’intérieur de l’image), l’outpainting (étendre l’image à l’extérieur du cadre original) ou l’image-to-image (créer une nouvelle image à partir d’une image source)


Pour essayer SDXL en ligne gratuitement, vous pouvez vous rendre sur le site de NightCafe Creator ou de DreamStudio, qui proposent des crédits quotidiens pour utiliser les paramètres les plus puissants du générateur. Vous...