Stability AI, la société derrière le modèle d'IA de génération d'images Stable Diffusion, a publié mercredi une suite de grands modèles de langage collectivement appelés StableLM. StableLM est conçu pour générer efficacement du texte et du code. Il est entraîné sur une version plus large de l'ensemble de données open source connu sous le nom de The Pile, qui comprend des informations provenant d'un éventail de sources, notamment Wikipédia, Stack Exchange et PubMed. Disponible en open source sur GitHub, StableLM comprend entre 3 et 7 milliards de paramètres. Une version comprenant 15 à 65 milliards de paramètres sera disponible ultérieurement.Stability AI est une entreprise britannique qui développe des modèles d'IA appliqués à l'imagerie, au langage, au code, à l'audio, à la vidéo, au contenu 3D, au design, à la biotechnologie et à d'autres recherches scientifiques. Elle publie ses modèles de langage en open source et est notamment à l'origine de Stable Diffusion, un grand modèle de langage permettant de générer des images numériques photoréalistes à partir de descriptions en langage naturel. Stable Diffusion est libre et gratuit et un rival des modèles d'IA de génération d'image Midjourney (développé par la société du même nom) et DALL-E d'OpenAI, le propriétaire d'u chatbot d'IA ChatGPT.
Mercredi, Stability AI a publié une suite de grands modèles de langage open source. Collectivement appelés "StableLM", ses LLM sont désormais disponibles sur GitHub pour les développeurs, qui peuvent les utiliser et les adapter à des fins commerciales ou de recherche, sous réserve des conditions de la licence CC BY-SA-4.0. StableLM est entraîné sur un nouveau jeu de données expérimental construit sur The Pile, mais trois fois plus grand avec 1 500 milliards de jetons de contenu. La richesse de ce jeu de données confère à StableLM des performances élevées dans les tâches de conversation et de codage, malgré sa petite taille de 3 à 7 milliards de paramètres.
Un exemple de texte généré par le modèle StableLM de 7 milliards de paramètres
À titre de comparaison, le modèle de langage GPT-3 d'OpenAI compte 175 milliards de paramètres. La société britannique a annoncé mercredi dans un billet de blogue qu'il publiera plus de détails sur ce jeu de données en temps voulu. Si StableLM s'appuie sur les modèles linguistiques libres sur lesquels Stability AI a déjà travaillé en collaboration avec l'organisation à but non lucratif EleutherAI, il s'inscrit également dans sa mission de rendre les outils d'IA plus accessibles, comme elle l'a fait avec Stable Diffusion. L'entreprise a mis à disposition Stable Diffusion de plusieurs manières, notamment sous la forme d'une démo publique à la fin de l'été dernier.
Stability AI a également publié une version bêta de Stable Diffusion et permet un téléchargement complet du modèle, ce qui a permis aux développeurs de jouer avec l'outil et de proposer diverses intégrations. « La publication de StableLM s'appuie sur notre expérience en matière d'ouverture de modèles de langage antérieurs avec EleutherAI. Ces modèles de langage incluent GPT-J, GPT-NeoX et la suite Pythia, qui ont été entraînés sur l'ensemble de données open source The Pile. De nombreux modèles de langage open source récents continuent de s'appuyer sur ces efforts, notamment Cerebras-GPT et Dolly-2 », a écrit l'entreprise dans son article.
Stability AI prévient que si les ensembles de données qu'elle utilise devraient aider à orienter les modèles de langage de base vers des distributions de texte plus sûres, tous les biais et toutes les toxicités ne peuvent pas être atténués par un réglage fin. En outre, l'entreprise a également publié un ensemble de modèles de recherche dont l'instruction a été affinée. Dans un premier temps, ces modèles affinés utiliseront une combinaison de cinq ensembles de données open source récents pour les agents conversationnels : Alpaca, GPT4All, Dolly, ShareGPT et HH. Selon Stability AI, ces modèles affinés sont destinés à un usage de recherche uniquement.
Ils sont publiés sous une licence non commerciale CC BY-NC-SA 4.0, conformément à la licence Alpaca de Stanford. Avant cela, la société avait annoncé il y a quelques jours la sortie de la version bêta de Stable Diffusion XL (SDXL), son dernier modèle de génération d'images qui, selon un communiqué de presse, a été conçu pour les entreprises et "excelle dans le photoréalisme". « SDXL apporte une richesse à la génération d'images qui transforme plusieurs secteurs, notamment la conception graphique et l'architecture », a déclaré Tom Mason, directeur technique de Stability AI, dans le communiqué de presse la semaine dernière.
La version bêta de SDXL est disponible dans l'API de Stability AI et dans la suite de programmation DreamStudio, qui s'adressent aux développeurs d'entreprise. Selon la société, SDXL produit une imagerie et une composition plus détaillées que son prédécesseur Stable Diffusion 2.1, y compris un photoréalisme de niveau supérieur, une composition d'image et une génération de visage améliorées, l'utilisation d'invites plus courtes pour créer une imagerie descriptive, et une plus grande capacité à produire un texte lisible. Selon Stability AI, SDXL va également au-delà de la conversion de texte en image pour inclure la création d'images à partir d'une image.
Cela signifie que l'utilisateur peut fournir une image à SDXL pour obtenir des variations de cette image. En outre, la société a annoncé que SDXL prend également en charge aussi les techniques d'inpainting (reconstruction d'images détériorées ou de remplissage des parties manquantes d'une image) et d'outpainting (construction d'une extension transparente d'une image existante). Stability AI a déclaré que si le modèle SDXL constitue une amélioration par rapport à l'architecture du modèle 2.0, les modèles 3.0 sont encore en cours de développement. Il a ajouté qu'elle apportera des améliorations plus fondamentales lorsqu'elles seront prêtes.
L'entreprise fondée en 2019 et basée à Londres est en plein essor depuis qu'elle a explosé dans l'air du temps culturel l'été dernier. Stable Diffusion 2.0 a été publié en novembre 2022, trois mois seulement après le modèle initial. Mais l'entreprise a également été occupée à relever divers défis, notamment la concurrence féroce d'autres modèles d'IA de génération d'image comme Midjourney. Des artistes se sont également opposés à l'utilisation de leurs œuvres comme données d'entraînement pour les modèles de Stable Diffusion. De nombreuses plaintes ont été déposées contre l'entreprise dans plusieurs juridictions à travers le monde.
En décembre dernier, Spawning, une organisation lancée en septembre pour créer des outils permettant aux artistes de s'approprier leurs données d'entraînement, a annoncé que Stability AI honorerait les demandes des artistes de ne pas participer à l'entraînement des modèles de Stable Diffusion 3. Cela n'a pas empêché les procès de commencer : en janvier, trois artistes ont intenté le premier procès collectif pour violation des droits d'auteur concernant l'art de l'IA contre Stability AI et Midjourney, tandis qu'en février, Getty Images a intenté un procès au motif que ses images avaient été utilisées à mauvais escient par Stability AI.
Et même si, le mois dernier, le PDG de Stability AI, Emad Mostaque, a laissé entendre que l'entreprise envisageait de s'introduire en bourse, Semafor a rapporté que Stability AI "brûlait des liquidités et tardait à générer des revenus, ce qui a conduit à une chasse aux cadres pour aider à accélérer les ventes".
Source : Stability AI
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du modèle de langage StableLM de Stability AI ? Pensez-vous qu'il est en mesure de faire de l'ombre à ChatGPT ?Voir aussi
Stable Diffusion de Stability AI serait le modèle d'IA le plus important de tous les temps, contrairement à GPT-3 et DALL-E 2, il apporte des applications du monde réel ouvertes pour les utilisateur Stability AI annonce la version 2.0 de Stable Diffusion, le modèle d'IA de diffusion d'image, il améliore le modèle texte-image OpenCLIP et apporte le modèle profondeur-image Getty Images poursuit le générateur d'art IA Stable Diffusion pour violation du droit d'auteur, l'accusant d'avoir utilisé 12 millions d'images pour former son IA « sans autorisation ni compensation » Une plainte en recours collectif est déposée contre Stability AI, Midjourney et DeviantArt pour violations du droit d'auteur, sous le couvert d'une prétendue « intelligence artificielle »