Les grands modèles de langage (LLM) open source commencent à se multiplier malgré les préoccupations liées aux potentiels mauvais usages. La startup d'IA française Mistral AI vient de publier son premier modèle de langage open source baptisé Mistral 7B avec 7,3 milliards de paramètres. En dépit de sa taille relativement petite, Mistral 7B serait beaucoup plus performant que modèle Llama 2 de Meta. Le modèle de Meta comprend 13 milliards de paramètres. Mistral 7B peut être téléchargé par différents canaux, dont un fichier torrent de 13,4 Go. La société a également annoncé avoir lancé un dépôt GitHub et un canal Discord pour la collaboration et le dépannage.Mistral AI veut démocratiser l'accès à l'IA et réduire la taille des modèles de langage
Le modèle open source, appelé Mistral 7B, peut traiter des tâches en anglais tout en offrant des capacités de codage naturel, ce qui en fait une nouvelle option pour de nombreux cas d'utilisation centrés sur l'entreprise. Mistral AI a annoncés que Mistral 7B sera suivi par des modèles plus importants et des offres commerciales. « Nous disposons de méthodes de formation qui nous rendent plus efficaces et deux fois moins coûteuses à mettre en œuvre », a déclaré Arthur Mensch, directeur général de Mistral AI, lors d'un entretien avec Bloomberg. En plus de vouloir démocratiser l'IA, le but de l'entreprise semble de réduire considérablement la taille des modèles.
Avec 7 milliards de paramètres, Mistral 7B est plus petit que Llama 2 13B qui comprend 13 milliards de paramètres, mais serait beaucoup plus performant. En effet, les modèles de base - tels que GPT-3 (le plus grand modèle de langage à ce jour avec environ 175 milliards de paramètres) et GPT-4 (OpenAI n'a pas dévoilé le nombre de paramètres de ce modèle) - peuvent faire beaucoup plus, mais sont beaucoup plus coûteux et difficiles à exécuter, ce qui les conduit à être disponibles uniquement par le biais d'API ou d'accès à distance. Mistral 7B veut offrir des capacités similaires à ceux des plus grands LLM avec un coût de calcul considérablement plus faible.
« Notre ambition est de devenir le principal soutien de la communauté ouverte de l'IA générative et d'amener les modèles ouverts à des performances de pointe. Les performances de Mistral 7B démontrent ce que les petits modèles d'IA peuvent faire avec suffisamment de conviction. C'est le résultat de trois mois de travail intense, au cours desquels nous avons rassemblé l'équipe d'IA de Mistral, reconstruit une pile MLops très performante et conçu un pipeline très sophistiqué pour le traitement de données, en partant de zéro », a écrit l'équipe de Mistral AI dans un billet de blogue accompagnant la publication du modèle. Le billet de blogue indique :
- Mistral 7B surpasse Llama 2 13B sur tous les points de référence ;
- Mistral 7B surpasse Llama 1 34B (un modèle de 34 milliards de paramètres) sur de nombreux points de référence ;
- Mistral 7B approche les performances de CodeLlama 7B sur le code, tout en restant performant sur les tâches en anglais ;
- Mistral 7B utilise l'approche GQA (Grouped-query attention) pour une inférence plus rapide ;
- Mistral 7B utilise l'approche SWA (Sliding Window Attention) pour traiter des séquences plus longues à moindre coût.
Selon le billet de blogue, dans le test MMLU (Massive Multitask Language Understanding) - un test qui couvre 57 sujets tels que les mathématiques, l'histoire des États-Unis, l'informatique, le droit, etc. - le nouveau modèle a obtenu une précision de 60,1 %, alors que Llama 2 7B et 13B n'ont obtenu qu'un peu plus de 44 % et 55 %, respectivement. Dans les tests portant sur "le raisonnement de bon sens" et la compréhension de la lecture, Mistral 7B a surpassé les deux modèles Llama avec une précision de 69 % et 64 %, respectivement. Le seul domaine dans lequel le Llama 2 13B a égalé le Mistral 7B a été le test de connaissance du monde.
Selon Mistral, cela pourrait être dû au nombre limité de paramètres du modèle, qui restreint la quantité de connaissances qu'il peut comprimer. En ce qui concerne les tâches de codage, bien que Mistral qualifie le nouveau modèle de "largement supérieur", les résultats des tests de référence montrent qu'il ne surpasse toujours pas le modèle CodeLlama 7B, qui a été finement ajusté. Les données montrent que le modèle de Meta a fourni une précision de 31,1 % et 52,5 % dans les tests Humaneval 0-shot et MBPP 3-shot (sous-ensemble vérifié à la main), tandis que Mistral 7B suivait de près avec une précision de 30,5 % et 47,5 %, respectivement.
Mistral AI tente d'échapper aux problèmes liés aux licences des modèles open source
Mistral AI poursuit ses projets visant à tenir tête aux plus grands acteurs de la course à l'IA, tels que Google et OpenAI, et démocratiser la technologie. À cet effet, elle a publié mercredi son tout premier modèle d'IA open source. Plus important encore, le modèle a été publié sous la licence Apache 2.0, une licence très permissive qui ne comporte aucune restriction d'utilisation ou de reproduction au-delà de l'attribution. Il peut être utilisé aussi bien par un amateur que par une multinationale ou un gouvernement, pour autant qu'ils disposent d'un système capable de l'exécuter localement ou qu'ils soient prêts à payer pour les ressources en nuage nécessaires.
Fondée au début de l'année par des anciens de DeepMind et Meta de Google, Mistral AI s'est donné pour mission de rendre l'IA utile pour les entreprises en exploitant uniquement les données accessibles a public et celles fournies par les clients. Avec la sortie de Mistral 7B, elle entame ce voyage en fournissant aux équipes un modèle de petite taille capable de résumer rapidement des textes, les classer, les compléter et compléter des codes. Bien qu'il ne s'agisse que d'un début, la démonstration par Mistral d'un petit modèle offrant des performances élevées pour toute une série de tâches pourrait représenter des avantages majeurs pour les entreprises.
Les modèles open source actuels, tels que Llama 2 de Meta et Falcon 180B de l'Institut de l'innovation technologique (TII) d'Abu Dhabi, sont considéré par les critiques comme n'étant pas totalement open source. Ils sont publiés sous des licences interdisant certaines formes d'utilisation. Au sein de la communauté, il y a un débat intense qui vise à confirmer ou non le statut open source de ces modèles. Selon les développeurs de ces modèles, les licences restrictives permettent d'encadrer l'utilisation des modèles et d'empêcher qu'ils servent à de mauvaises causes, mais les critiques affirment que ces restrictions ne sont pas conformes à l'esprit de l'open source.
Google et OpenAI, deux principaux pionniers de l'IA, ont maintenu leurs modèles d'IA fermés, affirmant qu'ils s'inquiètent du fait que les LLM puissent être manipulés pour diffuser des infox ou d'autres contenus potentiellement dangereux. OpenAI a refusé de lever le voile sur GPT-4, son plus puissant LLM à ce jour (on ignore même le nombre de paramètres du modèle) et Google a révélé uniquement que Bard est basé sur son LLM LaMDA de 137 milliards de paramètres. Cependant, les partisans des logiciels libres affirment que le fait de maintenir ces systèmes fermés freine injustement l'innovation et entrave leur potentiel d'amélioration du monde.
Dans le cas de Mistral 7B, bien que la licence soit très permissive, le modèle lui-même a été développé en privé, avec des fonds privés, et les ensembles de données et les poids sont également privés. C'est ce qui semble constituer le modèle commercial de Mistral : le modèle est open source et libre d'utilisation, mais si vous voulez aller plus loin, vous aurez besoin de leur produit payant. « Notre offre commerciale sera distribuée sous forme de solutions en boîte blanche, en mettant à disposition les poids et les sources de code. Nous travaillons activement sur des solutions hébergées et des déploiements dédiés pour les entreprises », indique l'équipe.
Mistral AI prévoit de s'appuyer sur ces travaux pour lancer un modèle plus grand, capable de mieux raisonner et de travailler dans plusieurs langues, qui devrait faire ses débuts en 2024. Pour l'instant, Mistral 7B peut être déployé n'importe où (localement ou sur les services cloud AWS, GCP ou Azure) en utilisant l'implémentation de référence de l'entreprise, le serveur d'inférence vLLM et Skypilot. La startup, qui est basée à Paris, a récemment fait les gros titres avec son logo unique Word Art et un tour de table record de 118 millions de dollars qui est considéré comme le plus grand tour de table de l'histoire de l'Europe.
Source : Mistral AI
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du modèle Mistral 7B et de ses performances ? À votre avis, les modèles de petite taille sont-ils l'avenir de l'IA générative ? Selon vous, pourquoi Mistral 7B a-t-il été publié sous la licence Apache 2.0 ? Quels avantages cette licence offre-t-elles aux utilisateurs potentiels de Mistral 7B ? Pourquoi le statut open source des modèles de Llama 2 et Falcon 180B est-il remis en cause ?Voir aussi
Falcon 180B : un modèle d'IA open source avec 180 milliards de paramètres entraînés sur 3 500 milliards de jetons, il serait plus performant que le modèle Llama 2 de Meta et égale PaLM-2 de Google Le modèle LLamA-2 de Meta, qui vient d'être publié, ne serait pas open source, de l'avis de Alessio Fanelli, Ingénieur logiciel associé chez Decibel « L'open source aura un impact plus important sur l'avenir des modèles de langage que le grand public ne le pense », selon un ingénieur logiciel qui affirme que l'IA open source est plus sûre 
Envoyé par Anselme45
