Mistral AI vient de dévoiler Mistral Small 3, son nouveau modèle d'IA à 24 milliards de paramètres, développé dans un souci de haute performance et de faible latence. Avec une structure optimisée, il se positionne comme une alternative ouverte et transparente aux modèles propriétaires, offrant des résultats comparables à des modèles beaucoup plus grands tels que Llama 3.3 70B et Qwen 32B. Caractérisé par une efficacité de calcul, Small 3 serait un choix idéal pour 80 % des applications génératives basées sur l'IA, garantissant des temps de réponse rapides sans compromettre la précision.Mistral AI est une entreprise française fondée en avril 2023, spécialisée dans l'intelligence artificielle (IA) générative. Elle développe des grands modèles de langages open source et propriétaires. En un an, elle réalise trois levées de fonds successives, d'un montant total de plus d'un milliard d'euros, et serait valorisée en juin 2024 à près de six milliards d'euros. Mistral est considérée comme l'un des leaders européens de l'intelligence artificielle.
Mistral AI vient de dévoiler un nouveau modèle de langage qui, selon elle, atteint les performances de modèles trois fois plus grands tout en réduisant considérablement les coûts de calcul. Le nouveau modèle, appelé Mistral Small 3, compte 24 milliards de paramètres et atteint une précision de 81 % sur les critères de référence standard tout en traitant 150 jetons par seconde. L'entreprise le publie sous la licence Apache 2.0, ce qui permet aux entreprises de le modifier et de le déployer librement.
"Nous pensons qu'il s'agit du meilleur modèle parmi tous les modèles de moins de 70 milliards de paramètres", a déclaré Guillaume Lample, directeur scientifique de Mistral. "Nous estimons qu'il est pratiquement au même niveau que Llama 3.3 70B de Meta publié il y a quelques mois, qui est un modèle trois fois plus grand."
L'annonce intervient dans un contexte d'examen minutieux des coûts de développement de l'IA, suite aux affirmations de la startup chinoise DeepSeek selon lesquelles elle a formé un modèle compétitif pour seulement 5,6 millions de dollars. Ces affirmations ont effacé près de 600 milliards de dollars de la valeur boursière de Nvidia, les investisseurs remettant en question les investissements massifs réalisés par les géants américains de la technologie.
Mistral Small 3 : un modèle d'IA open-source plus petit, plus rapide et moins cher
Présentation
Envoyé par Mistral AI
Nous présentons aujourd'hui Mistral Small 3, un modèle à 24 milliards de paramètres optimisé pour la latence, publié sous la licence Apache 2.0.
Mistral Small 3 est compétitif par rapport à des modèles plus importants tels que Llama 3.3 70B ou Qwen 32B, et constitue un excellent remplacement ouvert pour des modèles propriétaires opaques tels que GPT4o-mini. Mistral Small 3 est au même niveau que l'instruction Llama 3.3 70B, tout en étant plus de trois fois plus rapide sur le même matériel.
Mistral Small 3 est un modèle pré-entraîné et instruit destiné aux "80 %" des tâches d'IA générative, c'est-à-dire celles qui requièrent un langage robuste et des performances de suivi des instructions, avec une latence très faible.
Nous avons conçu ce nouveau modèle pour saturer les performances à une taille adaptée à un déploiement local. En particulier, Mistral Small 3 comporte beaucoup moins de couches que les modèles concurrents, ce qui réduit considérablement le temps nécessaire à chaque passage. Avec une précision de plus de 81 % sur MMLU et une latence de 150 jetons/s, Mistral Small est actuellement le modèle le plus efficace de sa catégorie.
Nous publions un point de contrôle pré-entraîné et un point de contrôle ajusté aux instructions sous Apache 2.0. Les points de contrôle peuvent servir de base puissante pour accélérer les progrès. Notez que Mistral Small 3 n'est pas entraîné avec des données RL ou synthétiques, et se trouve donc plus tôt dans le pipeline de production de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
