Mistral Next : certains des premiers testeurs estiment que ce modèle pourrait être meilleur que GPT-4 d'OpenAI et Gemini Ultra de Google

Le prototype du LLM disponible en mode chat direct sur LMSYS

Mistral AI, la start-up française spécialisée dans les modèles de langage multimodaux, a dévoilé son dernier prototype, Mistral Next, disponible en mode chat direct sur la plateforme Chatbot Arena. Selon certains testeurs, ce modèle, qui accepte des entrées textuelles ou visuelles et produit des sorties textuelles, serait capable de performances équivalentes ou supérieures à celles de GPT-4, le système le plus avancé d’OpenAI. Une conclusion qui ne fait toutefois pas l'unanimité, certains estimant qu'il est supérieur à Google Ultra, mais pas à GPT-4. En revanche, tous s'accordent pour dire qu'ils sont impressionnés par les résultats.

Mistral, leader de l’open-source dans le domaine des LLM (Large Language Models), se prépare à lancer son prochain modèle de langage. Celui-ci, baptisé “Mistral Next”, est déjà disponible en mode chat direct sur la plateforme Chatbot Arena. Cette information, confirmée par un développeur de Mistral sur Discord, laisse présager l’arrivée prochaine d’un nouveau prototype ambitieux. Alors que son modèle “Medium”, récemment publié, se positionne au niveau de GPT 3.5, “Next” pourrait bien s’imposer comme le modèle le plus puissant jamais développé par la startup.

Peu d'informations ou de détails préalables ont filtré sur le prototype de Mistral Next. Les internautes sont encouragés à le tester sur LMSYS Chat et à faire part de leurs commentaires.

LMSYS (Large Model Systems Organization) développe des modèles ouverts, des ensembles de données, des systèmes et des outils d’évaluation pour les grands modèles. En mai 2023, elle a lancé Chatbot Arena, une plateforme ouverte et participative d’évaluation des LLM basé sur le système Elo, une méthode d’évaluation développée pour classer les joueurs dans des jeux compétitifs tels que les échecs. Le site permet à un utilisateur de poser les mêmes questions à 2 modèles anonymisés et de voter pour celui considéré comme le meilleur.

Il n'y a pas de détails sur les paramètres ou la formation de Mistral Next, mais certains commentaires des premiers testeurs affirment qu'il est excellent en matière de raisonnement logique et d'écriture de code. Certains disent même qu'il est au niveau ou au-dessus du modèle GPT-4 d'OpenAI à cet égard. Mistral est peut-être en train de réaliser discrètement des performances bien supérieures à sa notoriété relative. Le modèle Mistral Medium, qui fait partie de la plateforme de modèles de chat La Platforme, occupe la sixième place du classement LMSYS, derrière seulement quatre versions de GPT-4 et le modèle Gemini Pro de Google.

« Aujourd'hui, c'est la folie. Un mystérieux modèle de Mistral-Next vient de tomber, et je le teste pour le codage - il est BON. Peut-être de niveau GPT-4. J'ai même effectué quelques tests en demandant à GPT d'évaluer les résultats, et il a donné à Mistral-Next un score parfait », s'est enthousiasmé Pietro Schirano, fondateur d'EverArt et ex senior product designer chez Uber et product designer chez Facebook.

Ok, so... today is crazy. There's a mysterious Mistral-Next model that just dropped, and I am testing it for coding—it's GOOD.

Possibly GPT-4 level.

I even ran a few tests that I asked GPT to evaluate the outputs, and it gave Mistral-Next a perfect score. 😳 pic.twitter.com/HSaAB2Owqs

— Pietro Schirano (@skirano) February 16, 2024

Un autre de déclarer : « nouveau modèle "mistral-next" sur arena. dans mes tests, il surpasse le gpt-4 au niveau du raisonnement et possède la concision caractéristique de Mistral. S'agit-il de mistral-large ? »

new 'mistral-next' model on arena. in my tests, it bests gpt-4 at reasoning and has mistral's characteristic conciseness.

is this mistral-large? pic.twitter.com/C06dkLE0Fs

— Aidan McLau (@aidan_mclau) February 16, 2024

La startup française d'IA générative a rapidement accumulé des capitaux et des récompenses

Fondée par d’anciens chercheurs renommés de Deepmind et Meta, la startup Mistral AI se distingue par son approche open source du développement de modèles de langage. L'objectif ? Devenir un leader européen de la recherche en IA générative et briller à l’international.

À l'instar d'OpenAI, soutenue par Microsoft, Mistral travaille sur l'IA générative grâce à ce que l'on appelle les grands modèles de langage (LLM), qui sont capables de créer de la prose et du code semblables à ceux de l'homme en quelques secondes. Le développement de cette technologie nécessite toutefois des capitaux importants, car les LLM requièrent d'énormes quantités de puissance de traitement informatique. Ce problème a donné l'avantage aux grandes enseignes américaines de la technologie et aux entreprises chinoises, qui mènent la course à l'innovation à ce jour, mais Mistral s'est imposé comme l'un des espoirs européens les plus brillants et les mieux financés dans le domaine de l'IA générative.

L'un des fondateurs de l'entreprise française, Arthur Mensch, a déclaré au Financial Times en octobre que sa technologie était plus efficace et moins coûteuse que celles développées par ses grands rivaux américains. Mistral mise également sur une approche « open source », dans laquelle le modèle serait publié publiquement afin de permettre aux développeurs et aux entreprises de s'en inspirer et de contribuer à son développement.

Les LLM publiés par l'entreprise suscitent un vif intérêt. Il s'agit notamment du modèle Mistral 7B qui a été publié lors des débuts de l'entreprise et du LLM Mixtral 8x7B plus récent. Tous deux sont soumis à une licence ouverte Apache 2.0, visant à démontrer les capacités des LLM open-source, même de taille modeste, pour les projets d'IA générative. Mistral Next devrait également relever de cette licence. Ce n'est pas seulement en tant que modèles bruts que Mistral a suscité de l'intérêt. Le navigateur Web Brave a fait de Mixtral 8x7B le modèle par défaut de son assistant d'IA générative Leo.


Leo a été lancé il y a quelques mois avec le LLM open-source Llama 2 de Meta, alimentant ses réponses aux questions, les résumés de sites Web et la composition de textes. Brave a toujours envisagé que Leo dispose d'un ensemble de LLM, mais le premier choix automatique s'est orienté vers Mixtral 8x7B. Mistral a sorti le modèle "open-weight" en décembre, s'attirant des éloges pour sa vitesse et surpassant des LLM comme GPT-3.5 d'OpenAI et Claude Instant d'Anthropic dans divers benchmarks. Ces performances ont conduit Brave à choisir Mixtral comme modèle par défaut de Leo. LLM.

Mixtral offre également à Leo des avantages supplémentaires tels qu'une mémoire contextuelle étendue, une compréhension multilingue et une traduction entre l'anglais, le français, l'allemand, l'italien et l'espagnol. Il peut également écrire du code de calcul sur demande, étendant ainsi la fonctionnalité CodeLLM de Mixtral dans le moteur de recherche Brave Search.

« Depuis son lancement, Brave Leo a été adopté par des dizaines de milliers d'utilisateurs gratuits et d'abonnés payants, et nous nous attendons à une adoption encore plus importante à mesure que nous étendons notre disponibilité de LLM à Mixtral », a expliqué Brian Bondy, directeur technique de Brave. « Notre objectif est de créer des cas d'utilisation nouveaux et pratiques dans le contexte des sessions de navigation des utilisateurs, et d'aider nos utilisateurs à interagir avec le Web de manière révolutionnaire ».

Bien que Mixtral 8x7B serve de LLM par défaut pour Loe, l'assistant propose d'autres modèles que les utilisateurs peuvent choisir en fonction de leurs besoins et de leur budget, notamment Claude Instant et Llama 2. La version gratuite de Leo est limitée en termes de tarifs, mais un abonnement premium mensuel de 15 $ permet d'augmenter ces limites, entre autres avantages. Les utilisateurs de la version gratuite ont également la possibilité de revenir à l'expérience Leo précédente avec Llama 2 une fois qu'ils ont atteint les limites tarifaires de Mixtral.

Une alternative à OpenAI

Mistral AI se positionne comme un concurrent direct d’OpenAI, qui a été fondé en 2015 par un groupe d’entrepreneurs et d’investisseurs du secteur technologique, dont Elon Musk et Peter Thiel. OpenAI s’est fait connaître pour ses recherches innovantes sur l’IA générative, notamment son modèle GPT-3 qui peut produire du texte cohérent à partir d’un simple mot-clé ou d’une phrase. OpenAI a également lancé une plateforme commerciale appelée OpenAI Codex, qui permet aux développeurs d’utiliser l’IA pour créer des applications, des sites web et des jeux.

Mistral veut offrir une alternative à OpenAI, en proposant des modèles d’IA générative plus accessibles, plus éthiques et plus personnalisables. Mensch a déclaré que Mistral vise à créer une « IA démocratique », qui ne soit pas contrôlée par quelques acteurs dominants, mais qui soit ouverte à la collaboration et à l’innovation de la communauté. Il a également souligné que Mistral s’engage à respecter les principes de l’IA responsable, en veillant à ce que ses modèles soient transparents, équitables et respectueux de la vie privée.

Mistral espère que son approche open source et centrée sur l’utilisateur lui permettra de se différencier sur le marché de l’IA générative, qui devrait connaître une forte croissance dans les années à venir. Selon une étude de MarketsandMarkets, le marché mondial de l’IA générative devrait passer de 3,5 milliards de dollars en 2021 à 24,1 milliards de dollars en 2026, soit un taux de croissance annuel composé de 47,1 %.

D'autres startups européennes à l'assaut de l'IA générative

Mistral AI n’est pas la seule start-up européenne à se lancer dans le domaine de l’IA générative. En avril, la société allemande Aleph Alpha a levé 27 millions d’euros pour développer son propre modèle de langage basé sur le GPT-3. En février 2023, la société allemande Deepset a levé 5 millions d’euros pour créer une plateforme d’IA conversationnelle basée sur le modèle BERT de Google. Et en janvier, la société française ReciTAL a levé 3,5 millions d’euros pour proposer des solutions d’analyse et de génération de texte basées sur l’IA.

Mistral espère se démarquer par la qualité et la diversité de ses modèles, ainsi que par sa capacité à répondre aux besoins spécifiques de ses clients. Mensch a déclaré que Mistral vise à créer des modèles capables de gérer non seulement le texte, mais aussi les images, les sons et les vidéos. Il a également affirmé que Mistral sera en mesure de fournir des modèles adaptés à différents domaines, langues et cultures.

« Nous voulons créer une IA qui soit utile pour tous les cas d’usage, pas seulement pour quelques-uns », a-t-il dit. « Nous voulons créer une IA qui soit capable de comprendre le monde et de le rendre meilleur ».

Essayer Mixtral Next sur chatbot Arena

Sources : Les premiers retours de Mixtral Next sur X/Twitter, Brave

Et vous ?

Que pensez-vous de la performance de Mistral Next par rapport à GPT-4 ?
Quels sont les avantages et les inconvénients de publier un modèle de langage en mode open source ?
Quelles sont les applications potentielles de Mistral Next dans votre domaine d’activité ou d’intérêt ?
Quels sont les risques ou les défis liés à l’utilisation d’un modèle de langage multimodal comme Mistral Next ?
Comment évalueriez-vous la qualité et la fiabilité des réponses de Mistral Next ?