Mistral Next : certains des premiers testeurs estiment que ce modèle pourrait être meilleur que GPT-4 d'OpenAI et Gemini Ultra de Google

Le prototype du LLM disponible en mode chat direct sur LMSYS

Mistral AI, la start-up française spécialisée dans les modèles de langage multimodaux, a dévoilé son dernier prototype, Mistral Next, disponible en mode chat direct sur la plateforme Chatbot Arena. Selon certains testeurs, ce modèle, qui accepte des entrées textuelles ou visuelles et produit des sorties textuelles, serait capable de performances équivalentes ou supérieures à celles de GPT-4, le système le plus avancé d’OpenAI. Une conclusion qui ne fait toutefois pas l'unanimité, certains estimant qu'il est supérieur à Google Ultra, mais pas à GPT-4. En revanche, tous s'accordent pour dire qu'ils sont impressionnés par les résultats.

Mistral, leader de l’open-source dans le domaine des LLM (Large Language Models), se prépare à lancer son prochain modèle de langage. Celui-ci, baptisé “Mistral Next”, est déjà disponible en mode chat direct sur la plateforme Chatbot Arena. Cette information, confirmée par un développeur de Mistral sur Discord, laisse présager l’arrivée prochaine d’un nouveau prototype ambitieux. Alors que son modèle “Medium”, récemment publié, se positionne au niveau de GPT 3.5, “Next” pourrait bien s’imposer comme le modèle le plus puissant jamais développé par la startup.

Peu d'informations ou de détails préalables ont filtré sur le prototype de Mistral Next. Les internautes sont encouragés à le tester sur LMSYS Chat et à faire part de leurs commentaires.

LMSYS (Large Model Systems Organization) développe des modèles ouverts, des ensembles de données, des systèmes et des outils d’évaluation pour les grands modèles. En mai 2023, elle a lancé Chatbot Arena, une plateforme ouverte et participative d’évaluation des LLM basé sur le système Elo, une méthode d’évaluation développée pour classer les joueurs dans des jeux compétitifs tels que les échecs. Le site permet à un utilisateur de poser les mêmes questions à 2 modèles anonymisés et de voter pour celui considéré comme le meilleur.

Il n'y a pas de détails sur les paramètres ou la formation de Mistral Next, mais certains commentaires des premiers testeurs affirment qu'il est excellent en matière de raisonnement logique et d'écriture de code. Certains disent même qu'il est au niveau ou au-dessus du modèle GPT-4 d'OpenAI à cet égard. Mistral est peut-être en train de réaliser discrètement des performances bien supérieures à sa notoriété relative. Le modèle Mistral Medium, qui fait partie de la plateforme de modèles de chat La Platforme, occupe la sixième place du classement LMSYS, derrière seulement quatre versions de GPT-4 et le modèle Gemini Pro de Google.

« Aujourd'hui, c'est la folie. Un mystérieux modèle de Mistral-Next vient de tomber, et je le teste pour le codage - il est BON. Peut-être de niveau GPT-4. J'ai même effectué quelques tests en demandant à GPT d'évaluer les résultats, et il a donné à Mistral-Next un score parfait », s'est enthousiasmé Pietro Schirano, fondateur d'EverArt et ex senior product designer chez Uber et product designer chez Facebook.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Ok, so... today is crazy. There's a mysterious Mistral-Next model that just dropped, and I am testing it for coding—it's GOOD.<br><br>Possibly GPT-4 level.<br><br>I even ran a few tests that I asked GPT to evaluate the outputs, and it gave Mistral-Next a perfect score. 😳 <a href="https://t.co/HSaAB2Owqs">pic.twitter.com/HSaAB2Owqs</a></p>— Pietro Schirano (@skirano) <a href="https://twitter.com/skirano/status/1758411457195085991?ref_src=twsrc%5Etfw">February 16, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

Un autre de déclarer : « nouveau modèle "mistral-next" sur arena. dans mes tests, il surpasse le gpt-4 au niveau du raisonnement et possède la concision caractéristique de Mistral. S'agit-il de mistral-large ? »

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">new 'mistral-next' model on arena. in my tests, it bests gpt-4 at reasoning and has mistral's characteristic conciseness.<br><br>is this mistral-large? <a href="https://t.co/C06dkLE0Fs">pic.twitter.com/C06dkLE0Fs</a></p>— Aidan McLau (@aidan_mclau) <a href="https://twitter.com/aidan_mclau/status/1758336996576031214?ref_src=twsrc%5Etfw">February 16, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

La startup française d'IA générative a rapidement accumulé des capitaux et des récompenses

Fondée par d’anciens chercheurs renommés de Deepmind et Meta, la startup Mistral AI se distingue par son approche open source du développement de modèles de langage. L'objectif ? Devenir un leader européen de la recherche en IA générative et briller à l’international.

À l'instar d'OpenAI, soutenue par Microsoft, Mistral travaille sur l'IA générative grâce à ce que l'on...