Mistral Next : certains des premiers testeurs estiment que ce modèle pourrait être meilleur que GPT-4 d'OpenAI et Gemini Ultra de Google

Le prototype du LLM disponible en mode chat direct sur LMSYS

Mistral AI, la start-up française spécialisée dans les modèles de langage multimodaux, a dévoilé son dernier prototype, Mistral Next, disponible en mode chat direct sur la plateforme Chatbot Arena. Selon certains testeurs, ce modèle, qui accepte des entrées textuelles ou visuelles et produit des sorties textuelles, serait capable de performances équivalentes ou supérieures à celles de GPT-4, le système le plus avancé d’OpenAI. Une conclusion qui ne fait toutefois pas l'unanimité, certains estimant qu'il est supérieur à Google Ultra, mais pas à GPT-4. En revanche, tous s'accordent pour dire qu'ils sont impressionnés par les résultats.

Mistral, leader de l’open-source dans le domaine des LLM (Large Language Models), se prépare à lancer son prochain modèle de langage. Celui-ci, baptisé “Mistral Next”, est déjà disponible en mode chat direct sur la plateforme Chatbot Arena. Cette information, confirmée par un développeur de Mistral sur Discord, laisse présager l’arrivée prochaine d’un nouveau prototype ambitieux. Alors que son modèle “Medium”, récemment publié, se positionne au niveau de GPT 3.5, “Next” pourrait bien s’imposer comme le modèle le plus puissant jamais développé par la startup.

Peu d'informations ou de détails préalables ont filtré sur le prototype de Mistral Next. Les internautes sont encouragés à le tester sur LMSYS Chat et à faire part de leurs commentaires.

LMSYS (Large Model Systems Organization) développe des modèles ouverts, des ensembles de données, des systèmes et des outils d’évaluation pour les grands modèles. En mai 2023, elle a lancé Chatbot Arena, une plateforme ouverte et participative d’évaluation des LLM basé sur le système Elo, une méthode d’évaluation développée pour classer les joueurs dans des jeux compétitifs tels que les échecs. Le site permet à un utilisateur de poser les mêmes questions à 2 modèles anonymisés et de voter pour celui considéré comme le meilleur.

Il n'y a pas de détails sur les paramètres ou la formation de Mistral Next, mais certains commentaires des premiers testeurs affirment qu'il est excellent en matière de raisonnement logique et d'écriture de code. Certains disent même qu'il est au niveau ou au-dessus du modèle GPT-4 d'OpenAI à cet égard. Mistral est peut-être en train de réaliser discrètement des performances bien supérieures à sa notoriété relative. Le modèle Mistral Medium, qui fait partie de la plateforme de modèles de chat La Platforme, occupe la sixième place du classement LMSYS, derrière seulement quatre versions de GPT-4 et le modèle Gemini Pro de Google.

« Aujourd'hui, c'est la folie. Un mystérieux modèle de Mistral-Next vient de tomber, et je le teste pour le codage - il est BON. Peut-être de niveau GPT-4. J'ai même effectué quelques tests en demandant à GPT d'évaluer les résultats, et il a donné à Mistral-Next un score parfait », s'est enthousiasmé Pietro Schirano, fondateur d'EverArt et ex senior product designer chez Uber et product designer chez Facebook.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Ok, so... today is crazy. There's a mysterious Mistral-Next model that just dropped, and I am testing it for coding—it's GOOD.<br><br>Possibly GPT-4 level.<br><br>I even ran a few tests that I asked GPT to evaluate the outputs, and it gave Mistral-Next a perfect score. 😳 <a href="https://t.co/HSaAB2Owqs">pic.twitter.com/HSaAB2Owqs</a></p>— Pietro Schirano (@skirano) <a href="https://twitter.com/skirano/status/1758411457195085991?ref_src=twsrc%5Etfw">February 16, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

Un autre de déclarer : « nouveau modèle "mistral-next" sur arena. dans mes tests, il surpasse le gpt-4 au niveau du raisonnement et possède la concision caractéristique de Mistral. S'agit-il de mistral-large ? »

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">new 'mistral-next' model on arena. in my tests, it bests gpt-4 at reasoning and has mistral's characteristic conciseness.<br><br>is this mistral-large? <a href="https://t.co/C06dkLE0Fs">pic.twitter.com/C06dkLE0Fs</a></p>— Aidan McLau (@aidan_mclau) <a href="https://twitter.com/aidan_mclau/status/1758336996576031214?ref_src=twsrc%5Etfw">February 16, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script> [/TWITTER]

La startup française d'IA générative a rapidement accumulé des capitaux et des récompenses

Fondée par d’anciens chercheurs renommés de Deepmind et Meta, la startup Mistral AI se distingue par son approche open source du développement de modèles de langage. L'objectif ? Devenir un leader européen de la recherche en IA générative et briller à l’international.

À l'instar d'OpenAI, soutenue par Microsoft, Mistral travaille sur l'IA générative grâce à ce que l'on appelle les grands modèles de langage (LLM), qui sont capables de créer de la prose et du code semblables à ceux de l'homme en quelques secondes. Le développement de cette technologie nécessite toutefois des capitaux importants, car les LLM requièrent d'énormes quantités de puissance de traitement informatique. Ce problème a donné l'avantage aux grandes enseignes américaines de la technologie et aux entreprises chinoises, qui mènent la course à l'innovation à ce jour, mais Mistral s'est imposé comme l'un des espoirs européens les plus brillants et les mieux financés dans le domaine de l'IA générative.

L'un des fondateurs de l'entreprise française, Arthur Mensch, a déclaré au Financial Times en octobre que sa technologie était plus efficace et moins coûteuse que celles développées par ses grands rivaux américains. Mistral mise également sur une approche « open source », dans laquelle le modèle serait publié publiquement afin de permettre aux développeurs et aux entreprises de s'en inspirer et de contribuer à son développement.

Les LLM publiés par l'entreprise suscitent un vif intérêt. Il s'agit notamment du modèle Mistral 7B qui a été publié lors des débuts de l'entreprise et du LLM Mixtral 8x7B plus récent. Tous deux sont soumis à une licence ouverte Apache 2.0, visant à démontrer les capacités des LLM open-source, même de taille modeste, pour les projets d'IA générative. Mistral Next devrait également relever de cette licence. Ce n'est pas seulement en tant que modèles bruts que Mistral a suscité de l'intérêt. Le navigateur Web Brave a fait de Mixtral 8x7B le modèle par défaut de son assistant d'IA générative Leo.


Leo a été lancé il y a quelques mois avec le LLM open-source Llama 2 de Meta, alimentant ses réponses aux questions, les résumés de sites Web et la composition de textes. Brave a toujours envisagé que Leo dispose d'un ensemble de LLM, mais le premier choix automatique s'est orienté vers Mixtral 8x7B. Mistral a sorti le modèle "open-weight" en décembre, s'attirant des éloges pour sa vitesse et surpassant des LLM comme GPT-3.5 d'OpenAI et Claude Instant d'Anthropic dans divers benchmarks. Ces performances ont conduit Brave à choisir Mixtral comme modèle par défaut de Leo. LLM.

Mixtral offre également à Leo des avantages supplémentaires tels qu'une mémoire contextuelle étendue, une compréhension multilingue et une traduction entre l'anglais, le français, l'allemand, l'italien et l'espagnol. Il peut également écrire du code de calcul sur demande, étendant ainsi la fonctionnalité CodeLLM de Mixtral dans le moteur de recherche Brave Search.

« Depuis son lancement, Brave Leo a été adopté par des dizaines de milliers d'utilisateurs gratuits et d'abonnés payants, et nous nous attendons à une adoption encore plus importante à mesure que nous étendons notre disponibilité de LLM à Mixtral », a expliqué Brian Bondy, directeur technique de Brave. « Notre objectif est de créer des cas d'utilisation nouveaux et pratiques dans le contexte des sessions de navigation des utilisateurs, et d'aider nos utilisateurs à interagir avec le Web de manière révolutionnaire ».

Bien que Mixtral 8x7B serve de LLM par défaut pour Loe, l'assistant propose d'autres modèles que les utilisateurs peuvent choisir en fonction de leurs besoins et de leur budget, notamment Claude Instant et Llama 2. La version gratuite de Leo est limitée en termes de tarifs, mais un abonnement premium mensuel de 15 $ permet d'augmenter ces limites, entre autres avantages. Les utilisateurs de la version gratuite ont également la possibilité de revenir à l'expérience Leo précédente avec Llama 2 une fois qu'ils ont...