Mistral AI lance Mistral Small 3.2 : le modèle d'IA apporte un suivi des instructions amélioré, la réduction des répétitions et des appels de fonctions renforcés pour l'intégration de l'IA

Mistral AI lance Mistral Small 3.2 : le modèle d'IA apporte un suivi des instructions amélioré, la réduction des répétitions et des appels de fonctions renforcés pour l'intégration de l'IA

Mistral AI, une startup française d'intelligence artificielle (IA), a lancé Mistral Small 3.2 (Mistral-Small-3.2-24B-Instruct-2506), une version mise à jour de sa version précédente, Mistral-Small-3.1-24B-Instruct-2503. Une amélioration significative de Mistral Small 3.2 réside dans sa précision dans l'exécution d'instructions précises. En corrigeant les erreurs de répétition, Mistral Small 3.2 minimise les cas de sortie infinie ou répétitive, un problème couramment rencontré dans les scénarios de conversation longs. En outre, la robustesse améliorée du modèle d'appel de fonctions se traduit par des interactions plus stables et plus fiables.

Avec la sortie fréquente de nouveaux grands modèles de langage (LLM), la recherche visant à minimiser les erreurs répétitives, à améliorer la robustesse et à optimiser considérablement les interactions avec les utilisateurs se poursuit sans relâche. À mesure que les modèles d'IA deviennent indispensables à des tâches informatiques plus sophistiquées, les développeurs affinent constamment leurs capacités afin de garantir une intégration transparente dans divers scénarios réels.

Mistral AI, une startup française d'intelligence artificielle (IA), a lancé Mistral Small 3.2 (Mistral-Small-3.2-24B-Instruct-2506), une version mise à jour de sa version précédente, Mistral-Small-3.1-24B-Instruct-2503. Bien qu'il s'agisse d'une version mineure, Mistral Small 3.2 introduit des améliorations fondamentales qui visent à renforcer la fiabilité et l'efficacité globales du modèle, en particulier dans le traitement d'instructions complexes, en évitant les sorties redondantes et en maintenant la stabilité dans les scénarios d'appel de fonctions.


Une amélioration significative de Mistral Small 3.2 réside dans sa précision dans l'exécution d'instructions précises. Une interaction utilisateur réussie nécessite souvent une grande précision dans l'exécution de commandes subtiles. Les scores des tests de performance reflètent fidèlement cette amélioration : lors du test d'instructions Wildbench v2, Mistral Small 3.2 a atteint une précision de 65,33 %, soit une amélioration par rapport aux 55,6 % de son prédécesseur. À l'inverse, les performances dans le test difficile Arena Hard v2 ont presque doublé, passant de 19,56 % à 43,1 %, ce qui prouve sa capacité améliorée à exécuter et à comprendre avec précision des commandes complexes.

En corrigeant les erreurs de répétition, Mistral Small 3.2 minimise les cas de sortie infinie ou répétitive, un problème couramment rencontré dans les scénarios de conversation longs. Les évaluations internes montrent que Small 3.2 réduit efficacement de moitié les cas d'erreurs de génération infinies, passant de 2,11 % dans Small 3.1 à 1,29 %. Cette réduction augmente directement la facilité d'utilisation et la fiabilité du modèle dans les interactions prolongées. Le nouveau modèle démontre également une plus grande capacité à appeler des fonctions, ce qui le rend idéal pour les tâches d'automatisation. De plus, la robustesse améliorée du modèle d'appel de fonctions se traduit par des interactions plus stables et plus fiables.


L'amélioration des benchmarks liés aux STEM démontre encore davantage les capacités de Small 3.2. Par exemple, le test de code HumanEval Plus Pass@5 a vu sa précision passer de 88,99 % dans Small 3.1 à 92,90 %. De même, les résultats du test MMLU Pro sont passés de 66,76 % à 69,06 %, et les notes GPQA Diamond se sont légèrement améliorées, passant de 45,96 % à 46,13 %, ce qui démontre une compétence générale dans les utilisations scientifiques et techniques.

Les résultats des performances basées sur la vision étaient incohérents, certaines optimisations ayant été appliquées de manière sélective. La précision de ChartQA est passée de 86,24 % à 87,4 %, et celle de DocVQA a légèrement augmenté, passant de 94,08 % à 94,86 %. En revanche, certains tests, tels que MMMU et Mathvista, ont connu de légères baisses, indiquant des compromis spécifiques rencontrés au cours du processus d'optimisation.


Les principales mises à jour de Mistral Small 3.2 par rapport à Small 3.1 sont les suivantes :

• Précision améliorée dans le suivi des instructions, avec une précision Wildbench v2 passant de 55,6 % à 65,33 %.
• Réduction des erreurs de répétition, avec une diminution de moitié des instances de génération infinie, passant de 2,11 % à 1,29 %.
• Robustesse améliorée dans les modèles d'appel de fonctions, garantissant des intégrations plus stables.
• Augmentation notable des performances liées aux STEM, en particulier dans HumanEval Plus Pass@5 (92,90 %) et MMLU Pro (69,06 %).

En conclusion, Mistral Small 3.2 offre des améliorations ciblées et pratiques par rapport à son prédécesseur, offrant aux utilisateurs une plus grande précision, une redondance réduite et des capacités d'intégration améliorées. Ces avancées contribuent à en faire un choix fiable pour les tâches complexes basées sur l'IA dans divers domaines d'application.

Pour rappel, il y a un an, Mistral AI a levé 640 millions de dollars dans le cadre d'un tour de table de série B mené par General Catalyst. L'investissement, composé de 503 millions de dollars de capitaux propres et de 142 millions de dollars de dettes, a propulsé la valorisation de l'entreprise à un niveau impressionnant de 6 milliards de dollars, un an seulement après sa création. Ce tour de table, mené par General Catalyst, avec des contributions de plusieurs investisseurs nouveaux et existants, représente un vote de confiance majeur dans la poursuite par Mistral d'une technologie d'IA de pointe.

Source : Annonce de Mistral AI

Et vous ?

Pensez-vous que ces améliorations sont crédibles ou pertinentes ?
Quel est votre avis sur cette mise à jour ?

Voir aussi :

La startup française d'intelligence artificielle (IA) Mistral AI a dévoilé Mistral Small 3.1, son nouveau modèle léger open source, qui battrait Gemma 3, Claude et GPT-4o

PDG de Mistral : « L'impact de l'IA sur le PIB de chaque pays sera à deux chiffres dans les années à venir ». Arthur Mensch compare l'IA à l'avènement de l'électricité

La startup française Mistral AI a publié Small 3, un nouveau modèle de langage qui égale les performances des modèles beaucoup plus grands de Meta et OpenAI, avec la licence Apache 2.0, plus permissive