Mistral AI a récemment lancé Mistral OCR 4, qui fait progresser la compréhension des documents grâce à la prise en charge des cadres de sélection, de la classification par blocs et des scores de confiance intégrés. Chaque bloc de contenu extrait est désormais localisé, classé par type et accompagné de mesures de confiance par page et par mot, en plus de la sortie textuelle. Le modèle élargit l’accessibilité en prenant en charge 170 langues réparties dans 10 groupes linguistiques. S’appuyant sur ces améliorations, Mistral OCR 4 accepte les formats de documents d’entreprise courants : PDF, DOC, PPT et OpenDocument, ce qui élargit son champ d’application aux flux de travail d’entreprise.Mistral AI SAS est une entreprise française spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à Paris. Fondée en 2023, elle dispose de grands modèles de langage (LLM) à poids ouvert, comprenant à la fois des modèles d'IA open source et propriétaires. En 2025, la société était valorisée à plus de 14 milliards de dollars américains. La reconnaissance optique de caractères (OCR) ou lecture optique de caractères désigne la conversion électronique ou mécanique d’images de texte dactylographié, manuscrit ou imprimé en texte codé par une machine, qu’il s’agisse d’un document numérisé, d’une photo d’un document, d’une photo de scène ou de sous-titres superposés à une image.
Largement utilisé comme méthode de saisie de données à partir de documents papier imprimés, c’est une méthode courante de numérisation des textes imprimés afin de pouvoir les éditer électroniquement, les rechercher, les stocker de manière plus compacte, les afficher en ligne et les utiliser dans des processus automatisés tels que l’informatique cognitive, la traduction automatique, la synthèse vocale (à partir de texte extrait), l’extraction de données clés et l’exploration de textes. L’OCR est un domaine de recherche relevant de la reconnaissance de formes, de l’intelligence artificielle et de la vision par ordinateur.
Mistral AI a récemment lancé Mistral OCR 4, qui fait progresser la compréhension des documents grâce à la prise en charge des cadres de sélection, de la classification par blocs et des scores de confiance intégrés. Chaque bloc de contenu extrait est désormais localisé, classé par type et accompagné de mesures de confiance par page et par mot, en plus de la sortie textuelle. Le modèle élargit l’accessibilité en prenant en charge 170 langues réparties dans 10 groupes linguistiques, y compris des langues rares ou disposant de peu de ressources, comblant ainsi une lacune présente dans de nombreuses solutions existantes.
S’appuyant sur ces améliorations, Mistral OCR 4 accepte les formats de documents d’entreprise courants : PDF, DOC, PPT et OpenDocument, ce qui élargit son champ d’application aux flux de travail d’entreprise. En termes de déploiement, Mistral OCR 4 s’exécute sous la forme d’un conteneur unique et peut être entièrement auto-hébergé. Cette conception permet aux organisations de gérer des opérations sensibles en termes de coûts ou à haut volume tout en préservant une souveraineté stricte sur les données, grâce au traitement des documents au sein d’une infrastructure sur site.
Ces capacités permettent au modèle de servir non seulement d’extracteur de texte, mais aussi de composant d’ingestion pour la recherche d’entreprise, les systèmes de génération augmentée par la recherche (RAG) et les workflows de recherche spécifiques à un domaine. Mistral OCRv4 et la solution Document AI associée sont accessibles via des API sur Mistral Studio, Amazon SageMaker et Microsoft Foundry, l’intégration avec Snowflake Parse Document étant prévue prochainement.
Voici l'annonce de Mistral AI :
Présentation d'OCR 4
Nous lançons aujourd’hui Mistral OCR 4, qui intègre des cadres de sélection, la classification par blocs et des scores de confiance intégrés, en plus du texte extrait. Le modèle prend en charge 170 langues réparties dans 10 groupes linguistiques, s’exécute dans un seul conteneur pour des déploiements entièrement auto-hébergés et sert de composant d’ingestion pour la recherche d’entreprise, le RAG et les pipelines de recherche spécifiques à un domaine. OCR 4 est un modèle compact et spécialisé. Cet article présente ses nouveautés, ses performances sur des benchmarks publics et internes, les limites connues de ces benchmarks, ainsi que des conseils pour choisir entre l’API du modèle et Document AI.
Points forts
- Des performances exceptionnelles. Des annotateurs indépendants préfèrent OCR 4 à tous les principaux systèmes OCR et d’IA documentaire testés, avec des taux de réussite moyens de 72 %, ainsi que le meilleur score global sur OlmOCRBench (85,20). Voir la section « Tests de performance » ci-dessous pour la méthodologie et les limites connues en matière de notation.
- La segmentation, pas seulement le texte. Outre le texte extrait, OCR 4 fournit des cadres de sélection, une classification des blocs de texte (titres, tableaux, équations, signatures, etc.) et des scores de confiance intégrés. Les cadres de sélection, notre fonctionnalité la plus demandée, permettent de localiser le texte pour un surlignage contextuel et des pipelines de données fiables. Parallèlement, les types de blocs et les scores de confiance facilitent les citations fondées sur la source, les expurgations et la vérification par un intervenant humain.
- Intégré à Mistral Search Toolkit (aperçu public). OCR 4 est un composant d’ingestion de Search Toolkit, le framework de recherche open source et modulable de Mistral, annoncé lors du sommet AI Now. Sa sortie structurée fournit des données prêtes à être citées au workflow d’ingestion, de recherche et d’évaluation du toolkit pour la recherche RAG et la recherche d’entreprise.
- Couverture multilingue. Prise en charge de 170 langues réparties en 10 groupes linguistiques, avec des gains mesurables sur les langues spécialisées et les langues disposant de peu de ressources, là où plusieurs systèmes concurrents affichent des performances en baisse.
- Exécutez-le sur votre propre infrastructure. OCR 4 est suffisamment compact pour être déployé sur un seul conteneur, ce qui permet de conserver les données des documents dans votre environnement pour des raisons de résidence, de souveraineté et de conformité, tout en prenant en charge un traitement par lots économique et à haut débit. Un déploiement en autogestion est disponible pour les clients professionnels.
Présentation
Mistral OCR 4 extrait et structure le contenu d’un large éventail de documents. Alors que les générations précédentes se concentraient sur la conversion d’une page en texte et tableaux épurés, OCR 4 renvoie une représentation structurée du document. Chaque bloc est localisé à l’aide d’un cadre de sélection, classé par type, et des scores de confiance intégrés sont générés par page et par mot. Les systèmes en aval ont donc accès non seulement au contenu du document, mais aussi à l’emplacement de chaque élément, à son rôle et au niveau de confiance du modèle pour chaque zone.
Cette structure prend en charge plusieurs charges de travail en aval :
- Segmentation sémantique pour le RAG : les blocs propres et classés constituent de meilleures unités de recherche.
- Primitives structurelles pour les agents : les agents passent de la simple lecture des documents à l’action (remplissage de formulaires, traitement des factures, contrôles de conformité).
- Contenu structuré pour les connecteurs : sortie cohérente et typée pour les pipelines d’ingestion et d’indexation.
OCR 4 accepte les formats d’entreprise courants, notamment PDF, DOC, PPT et OpenDocument, et prend en charge 170 langues réparties en 10 groupes linguistiques, y compris des langues spécialisées et à faibles ressources que de nombreux systèmes gèrent mal. En tant que modèle compact déployable dans un seul conteneur, il convient aussi bien aux déploiements soucieux des coûts qu’aux déploiements à haut volume. Il peut fonctionner en mode entièrement auto-hébergé, ce qui permet aux organisations soumises à des exigences de souveraineté des données de conserver les données des documents au sein de leur propre infrastructure.
Les développeurs intègrent le modèle via une API, et les équipes peuvent utiliser Document AI dans Mistral Studio pour accéder au même moteur sans code, directement au niveau de l’application. Mistral OCR 4 via l’API est proposé au prix de 4 $ pour 1 000 pages, avec une remise de 50 % sur l’API par lots, ce qui ramène le coût à 2 $ pour 1 000 pages. Document AI est proposé au prix de 5 $ pour 1 000 pages.
Benchmarks
Aidan Donohue, ingénieur IA, Rogo : « Nous avons comparé Mistral OCR 4 aux principaux analyseurs de documents de type agentique sur un ensemble de données de questions-réponses financières riche en graphiques et en figures, et avons obtenu une précision équivalente à un coût environ 8 fois inférieur et avec une latence 17 fois plus faible. Pour les cas d’utilisation en production à grande échelle, cet écart s’amplifie rapidement. »
Pour évaluer OCR 4, nous l’avons comparé aux principaux modèles OCR natifs de l’IA, aux modèles généraux de pointe, aux services de gestion de documents d’entreprise et à notre propre Mistral OCR 3.
Évaluations par des humains
Les tests de performance automatisés comportent les artefacts de notation décrits ci-dessus ; nous les avons donc complétés par une évaluation humaine comparative sur des documents choisis pour refléter une utilisation réelle. Nous avons rassemblé plus de 600 documents dans plus de 12 langues, provenant de fournisseurs tiers afin de représenter des cas d’utilisation réels dans l’industrie, et avons demandé à des annotateurs indépendants de classer en aveugle les résultats de chaque concurrent par rapport à ceux d’OCR 4, document par document.
Les annotateurs ont privilégié OCR 4 dans la majorité des documents, tous systèmes testés confondus. Comme il s’agit d’évaluations humaines portant sur des documents réels, et non de comparaisons de chaînes de caractères par rapport à des références fixes, elles permettent d’éviter une grande partie du bruit lié à l’annotation et à la mise en forme qui affecte les scores automatisés.
Performances globales
Ivan Mihailov, ingénieur en IA, Anaqua : « Mistral OCR est environ quatre fois plus rapide par page que notre fournisseur actuel, un résultat impressionnant pour les flux de travail de gestion des dossiers à haut volume, où la rapidité est essentielle pour respecter les délais de nos clients en matière de propriété intellectuelle. »
En plus de se classer en tête dans nos préférences humaines, OCR 4 obtient le meilleur score global parmi les modèles que nous avons testés sur la plateforme publique OlmOCRBench (85,20) et arrive en tête de notre évaluation interne Crawl Multilingual (0,98), devançant à la fois les solutions natives d’IA et les solutions d’entreprise.
Sur OmniDocBench, OCR 4 obtient un score de 93,07. Nous communiquons ce chiffre avec une mise en garde : OlmOCRBench et OmniDocBench présentent tous deux des limites connues dans la manière dont ils notent certains résultats, et un chiffre agrégé unique peut aussi bien sous-estimer que surestimer les performances réelles.
Lorsque nous avons examiné les divergences à l’origine de nos scores, la plupart n’étaient pas des erreurs du modèle, mais des artefacts liés à la manière dont les benchmarks comparent les résultats. Les catégories récurrentes sont les suivantes :
- Erreurs de données de référence. Certaines annotations de référence sont elles-mêmes incorrectes : texte manquant ou superflu, transcriptions de zones caviardées ou fautes de frappe (par exemple, le nom d’un auteur cité mal orthographié dans la référence mais lu correctement par le modèle à partir de la page). Le résultat correspond au document source, mais il est tout de même marqué comme incorrect.
- Notation mathématique équivalente. Des codes LaTeX différents qui s’affichent de manière identique sont considérés comme une non-correspondance. L’équation affichée est correcte ; la comparaison de chaînes de caractères ne l’est pas.
- Segmentation des équations. Le fait qu’une expression soit générée sous la forme d’une seule équation ou divisée en plusieurs fragments intégrés affecte la correspondance, même lorsque le contenu affiché est identique, car le système de correspondance ne peut pas aligner les éléments.
- Ordre de lecture en plusieurs colonnes. Les mots coupés à la limite d’une colonne (par exemple, « certifi-cates ») et les hypothèses relatives à l’ordre des colonnes font que des extractions correctes sont notées comme des échecs d’ordre de lecture.
- Attribution de type bloc. Le benchmark ne s’attend pas à trouver d’en-têtes ou de pieds de page dans la sortie. Pour résoudre ce problème, nous supprimons les en-têtes et les pieds de page de notre sortie avant la notation. Mais le test recherche ensuite une chaîne de caractères qui se trouve être le titre de la page, lequel devrait en réalité être présent, et le signale à tort.
Ces artefacts se concentrent dans les documents mathématiques, scientifiques et à plusieurs colonnes, et ils pénalisent plus souvent les résultats corrects qu’ils ne récompensent les résultats incorrects. Nous considérons donc le score global comme indicatif plutôt que définitif.
Ces benchmarks sont indicatifs. Tous les scores des concurrents reflètent des reproductions internes. Nous vous recommandons d’effectuer votre propre évaluation sur vos propres documents.
Détails des performances
Répartition multilingue de Crawl. Lors de notre évaluation multilingue interne, OCR 4 arrive en tête dans les huit groupes linguistiques : anglais, Europe occidentale, Europe de l’Est, Moyen-Orient, chinois, Asie de l’Est, Asie du Sud-Est et langues spécialisées (hindi, japonais, géorgien, bengali, arménien, hébreu, grec, gujarati, tamoul, malayalam, kannada, télougou). L’écart est le plus important pour les langues spécialisées et celles disposant de peu de ressources,...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.