Ai2, l'organisation de recherche en IA à but non lucratif fondée par feu Paul Allen, cofondateur de Microsoft, a publié OLMo 2

"le meilleur modèle de langage entièrement open-source à ce jour"

Ai2, l'organisation de recherche en IA à but non lucratif, a publié OLMo 2. OLMo2 est une nouvelle famille de modèles 7B et 13B entraînés sur un maximum de 5 000 milliards de jetons. Selon leurs évaluations, OLMo 2 serait le meilleur modèle de langage entièrement ouvert à ce jour. Ai2 a également partagé les poids, les données, le code, les recettes, les points de contrôle intermédiaires et les modèles adaptés aux instructions de ces nouveaux modèles.

Ai2 est un institut de recherche en IA à but non lucratif basé à Seattle et fondé en 2014 par feu Paul Allen. L'organisation développe la recherche et l'innovation en matière d'IA afin d'avoir un impact grâce à des modèles ouverts à grande échelle, aux données, à la robotique, à la conservation et au-delà. Elle s'est donnée pour mission de construire une IA révolutionnaire pour résoudre les plus grands problèmes du monde.

Pour rappel, un grand modèle de langage (LLM) est un type de modèle informatique conçu pour des tâches de traitement du langage naturel telles que la génération de langage. En tant que modèles de langage, les LLM acquièrent ces capacités en apprenant des relations statistiques à partir de grandes quantités de texte au cours d'un processus d'apprentissage autosupervisé et semi-supervisé.

Ai2 a publié son premier modèle OLMo en février 2024, puis la version OLMo-0424 avec une augmentation des performances en aval par rapport à la première version. Ils ont également participé aux modèles ouverts : Amber de LLM360, Neo de M-A-P et les modèles de base de DCLM. En septembre, Ai2 a publié OLMoE, un modèle de mélange d'experts, le premier du genre à être ouvert et qui se situe à la frontière de Pareto en termes de performance et de taille.

Depuis, l'écosystème des modèles de langage open-source a connu une croissance et l'écart de performance entre les modèles ouverts et les modèles propriétaires continue de se réduire. Pour favoriser une science entièrement ouverte, Ai2 annonce OLMo 2 une nouvelle famille de modèles 7B et 13B entraînés sur un maximum de 5 000 milliards de jetons. Ces modèles seraient équivalents ou meilleurs que les modèles entièrement ouverts de taille équivalente, et compétitifs par rapport aux modèles ouverts tels que Llama 3.1 sur les benchmarks académiques anglais. Ai2 a également partagé les poids, les données, le code, les recettes, les points de contrôle intermédiaires et les modèles adaptés aux instructions de ces nouveaux modèles.


Présentation d'OLMo 2

Voici les aspects où Ai2 s'est concentrés lors du développement de modèles :

• Stabilité de l'entraînement : Les longues séries d'entraînement de modèles peuvent être affectées par des instabilités d'entraînement et des pics de perte, qui sont connus pour être en corrélation avec des performances finales de modèles plus faibles.
• Formation par étapes : Interventions au cours de la préformation tardive. La préformation est lente et coûteuse, ce qui a poussé Ai2 à chercher des solutions pour surmonter les lacunes en matière de connaissances ou de capacités découvertes au cours des longs cycles de formation. Ai2 a examiné le rôle du recuit du taux d'apprentissage et du curriculum de données en tant qu'interventions pouvant être appliquées à la fin du processus de préformation pour "corriger" les capacités du modèle qui n'ont pas été acquises avec succès au début de la formation.
• Recettes de post-formation : Les chercheurs ont appliqué la méthodologie de post-entraînement de Tülu 3 aux modèles OLMo 2, pour créer des modèles OLMo 2-Instruct.
• Cadre d'évaluation exploitable: Pour OLMo 2, ils ont établi des objectifs de performance clairs et des lois d'échelonnement des tâches, et conçu un cadre d'évaluation (Open Language Modeling Evaluation System, OLMES) qui a permis de guider les améliorations tout au long des étapes de développement. OLMES consiste en une suite de 20 critères d'évaluation permettant d'évaluer les capacités essentielles des modèles, telles que le rappel des connaissances et le raisonnement de bon sens, général et mathématique, transformés pour maximiser le rapport signal-bruit afin d'évaluer les améliorations de la modélisation dans le cadre d'expériences à petite échelle.
  

Voici un résumé des performances d'OLMo 2, présenté par Ai2 :

[QUOTE]
Nous comparons OLMo 2 à d'autres modèles ouverts en utilisant une sélection de tâches dans OLMES. Nous regroupons les benchmarks en développement, que nous avons suivis pendant le développement d'OLMo (par exemple, ARC Challenge, HellaSwag, WinoGrande, MMLU, DROP et Natural Questions) et non vus, pour lesquels nous n'avons pas calculé de métriques avant la fin du développement du modèle (par exemple, AGIEval, MMLU Pro, GSM8k, TriviaQA).

Nous comparons OLMo 2 à un ensemble de modèles de référence, que nous regroupons en trois familles :

[LIST][*]Modèles à poids ouvert : modèles publiés avec seulement leur point de contrôle final, et très peu ou pas d'informations sur leurs données d'entraînement et leur recette sont connues ;
[*]Modèles partiellement ouverts : modèles diffusés avec des poids, et la plupart des...