La startup d'IA Abacus a publié un nouveau modèle de langage open source appelé "Smaug-72B" qui afficherait des performances remarquables. Il surpasserait les performances des modèles GPT-3.5 d'OpenAI et Mistral-Medium dans plusieurs des points de référence les plus populaires. Smaug-72B surpasserait aussi Qwen-72B, le modèle dont il est dérivé, par une marge significative dans beaucoup de ces évaluations. Ce qui permet à Smaug-72B de se hisser à la tête du classement des modèles d'IA open source les plus performants de Hugging Face. Le classement est toutefois controversé et le statut open source de Smaug-72B est remis en cause.Smaug-72B est techniquement une version affinée de "Qwen-72B", un autre modèle linguistique puissant publié il y a quelques mois par "Qwen, une équipe de scientifiques du géant chinois du commerce électronique Alibaba. Il a été développé par la startup d'IA Abacus, basée à San Francisco, en Californie, qui aide les entreprises à résoudre des problèmes dans le domaine de l'IA et de l'apprentissage automatique. Smaug-72B se distingue par sa maîtrise du raisonnement et des tâches mathématiques, résultat de techniques de réglage spécifiques que la startup prévoit de détailler dans un prochain article de recherche.
« Notre prochain objectif sera de publier ces techniques dans un article de recherche et de les appliquer à certains des meilleurs modèles Mistral, y compris "miqu" (une fine dent 70B de LLama-2). Les techniques que nous avons utilisées ciblent spécifiquement les compétences en raisonnement et en mathématiques, ce qui explique les scores élevés du GSM8K ! Notre prochain article en dira plus », a déclaré Bindu Reddy, PDG d'Abacus, dans un article publié sur X. Selon la startup d'IA américaine, ces techniques ciblent en effet les faiblesses des grands modèles de langage et améliorent leurs capacités.
Les données d'évaluation indiquent que Smaug-72B est le tout premier modèle open source à atteindre un score moyen de 80 sur le classement Hugging Face Open LLM. Cet accomplissement marque une étape cruciale dans le domaine du traitement du langage naturel (natural language processing - NLP) et de l'IA open source, démontrant le potentiel des modèles open source dans la compétition avec les technologies propriétaires. (L'index Hugging Face Open LLM mesure les performances des modèles de langage open source sur une variété de tâches de compréhension et de génération de langage naturel.)
Selon les analystes, même si Smaug-72B n'atteint pas encore la moyenne de 90 à 100 points correspondant à des performances humaines, cette prouesse indique que l'IA open source pourrait bientôt rivaliser avec les capacités des grandes entreprises technologiques, qui ont longtemps été entourées de secret. En bref, la publication de Smaug-72B pourrait modifier fondamentalement la façon dont les progrès de l'IA se déroulent, en exploitant l'ingéniosité de ceux qui ne se limitent pas à une poignée d'entreprises riches. Smaug-72B a suscité beaucoup d'enthousiasmes et de débats dans la communauté de l'IA.
Toutefois, le classement Hugging Face Open LLM fait l'objet de controverses, les critiques affirmant qu'il est biaisé et ne permet pas de connaître les performances réelles des modèles d'IA. « Un mot d'avertissement à propos de ces classements. Ils sont biaisés. Vous pouvez vous entraîner au test. En fait, vous pouvez littéralement télécharger les ensembles de données, les reformater et les utiliser comme jeux de données lors la formation de votre modèle. Je ne fais pas du tout confiance à ces classements », peut-on lire dans les commentaires. D'autres remettent en cause le statut open source de Smaug-72B.
« Le terme open source est un peu exagéré dans ce cas. Smaug-72B est basé sur Qwen, dont la licence est similaire à la licence du modèle de langage LLama 2 de Meta. La licence indique que les générations ne peuvent être utilisées que pour former des dérivés d'elles-mêmes. Et si un projet devient suffisamment important, vous devez négocier l'avenir de votre modèle dérivé avec le propriétaire du modèle d'origine (dans ce cas, Alibaba) qui a toutes les cartes en main sur les conditions de licence », affirme un critique. La licence de LLama 2 avait fait l'objet d'un grand débat lorsque le modèle a été publié.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Smaug-72B - The Best Open Source Model In The World - Top of Hugging LLM LeaderBoard!!<br><br>Smaug72B from Abacus AI is available now on Hugging Face, is on top of the LLM leaderboard, and is the first model with an average score of 80!!<br><br>In other words, it is the world's best… <a href="https://t.co/CGHawmLhqI">pic.twitter.com/CGHawmLhqI</a></p>— Bindu Reddy (@bindureddy) <a href="https://twitter.com/bindureddy/status/1754665925834690907?ref_src=twsrc%5Etfw">February 6, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Dans un billet de blogue publié en juillet dernier, Alessio Fanelli, associé chez Decibel, un fonds d’investissement de la Silicon Valley a exprimé son désaccord avec la qualification de LLaMA2 comme "open Source". Fanelli a déclaré que le modèle comporte des limitations qui empêchent de le considérer comme tel. Par exemple, il interdit l’utilisation commerciale du modèle aux entités ayant plus de 700 millions d’utilisateurs actifs par mois à la date de sortie, et il interdit d’utiliser les sorties du modèle pour entraîner un autre grand modèle de langage. Selon lui, un tel modèle d'IA n'est pas totalement open source.
« Beaucoup de gens dans la communauté ont été déçus par l’emploi abusif du terme "open source" pour désigner le modèle. Il est certes en grande partie ouvert, mais il n’est pas totalement libre », dit-il. Fanelli considère que ces restrictions sont contraires à la philosophie de l’open source. « Je sais que LLaMA2 ne correspond pas à la notion traditionnelle de l’open source, mais je pense aussi que cela n’a pas d’importance. Le sens de l’open source doit s’adapter (une fois de plus) au contexte des modèles d’IA », note-t-il. Les modèles d'IA bouleversent beaucoup de choses, y compris le monde open source.
Smaug-72B n'est pas le seul modèle de langage libre à avoir fait parler de lui récemment. Qwen, le groupe d'Alibaba à l'origine de Qwen-72B, a également publié Qwen 1.5, une suite de petits modèles de langage puissants allant de 500 millions à 72 milliards de paramètres. Qwen 1.5 surpasse les modèles populaires tels que Mistral-Medium et GPT-3.5 et fonctionne avec divers outils et plateformes pour une inférence rapide et locale. Qwen a également ouvert Qwen-VL-Max, un nouveau modèle de langage de vision de grande taille qui, selon l'équipe, rivalise avec Gemini Ultra de Google et GPT-4V d'OpenAI.
Par ailleurs, un récent modèle open source de Mistral, baptisé "miqu-1-70b", qui a récemment fait l'objet de fuite a affiché des performances proches de celles de GPT-4 sur le benchmark EQ-Bench. En outre, des chercheurs en apprentissage automatique ont suggéré que le terme "miqu" pourrait être une abréviation de "Mistral Quantized" (version quantifiée de Mistral). Arthur Mensch, PDG de Mistral, a confirmé la fuite. Les fichiers sources du nouveau modèle de Mistral ont été divulgués le 28 janvier sur la plateforme d'IA open source Hugging Face par un utilisateur portant le pseudonyme "Miqu Dev".
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Amazing! New Qwen 1.5 72B model rivals GPT-4 even on the Length Adjusted Alpaca v2 Leaderboard.<br>(original alpaca has heavy length bias, this gives a clearer picture)<br><br>Thank you <a href="https://twitter.com/jeremyphoward?ref_src=twsrc%5Etfw">@jeremyphoward</a> for pointing me to the lengths. Also idea for length adjustment from <a href="https://twitter.com/teortaxesTex?ref_src=twsrc%5Etfw">@teortaxesTex</a> <a href="https://t.co/gyoyVDI0hJ">https://t.co/gyoyVDI0hJ</a> <a href="https://t.co/KJx3AZCM8y">pic.twitter.com/KJx3AZCM8y</a></p>— Blaze (Balázs Galambosi) (@gblazex) <a href="https://twitter.com/gblazex/status/1754550743787290907?ref_src=twsrc%5Etfw">February 5, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
« Un employé trop enthousiaste de l'un de nos clients en accès anticipé a divulgué une version quantifiée (et en filigrane) d'un ancien modèle que nous avons formé et distribué très ouvertement. Pour commencer à travailler rapidement avec quelques clients sélectionnés, nous avons réentraîné ce modèle à partir de Llama 2 dès que nous avons eu accès à l'ensemble de notre cluster ; le préentraînement s'est terminé le jour de la sortie de Mistral 7B », a déclaré Mensch. Les résultats du modèle miqu-1-70b accentuent la pression sur OpenAI, qui se prépare à lancer son prochain puissant modèle d'IA GPT-5.
Les performances du prochain modèle de Mistral pourraient surpasser celles de GPT-4, ce qui représenterait un moment décisif non seulement pour l'IA générative open source, mais également pour l'ensemble du domaine de l'IA et de l'informatique : depuis sa sortie en mars 2023, GPT-4 est resté le modèle le plus puissant et le plus performant au monde d'après la plupart des critères d'évaluation sur les différents benchmarks. La sortie d'un modèle open source surpassant les performances de GPT-4 exercerait une pression considérable sur OpenAI et ses rivaux qui développent des modèles à source fermée.
Sources : le classement Hugging Face Open LLM, Smaug-72B
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous du modèle Smaug-72B et de ses performances ? Peut-on faire confiance aux classements comme Hugging Face Open LLM ? Que pensez-vous de la polémique autour de son statut open source ?Voir aussi
Le PDG de Mistral confirme qu'un modèle d'IA open source de l'entreprise avec des performances proches de celles de GPT-4 a fait l'objet de fuite, ces résultats accentuent la pression sur OpenAI Le modèle LLamA-2 de Meta, qui vient d'être publié, ne serait pas open source, de l'avis de Alessio Fanelli, Ingénieur logiciel associé chez Decibel Le modèle de langage open source Mixtral 8x7B de la startup française Mistral AI écrase la concurrence, d'après un sujet de recherche 
