Meta annonce les premiers modèles de la famille Llama 4. Llama 4 Scout, un modèle de 17 milliards de paramètres actifs avec 16 experts, serait le meilleur modèle multimodal au monde dans sa catégorie, tout en tenant dans un seul GPU NVIDIA H100. Llama 4 Maverick, un modèle de 17 milliards de paramètres actifs avec 128 experts, offrirait le meilleur rapport performance/coût de sa catégorie. Ces modèles sont les meilleurs à ce jour grâce à la distillation de Llama 4 Behemoth, un modèle de 288 milliards de paramètres actifs avec 16 experts qui est le modèle le plus puissant de Meta à ce jour.En août 2024, Meta, qui développe Llama, avait affirmé qu'il aurait besoin de beaucoup plus de puissance de calcul pour former ses modèles à l'avenir. Le PDG Mark Zuckerberg a déclaré que pour entraîner le Llama 4, l'entreprise aura besoin de 10 fois plus de puissance de calcul que pour l'entraînement du Llama 3. Meta veut faire de Llama 4 le modèle le plus avancé sur le marché.
Pour rappel, Llama, pour Large Language Model Meta AI, est une famille de grands modèles de langage (LLM) open source publiés par Meta AI à partir de février 2023. Les poids des modèles de la première version de Llama n'étaient disponibles que pour les chercheurs, au cas par cas, sous une licence non commerciale. Les versions suivantes de Llama ont été rendues accessibles en dehors du monde universitaire et publiées sous des licences autorisant une certaine utilisation commerciale.
Récemment, Mark Zuckerberg a annoncé quatre nouveaux LLM, dont deux sont déjà prêts et deux autres sont en cours d'élaboration. C'est "une étape importante pour Meta AI et pour l'open source", a déclaré Mark Zuckerberg ce week-end. "Pour la première fois, les meilleurs modèles de petite taille, de taille moyenne, et potentiellement bientôt de frontière [grand modèle] seront open source", ajoutant "Notre objectif est de construire l'IA la plus performante au monde, de la mettre en open source et de la rendre universellement accessible pour que tout le monde en profite."
Voici un extrait de l'annonce de Mark Zuckerberg :
Cela fait un moment que je dis que je pense que l'IA open source va devenir le modèle de référence. Et avec le Llama 4, c'est ce qui commence à se produire.
- Le premier modèle est Llama 4 Scout. Il est extrêmement rapide et nativement multimodal. Il dispose d'une longueur de contexte de 10 millions de jetons « presque infinie » et est conçu pour fonctionner sur un seul GPU. [Le billet de blog de Meta indique qu'il tient sur un NVIDIA H100]. Il s'agit de 17 milliards de paramètres par 16 experts, et c'est de loin le petit modèle le plus performant de sa catégorie.
- Le deuxième modèle est le Llama 4 Maverick - le cheval de bataille. Il bat GPT-4o et Gemini Flash 2 sur tous les points de référence. Il est plus petit et plus efficace que DeepSeek v3, mais il reste comparable sur le texte, et il est nativement multimodal. Il s'agit de 17B paramètres x 128 experts, et il est conçu pour fonctionner sur un seul hôte afin de faciliter l'inférence.
C'est une véritable bête.
- Le premier modèle est Llama 4 Scout. Il est extrêmement rapide et nativement multimodal. Il dispose d'une longueur de contexte de 10 millions de jetons « presque infinie » et est conçu pour fonctionner sur un seul GPU. [Le billet de blog de Meta indique qu'il tient sur un NVIDIA H100]. Il s'agit de 17 milliards de paramètres par 16 experts, et c'est de loin le petit modèle le plus performant de sa catégorie.
- Le deuxième modèle est le Llama 4 Maverick - le cheval de bataille. Il bat GPT-4o et Gemini Flash 2 sur tous les points de référence. Il est plus petit et plus efficace que DeepSeek v3, mais il reste comparable sur le texte, et il est nativement multimodal. Il s'agit de 17B paramètres x 128 experts, et il est conçu pour fonctionner sur un seul hôte afin de faciliter l'inférence.
C'est une véritable bête.
Mark Zuckerberg a promis plus d'informations sur le "Llama 4 Reasoning", mais le quatrième modèle sera appelé Llama 4 Behemoth. "Cette chose est massive. Plus de 2 000 milliards de paramètres". Meta AI indique qu'il dispose également d'un modèle de 288 milliards de paramètres actifs, qu'il surpasse GPT-4.5, Claude Sonnet 3.7 et Gemini 2.0 Pro sur les benchmarks STEM, et qu'il "servira d'enseignant pour les nouveaux modèles".
"Je ne connais personne qui entraîne un modèle plus grand que le nôtre", déclare Zuckberg dans sa vidéo, qualifiant Behemoth de "modèle de base le plus performant au monde, et il n'a même pas encore fini de s'entraîner”. "Si vous voulez essayer Llama 4, vous pouvez utiliser Meta AI dans WhatsApp, Messenger ou Instagram Direct ou vous pouvez aller sur notre site web à meta.ai. Les modèles Scout et Maverick peuvent être téléchargés sur llama.com et Hugging Face."
Si les performances de ces premiers modèles de Llama 4 semblent impressionnantes, il serait intéressant de découvrir le processus et les données d'entrainement de ces modèles. En effet, Meta est accusé d'avoir utilisé des contenus protégés par droit d'auteur pour l'entrainement de ses modèles. Une plainte en justice récente a également révélé que Mark Zuckerberg, PDG de Meta, aurait donné son feu vert pour que le modèle d'IA open source LLama de l'entreprise soit entraîné à partir d'œuvres protégées par le droit d'auteur.
La plainte allègue que Meta a enfreint les droits d'auteur en utilisant des documents sans l'autorisation des créateurs. Meta maintient que l'utilisation de ces œuvres dans le cadre de l'entraînement de Llama relève de l'usage loyal. Cependant, les plaignants affirment que cette pratique représente une menace pour les moyens de subsistance des créateurs et des auteurs.
Voici l'annonce de Meta :...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.