Meta publie Llama 3.1, qui selon le PDG Mark Zuckerberg est le plus grand et le meilleur modèle d'IA open-source à ce jour, surpassant ChatGPT, et qui sera bientôt l'assistant d'IA le plus utilisé

Meta a annoncé le mardi 23 juillet la dernière version de son modèle d'intelligence artificielle Llama, baptisée Llama 3.1. La nouvelle technologie Llama se décline en trois versions différentes, dont l'une est le modèle d'intelligence artificielle le plus grand et le plus performant de Meta à ce jour. Comme les versions précédentes de Llama, le nouveau modèle reste open source, ce qui signifie qu'il est accessible gratuitement.

Le nouveau grand modèle de langage (LLM) de Meta souligne l'investissement massif du réseau social dans les dépenses d'IA, à l'instar des startups OpenAI et Anthropic et d'autres géants de la technologie tels que Google et Amazon. L'annonce met également en lumière le partenariat croissant entre Meta et Nvidia. Ce dernier est un partenaire clé de Meta, fournissant à la société mère de Facebook des puces informatiques appelées GPU pour l'aider à former ses modèles d'IA, y compris la dernière version de Llama.

Jusqu’à aujourd’hui, les grands modèles de langage open-source étaient généralement en retard par rapport à leurs homologues closed-source en termes de capacités et de performances. Aujourd’hui, Meta est entré dans une nouvelle ère où l’open-source ouvre la voie. La société a dévoilé Llama 3.1 405B, qu'elle considére comme le modèle de fondation le plus grand et le plus performant au monde, disponible en libre accès. Avec plus de 300 millions de téléchargements de toutes les versions de Llama à ce jour, Meta ne fait que commencer.


Les nouveautés

• Meta s’engage à rendre l’IA accessible à tous. L'open-source est bénéfique pour les développeurs, pour Meta et pour le monde.
• En mettant l’intelligence ouverte à la portée de tous, les derniers modèles de Meta étendent la longueur du contexte à 128K, ajoutent la prise en charge de huit langues et incluent Llama 3.1 405B, le premier modèle d'IA open-source “frontier-level”.
• Llama 3.1 405B est unique en son genre, avec une flexibilité inégalée, un contrôle et des capacités de pointe qui rivalisent avec les meilleurs modèles fermés. Le nouveau modèle de Meta permettra à la communauté de débloquer de nouveaux flux de travail, tels que la génération de données synthétiques et la distillation de modèles.
• Meta déclare continuer à développer Llama pour en faire un système fournissant davantage de composants qui fonctionnent avec le modèle, y compris un système de référence. L'entreprise désire donner aux développeurs les outils nécessaires pour créer leurs propres agents personnalisés et de nouveaux types de comportements agentiques. Meta renforce cela avec de nouveaux outils de sécurité et de sûreté, y compris Llama Guard 3 et Prompt Guard, pour aider à construire de manière responsable. Meta lance également un appel à commentaires sur l’API Llama Stack, une interface standard qui permettra aux projets tiers d’exploiter plus facilement les modèles Llama.
• L’écosystème est prêt à être lancé avec plus de 25 partenaires, dont AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud et SNCF Gares&connexions, qui proposeront des services dès le premier jour.
• SNCF Gares & Connexions figure parmi les premiers partenaires à expérimenter llama3.1. Dans la continuité du dispositif autour de la connectivité présenté à Vivatech et STATION F, SNCF Gares & Connexions poursuit des expérimentations qui intègrent de nouvelles fonctionnalités dont le multilinguisme au service de l’information et de l’orientation des voyageurs en gare en français, anglais, allemand, espagnol, italien et portugais. Pour renforcer le dispositif, une expérience rapide et personnalisée est accessible également via un chatbot WhatsApp, qui permet d’apporter des informations en temps réel aux voyageurs par exemple sur leurs déplacements en gare.

Présentation de Llama 3.1

Llama 3.1 405B est le premier modèle disponible en libre accès qui rivalise avec les meilleurs modèles d’IA en termes de capacités de pointe dans les domaines de la connaissance générale, de l’orientation, des mathématiques, de l’utilisation d’outils et de la traduction multilingue. Avec la sortie du modèle 405B, Meta indique être prêt à stimuler l’innovation, avec des possibilités de croissance et d’exploration sans précédent. La société pense que la dernière génération de Llama va donner naissance à de nouvelles applications et à de nouveaux paradigmes de modélisation, y compris la génération de données synthétiques pour permettre l’amélioration et l’entraînement de modèles plus petits, ainsi que la distillation de modèles – une capacité qui n’a jamais été atteinte à cette échelle dans le domaine de l’open-source.

Dans le cadre de cette dernière version, Meta présente des versions améliorées des modèles 8B et 70B. Ceux-ci sont multilingues et disposent d’une longueur de contexte nettement plus importante (128 Ko), d’une utilisation d’outils de pointe et de capacités de raisonnement globalement plus solides. Cela permet aux derniers modèles de Meta de prendre en charge des cas d’utilisation avancés, tels que le résumé de textes longs, les agents conversationnels multilingues et les assistants de codage. Meta a également modifié sa licence, ce qui permet aux développeurs d’utiliser les résultats des modèles Llama, y compris le 405B, pour améliorer d’autres modèles. Fidèles à son engagement en faveur de l’open-source, Meta a mis dès aujourd’hui ces modèles à la disposition de la communauté pour le téléchargement sur llama.meta.com et Hugging Face, ainsi que pour le développement immédiat sur son vaste écosystème de plateformes partenaires.

Évaluations du modèle

Pour cette version, Meta a évalué les performances sur plus de 150 ensembles de données de référence couvrant un large éventail de langues. En outre, elle a réalisé des évaluations humaines approfondies qui comparent Llama 3.1 à des modèles concurrents dans des scénarios réels. L'évaluation expérimentale de Meta suggère que son modèle phare est compétitif par rapport aux principaux modèles de fondation sur une série de tâches, y compris GPT-4, GPT-4o, et Claude 3.5 Sonnet. En outre, les petits modèles de Meta sont compétitifs par rapport aux modèles closed et open-source qui ont un nombre similaire de paramètres.


Architecture du modèle

L’entraînement de Llama 3.1 405B sur plus de 15 trillions de tokens, le plus grand modèle de Meta à ce jour, a constitué un défi majeur. Pour permettre des entraînements à cette échelle et obtenir les résultats qui ont été obtenus dans un délai raisonnable, Meta a considérablement optimisé sa pile d’entraînement complète et poussé l’entraînement de son modèle sur plus de 16 000 GPU H100, faisant du 405B le premier modèle Llama entraîné à cette échelle.

Pour y remédier, Meta a fait des choix de conception qui visent à maintenir le processus de développement du modèle évolutif et simple.

• Meta a opté pour une architecture de modèle de transformateur standard de décodeur uniquement avec des adaptations mineures, plutôt que pour un modèle de mélange d’experts (MoE) afin de maximiser la stabilité de l’apprentissage.
• Meta a adopté une procédure itérative de post-entraînement, où chaque tour utilise un fine-tuning supervisé et une optimisation directe des préférences. Cela a permis de créer des données synthétiques de la plus haute qualité pour chaque cycle et d’améliorer les performances...