Meta lance en open source Llama 3.3, la dernière version de son grand modèle de langage :

"Llama 3.3 améliore les performances de base à un coût nettement inférieur, ce qui la rend encore plus accessible".

Le vice-président de l'IA générative chez Meta, Ahmad Al-Dahle, a annoncé la sortie de Llama 3.3, la dernière version du grand modèle de langage (LLM) multilingue open-source de Meta AI. Avec 70 milliards de paramètres, Llama 3.3 fournit des résultats comparables au modèle de Meta à 405 milliards de paramètres de Llama 3.1. Llama 3.3 est proposé dans le cadre de l'accord de licence communautaire Llama 3.3, qui accorde une licence non exclusive et libre de droits pour l'utilisation, la reproduction, la distribution et la modification du modèle et de ses résultats.

Llama (Large Language Model Meta AI) est une famille de grands modèles de langage (LLM) autorégressifs publiés par Meta AI à partir de février 2023. Les poids du modèle pour la première version de Llama ont été mis à la disposition de la communauté des chercheurs sous une licence non commerciale, et l'accès a été accordé au cas par cas. Les versions ultérieures de Llama ont été rendues accessibles en dehors du monde universitaire et publiées sous des licences autorisant une certaine utilisation commerciale. À l'origine, Llama n'était disponible que comme modèle de base. À partir de Llama 2, Meta AI a commencé à publier des versions d'instruction affinées en même temps que les modèles de base.

Récemment, le vice-président de l'IA générative chez Meta, Ahmad Al-Dahle, a annoncé la sortie de Llama 3.3, la dernière version du grand modèle de langage (LLM) multilingue open-source de Meta AI. Comme il l'a écrit : "Llama 3.3 améliore les performances de base à un coût nettement inférieur, ce qui le rend encore plus accessible à l'ensemble de la communauté open-source."

Avec 70 milliards de paramètres, Llama 3.3 fournit des résultats comparables au modèle de Meta à 405 milliards de paramètres de Llama 3.1, mais à une fraction du coût et de la surcharge de calcul - par exemple, la capacité GPU nécessaire pour exécuter le modèle dans une inférence. Il est conçu pour offrir des performances et une accessibilité de premier ordre, tout en étant plus petit que les modèles de base précédents.

Llama 3.3 est proposé dans le cadre de l'accord de licence communautaire Llama 3.3, qui accorde une licence non exclusive et libre de droits pour l'utilisation, la reproduction, la distribution et la modification du modèle et de ses résultats. Les développeurs qui intègrent Llama 3.3 dans leurs produits ou services doivent inclure une attribution appropriée, telle que "Built with Llama", et adhérer à une politique d'utilisation acceptable qui interdit des activités telles que la génération de contenu nuisible, la violation des lois ou la facilitation de cyberattaques. Bien que la licence soit généralement gratuite, les organisations comptant plus de 700 millions d'utilisateurs actifs mensuels doivent obtenir une licence commerciale directement auprès de Meta.

Introducing Llama 3.3 – a new 70B model that delivers the performance of our 405B model but is easier & more cost-efficient to run. By leveraging the latest advancements in post-training techniques including online preference optimization, this model improves core performance at… pic.twitter.com/6oQ7b3Yuzc

— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024

Présentation de Llama 3.3

Le modèle grand langage (LLM) multilingue Meta Llama 3.3 est un modèle génératif pré-entraîné et réglé par instructions en 70B (texte entrant/texte sortant). Le modèle texte de Llama 3.3 est optimisé pour les cas d'utilisation du dialogue multilingue et surpasse la plupart des modèles de chat open source et fermés disponibles sur les benchmarks courants de l'industrie.

Llama 3.3 est un modèle de langage auto-régressif qui utilise une architecture de transformateur optimisée. Les versions optimisées utilisent le réglage fin supervisé (SFT) et l'apprentissage par renforcement avec retour d'information humain (RLHF) pour s'aligner sur les préférences humaines en matière de serviabilité et de sécurité. Les langues prises en charge sont : anglais, allemand, français, italien, portugais, hindi, espagnol et thaï.


Cas d'utilisation prévus

Llama 3.3 est destiné à une utilisation commerciale et de recherche dans plusieurs langues. Les modèles texte adaptés à l'instruction sont destinés à la conversation de type assistant, tandis que les modèles pré-entraînés peuvent être adaptés à une variété de tâches de génération de langage naturel. Le modèle Llama 3.3 permet également d'exploiter les résultats de ses modèles pour améliorer d'autres modèles, y compris la génération et la distillation de données synthétiques. La licence communautaire Llama 3.3 autorise ces cas d'utilisation.

Voici les limites du champ d'application :

• Utilisation d'une manière qui enfreint les lois ou réglementations applicables (y compris les lois sur la conformité commerciale).
• Utilisation de toute autre manière interdite par la politique d'utilisation acceptable et la licence communautaire Llama 3.3.
• Utilisation dans des langues autres que celles explicitement référencées comme prises en charge.
  

Voici les résultats du modèle texte (anglais) de Llama 3.3 par rapport à aux modèles précédents de Meta AI.


Voici le rapport de Meta sur le développement responsable et la sécurité de Llama 3.3 :

[QUOTE]
Responsabilité et sécurité

Dans le cadre de notre approche de publication responsable, nous avons suivi une stratégie à trois volets pour gérer les risques liés à la confiance et à la sécurité :

• Permettre aux développeurs de déployer des expériences utiles, sûres et flexibles pour leur public cible et pour les cas d'utilisation pris en charge par Llama.
• Protéger les développeurs contre les utilisateurs malveillants qui cherchent à exploiter les capacités de Llama pour causer des dommages potentiels.
• Fournir des protections à la communauté afin de prévenir l'utilisation abusive de nos modèles.
  

Un déploiement responsable

Llama est une technologie fondamentale conçue pour être utilisée dans une variété de cas d'utilisation, des exemples sur la façon dont les modèles Llama de Meta ont été...