Le vice-président de l'IA générative chez Meta, Ahmad Al-Dahle, a annoncé la sortie de Llama 3.3, la dernière version du grand modèle de langage (LLM) multilingue open-source de Meta AI. Avec 70 milliards de paramètres, Llama 3.3 fournit des résultats comparables au modèle de Meta à 405 milliards de paramètres de Llama 3.1. Llama 3.3 est proposé dans le cadre de l'accord de licence communautaire Llama 3.3, qui accorde une licence non exclusive et libre de droits pour l'utilisation, la reproduction, la distribution et la modification du modèle et de ses résultats.Llama (Large Language Model Meta AI) est une famille de grands modèles de langage (LLM) autorégressifs publiés par Meta AI à partir de février 2023. Les poids du modèle pour la première version de Llama ont été mis à la disposition de la communauté des chercheurs sous une licence non commerciale, et l'accès a été accordé au cas par cas. Les versions ultérieures de Llama ont été rendues accessibles en dehors du monde universitaire et publiées sous des licences autorisant une certaine utilisation commerciale. À l'origine, Llama n'était disponible que comme modèle de base. À partir de Llama 2, Meta AI a commencé à publier des versions d'instruction affinées en même temps que les modèles de base.
Récemment, le vice-président de l'IA générative chez Meta, Ahmad Al-Dahle, a annoncé la sortie de Llama 3.3, la dernière version du grand modèle de langage (LLM) multilingue open-source de Meta AI. Comme il l'a écrit : "Llama 3.3 améliore les performances de base à un coût nettement inférieur, ce qui le rend encore plus accessible à l'ensemble de la communauté open-source."
Avec 70 milliards de paramètres, Llama 3.3 fournit des résultats comparables au modèle de Meta à 405 milliards de paramètres de Llama 3.1, mais à une fraction du coût et de la surcharge de calcul - par exemple, la capacité GPU nécessaire pour exécuter le modèle dans une inférence. Il est conçu pour offrir des performances et une accessibilité de premier ordre, tout en étant plus petit que les modèles de base précédents.
Llama 3.3 est proposé dans le cadre de l'accord de licence communautaire Llama 3.3, qui accorde une licence non exclusive et libre de droits pour l'utilisation, la reproduction, la distribution et la modification du modèle et de ses résultats. Les développeurs qui intègrent Llama 3.3 dans leurs produits ou services doivent inclure une attribution appropriée, telle que "Built with Llama", et adhérer à une politique d'utilisation acceptable qui interdit des activités telles que la génération de contenu nuisible, la violation des lois ou la facilitation de cyberattaques. Bien que la licence soit généralement gratuite, les organisations comptant plus de 700 millions d'utilisateurs actifs mensuels doivent obtenir une licence commerciale directement auprès de Meta.
Présentation de Llama 3.3Introducing Llama 3.3 – a new 70B model that delivers the performance of our 405B model but is easier & more cost-efficient to run. By leveraging the latest advancements in post-training techniques including online preference optimization, this model improves core performance at… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024
Le modèle grand langage (LLM) multilingue Meta Llama 3.3 est un modèle génératif pré-entraîné et réglé par instructions en 70B (texte entrant/texte sortant). Le modèle texte de Llama 3.3 est optimisé pour les cas d'utilisation du dialogue multilingue et surpasse la plupart des modèles de chat open source et fermés disponibles sur les benchmarks courants de l'industrie.
Llama 3.3 est un modèle de langage auto-régressif qui utilise une architecture de transformateur optimisée. Les versions optimisées utilisent le réglage fin supervisé (SFT) et l'apprentissage par renforcement avec retour d'information humain (RLHF) pour s'aligner sur les préférences humaines en matière de serviabilité et de sécurité. Les langues prises en charge sont : anglais, allemand, français, italien, portugais, hindi, espagnol et thaï.
Cas d'utilisation prévus
Llama 3.3 est destiné à une utilisation commerciale et de recherche dans plusieurs langues. Les modèles texte adaptés à l'instruction sont destinés à la conversation de type assistant, tandis que les modèles pré-entraînés peuvent être adaptés à une variété de tâches de génération de langage naturel. Le modèle Llama 3.3 permet également d'exploiter les résultats de ses modèles pour améliorer d'autres modèles, y compris la génération et la distillation de données synthétiques. La licence communautaire Llama 3.3 autorise ces cas d'utilisation.
Voici les limites du champ d'application :
- Utilisation d'une manière qui enfreint les lois ou réglementations applicables (y compris les lois sur la conformité commerciale).
- Utilisation de toute autre manière interdite par la politique d'utilisation acceptable et la licence communautaire Llama 3.3.
- Utilisation dans des langues autres que celles explicitement référencées comme prises en charge.
Voici les résultats du modèle texte (anglais) de Llama 3.3 par rapport à aux modèles précédents de Meta AI.
Voici le rapport de Meta sur le développement responsable et la sécurité de Llama 3.3 :
Responsabilité et sécurité
Dans le cadre de notre approche de publication responsable, nous avons suivi une stratégie à trois volets pour gérer les risques liés à la confiance et à la sécurité :
Un déploiement responsable
Llama est une technologie fondamentale conçue pour être utilisée dans une variété de cas d'utilisation, des exemples sur la façon dont les modèles Llama de Meta ont été déployés de manière responsable peuvent être trouvés dans notre page web Community Stories. Notre approche consiste à construire les modèles les plus utiles pour permettre au monde de bénéficier de la puissance de la technologie, en alignant la sécurité de nos modèles sur les cas d'utilisation génériques répondant à un ensemble standard de préjudices. Les développeurs sont alors aux commandes pour adapter la sécurité à leur cas d'utilisation, en définissant leur propre politique et en déployant les modèles avec les garanties nécessaires dans leurs systèmes Llama. Llama 3.3 a été développé en suivant les meilleures pratiques décrites dans notre Guide d'utilisation responsable.
Llama 3.3 instruit
Les principaux objectifs de la mise au point de la sécurité sont de fournir à la communauté des chercheurs une ressource précieuse pour étudier la robustesse de la mise au point de la sécurité, ainsi que d'offrir aux développeurs un modèle facilement disponible, sûr et puissant pour diverses applications afin de réduire la charge de travail des développeurs pour déployer des systèmes d'IA sûrs.
Affiner les données
Nous utilisons une approche à multiples facettes pour la collecte des données, en combinant des données générées par l'homme et provenant de nos fournisseurs avec des données synthétiques afin d'atténuer les risques potentiels pour la sécurité. Nous avons développé de nombreux classificateurs basés sur des grands modèles de langage (LLM) qui nous permettent de sélectionner de manière réfléchie des messages-guides et des réponses de haute qualité, améliorant ainsi le contrôle de la qualité des données.
Refus et tonalité
En nous appuyant sur le travail que nous avons commencé avec Llama 3, nous avons mis l'accent sur les refus de modèles à des invites bénignes ainsi que sur le ton du refus. Nous avons inclus des invites limites et contradictoires dans notre stratégie relative aux données de sécurité et nous avons modifié nos réponses aux données de sécurité pour qu'elles respectent les directives relatives au ton.
Systèmes Llama 3.3
Les grands modèles de langage, y compris Llama 3.3, ne sont pas conçus pour être déployés de manière isolée, mais doivent plutôt être déployés dans le cadre d'un système d'IA global, avec des garde-fous supplémentaires si nécessaire. Les développeurs sont tenus de mettre en place des mesures de protection lorsqu'ils construisent des systèmes agentiques. Les garde-fous sont essentiels pour obtenir le bon alignement utilité-sécurité ainsi que pour atténuer les risques de sécurité inhérents au système et à toute intégration du modèle ou du système avec des outils externes.
Dans le cadre de notre approche de publication responsable, nous fournissons à la communauté des garanties que les développeurs devraient déployer avec les modèles Llama ou d'autres LLM, y compris Llama Guard 3, Prompt Guard et Code Shield. Toutes nos démonstrations d'implémentations de référence contiennent ces protections par défaut afin que les développeurs puissent bénéficier d'une sécurité au niveau du système prête à l'emploi.
Risques critiques et autres risques
Nous avons spécifiquement concentré nos efforts sur l'atténuation des risques critiques suivants :
Considérations éthiques et limites
Les valeurs fondamentales de Llama 3.3 sont l'ouverture, l'inclusion et la serviabilité. Il est destiné à servir tout le monde et à fonctionner pour un large éventail de cas d'utilisation. Il est donc conçu pour être accessible à des personnes d'horizons, d'expériences et de points de vue très différents. Llama 3.3 s'adresse aux utilisateurs et à leurs besoins tels qu'ils sont, sans insérer de jugement inutile ou de normativité, tout en reflétant la compréhension du fait que même le contenu qui peut sembler problématique dans certains cas peut servir des objectifs valables dans d'autres. Il respecte la dignité et l'autonomie de tous les utilisateurs, notamment en ce qui concerne les valeurs de liberté de pensée et d'expression qui alimentent l'innovation et le progrès.
Mais Llama 3.3 est une nouvelle technologie et, comme toute nouvelle technologie, son utilisation comporte des risques. Les tests effectués jusqu'à présent n'ont pas couvert, et ne pouvaient pas couvrir, tous les scénarios. C'est pourquoi, comme pour tous les LLM, les résultats potentiels de Llama 3.3 ne peuvent être prédits à l'avance et le modèle peut, dans certains cas, produire des réponses inexactes, biaisées ou d'autres réponses inadmissibles aux demandes de l'utilisateur. Par conséquent, avant de déployer toute application du modèle Llama 3.3, les développeurs doivent effectuer des tests de sécurité et des réglages adaptés à leurs applications spécifiques du modèle.
Dans le cadre de notre approche de publication responsable, nous avons suivi une stratégie à trois volets pour gérer les risques liés à la confiance et à la sécurité :
- Permettre aux développeurs de déployer des expériences utiles, sûres et flexibles pour leur public cible et pour les cas d'utilisation pris en charge par Llama.
- Protéger les développeurs contre les utilisateurs malveillants qui cherchent à exploiter les capacités de Llama pour causer des dommages potentiels.
- Fournir des protections à la communauté afin de prévenir l'utilisation abusive de nos modèles.
Un déploiement responsable
Llama est une technologie fondamentale conçue pour être utilisée dans une variété de cas d'utilisation, des exemples sur la façon dont les modèles Llama de Meta ont été déployés de manière responsable peuvent être trouvés dans notre page web Community Stories. Notre approche consiste à construire les modèles les plus utiles pour permettre au monde de bénéficier de la puissance de la technologie, en alignant la sécurité de nos modèles sur les cas d'utilisation génériques répondant à un ensemble standard de préjudices. Les développeurs sont alors aux commandes pour adapter la sécurité à leur cas d'utilisation, en définissant leur propre politique et en déployant les modèles avec les garanties nécessaires dans leurs systèmes Llama. Llama 3.3 a été développé en suivant les meilleures pratiques décrites dans notre Guide d'utilisation responsable.
Llama 3.3 instruit
Les principaux objectifs de la mise au point de la sécurité sont de fournir à la communauté des chercheurs une ressource précieuse pour étudier la robustesse de la mise au point de la sécurité, ainsi que d'offrir aux développeurs un modèle facilement disponible, sûr et puissant pour diverses applications afin de réduire la charge de travail des développeurs pour déployer des systèmes d'IA sûrs.
Affiner les données
Nous utilisons une approche à multiples facettes pour la collecte des données, en combinant des données générées par l'homme et provenant de nos fournisseurs avec des données synthétiques afin d'atténuer les risques potentiels pour la sécurité. Nous avons développé de nombreux classificateurs basés sur des grands modèles de langage (LLM) qui nous permettent de sélectionner de manière réfléchie des messages-guides et des réponses de haute qualité, améliorant ainsi le contrôle de la qualité des données.
Refus et tonalité
En nous appuyant sur le travail que nous avons commencé avec Llama 3, nous avons mis l'accent sur les refus de modèles à des invites bénignes ainsi que sur le ton du refus. Nous avons inclus des invites limites et contradictoires dans notre stratégie relative aux données de sécurité et nous avons modifié nos réponses aux données de sécurité pour qu'elles respectent les directives relatives au ton.
Systèmes Llama 3.3
Les grands modèles de langage, y compris Llama 3.3, ne sont pas conçus pour être déployés de manière isolée, mais doivent plutôt être déployés dans le cadre d'un système d'IA global, avec des garde-fous supplémentaires si nécessaire. Les développeurs sont tenus de mettre en place des mesures de protection lorsqu'ils construisent des systèmes agentiques. Les garde-fous sont essentiels pour obtenir le bon alignement utilité-sécurité ainsi que pour atténuer les risques de sécurité inhérents au système et à toute intégration du modèle ou du système avec des outils externes.
Dans le cadre de notre approche de publication responsable, nous fournissons à la communauté des garanties que les développeurs devraient déployer avec les modèles Llama ou d'autres LLM, y compris Llama Guard 3, Prompt Guard et Code Shield. Toutes nos démonstrations d'implémentations de référence contiennent ces protections par défaut afin que les développeurs puissent bénéficier d'une sécurité au niveau du système prête à l'emploi.
Risques critiques et autres risques
Nous avons spécifiquement concentré nos efforts sur l'atténuation des risques critiques suivants :
- Aide CBRNE (matériaux chimiques, biologiques, radiologiques, nucléaires et explosifs)
Pour évaluer les risques liés à la prolifération des armes chimiques et biologiques, nous avons effectué des tests de montée en puissance afin de déterminer si l'utilisation du modèle Llama 3.3 pouvait accroître de manière significative les capacités des acteurs malveillants à planifier ou à mener des attaques à l'aide de ce type d'armes. - Sécurité des enfants
Des évaluations des risques liés à la sécurité des enfants ont été menées par une équipe d'experts, afin d'évaluer la capacité du modèle à produire des résultats susceptibles d'entraîner des risques pour la sécurité des enfants et de fournir des informations sur les mesures nécessaires et appropriées d'atténuation des risques par le biais d'une mise au point. Nous avons tiré parti de ces sessions d'équipe d'experts pour étendre la couverture de nos critères d'évaluation par le biais du développement du modèle Llama 3.
Pour Llama 3, nous avons mené de nouvelles sessions approfondies en utilisant des méthodologies basées sur des objectifs pour évaluer les risques du modèle le long de multiples vecteurs d'attaque, y compris les langues supplémentaires sur lesquelles Llama 3 est formé. Nous nous sommes également associés à des spécialistes du contenu pour réaliser des exercices en équipe restreinte afin d'évaluer les contenus susceptibles de constituer une violation, tout en tenant compte des nuances ou des expériences propres au marché. - Facilitation des cyberattaques
Notre étude sur l'amélioration des cyberattaques a cherché à déterminer si les LLM pouvaient améliorer les capacités humaines dans les tâches de piratage, à la fois en termes de niveau de compétence et de rapidité.
Notre étude sur l'automatisation des attaques s'est concentrée sur l'évaluation des capacités des LLM lorsqu'ils sont utilisés en tant qu'agents autonomes dans des opérations cyber-offensives, en particulier dans le contexte des attaques par ransomware. Cette évaluation se distingue des études précédentes qui considéraient les LLM comme des assistants interactifs. L'objectif principal était d'évaluer si ces modèles pouvaient effectivement fonctionner comme des agents indépendants dans l'exécution de cyber-attaques complexes sans intervention humaine.
Considérations éthiques et limites
Les valeurs fondamentales de Llama 3.3 sont l'ouverture, l'inclusion et la serviabilité. Il est destiné à servir tout le monde et à fonctionner pour un large éventail de cas d'utilisation. Il est donc conçu pour être accessible à des personnes d'horizons, d'expériences et de points de vue très différents. Llama 3.3 s'adresse aux utilisateurs et à leurs besoins tels qu'ils sont, sans insérer de jugement inutile ou de normativité, tout en reflétant la compréhension du fait que même le contenu qui peut sembler problématique dans certains cas peut servir des objectifs valables dans d'autres. Il respecte la dignité et l'autonomie de tous les utilisateurs, notamment en ce qui concerne les valeurs de liberté de pensée et d'expression qui alimentent l'innovation et le progrès.
Mais Llama 3.3 est une nouvelle technologie et, comme toute nouvelle technologie, son utilisation comporte des risques. Les tests effectués jusqu'à présent n'ont pas couvert, et ne pouvaient pas couvrir, tous les scénarios. C'est pourquoi, comme pour tous les LLM, les résultats potentiels de Llama 3.3 ne peuvent être prédits à l'avance et le modèle peut, dans certains cas, produire des réponses inexactes, biaisées ou d'autres réponses inadmissibles aux demandes de l'utilisateur. Par conséquent, avant de déployer toute application du modèle Llama 3.3, les développeurs doivent effectuer des tests de sécurité et des réglages adaptés à leurs applications spécifiques du modèle.
Avec ce nouveau modèle open source la communauté de Meta AI pourrait s'agrandir. Fin octobre, Mark Zuckerberg, PDG de Meta, a déclaré que Meta AI compte plus de 500 millions d'utilisateurs mensuels dans 43 pays, avec plus d'un million d'annonceurs ayant utilisé des outils d'IA pour créer 15 millions de publicités en un mois.
Le PDG avait notamment souligné l'impact positif de l'IA sur les différentes facettes de l'entreprise, de l'engagement de base et de la monétisation aux feuilles de route à long terme pour les nouveaux services et les plateformes informatiques. Les investissements de Meta dans l'infrastructure devraient atteindre 38 à 40 milliards de dollars pour l'année.
Source : Présentation de Llama 3.3
Et vous ?
Pensez-vous que ce nouveau modèle est crédible ou pertinent ? Quel est votre avis sur le sujet ?Voir aussi :
Meta annonce Llama 3.2 qui révolutionnerait l'IA et la vision grâce à des modèles ouverts et personnalisables. Llama 3.2 comprend des modèles légers qui s'exécutent localement sur l'appareil La nouvelle « définition de l'IA open source » critiquée parce qu'elle n'exige pas explicitement l'ouverture des données d'entraînement, ce qui pourrait profiter aux grandes entreprises L'IA open source est la voie à suivre, car elle permet à un plus grand nombre de personnes dans le monde d'avoir accès aux avantages et aux opportunités de l'IA, par Mark Zuckerberg, fondateur et PDG de Meta