Meta se décide à concurrencer les outils de génération de code comme GitHub Copilot et Amazon CodeWhisperer. Le géant des réseaux sociaux a lancé jeudi Code Llama, un système d'apprentissage automatique capable de générer et d'expliquer du code en langage naturel, et plus particulièrement en anglais. Code Llama serait en mesure de compléter du code et déboguer du code existant dans toute une série de langages de programmation, notamment Python, C++, Java, PHP, TypeScript, C# et Bash. Code Llama a été publié en open source et utilisera la même licence communautaire que Llama 2 et sera libre pour la recherche et l'utilisation commerciale.Meta lance son propre outil pour la génération de code informatique appelé Code Llama
Meta a publié cette année une multitude de modèles d'IA, dont un modèle de langage open source appelé Llama qui pose un sérieux défi aux modèles propriétaire vendus par OpenAI et Google. Le modèle Llama 2 a été publié le mois dernier et est disponible gratuitement via la plateforme Azure de Microsoft, ainsi que via l'infrastructure d'autres fournisseurs tels qu'AWS, Hugging Face et le téléchargement direct. Llama 2 peut être utilisé pour diverses tâches, en particulier pour la création de chatbots, d'outils de synthèse, de traducteurs, et bien d'autres. Selon Meta, LLaMA 2 a été formé sur 40 % de données en plus que LLaMA 1.
Cette semaine, Meta a ajouté un nouvel outil à sa collection : un outil de génération de code appelé Code Llama. Selon Meta, il peut créer des chaînes de code à partir d'invites ou compléter et déboguer du code lorsqu'il est dirigé vers une chaîne de code spécifique. Code Llama est basé sur le modèle de génération de texte Llama 2. Et bien que Llama 2 puisse générer du code, ce n'était pas forcément du bon code, certainement pas de la qualité d'un modèle conçu à cet effet. « Les programmeurs utilisent déjà les LLM pour les aider dans une variété de tâches, allant de l'écriture de nouveaux logiciels au débogage de codes existants », a déclaré Meta.
« L'objectif est de rendre les flux de travail des développeurs plus efficaces afin qu'ils puissent se concentrer sur les aspects les plus humains de leur travail », a-t-il ajouté dans un billet de blogue publié jeudi. Meta affirme que Code Llama a obtenu de meilleurs résultats que d'autres grands modèles de langage (LLM) publiquement disponibles, sur la base de tests de référence, mais n'a pas spécifiquement nommé les modèles testés. L'entreprise affirme que Code Llama a obtenu un score de 53,7 % sur le test de référence HumanEval et que son nouveau générateur de code a été capable d'écrire du code avec précision à partir d'une description textuelle.
Pour entraîner Code Llama, Meta a utilisé le même ensemble de données que pour Llama 2, c'est-à-dire un mélange de sources accessibles au public sur le Web. Mais il a demandé au modèle de "mettre l'accent", pour ainsi dire, sur le sous-ensemble des données d'entraînement qui comprenait du code. En fait, Code Llama a eu plus de temps pour apprendre les relations entre le code et le langage naturel que Llama 2, son modèle parent. Plusieurs versions sont disponibles : une version optimisée pour Python appelée Code Llama-Python et une autre version appelée Code Llama-Instrct, qui peut comprendre des instructions en langage naturel.
Selon Meta, chaque version spécifique de Code Llama n'est pas interchangeable et l'entreprise ne recommande pas d'utiliser les modèles Code Llama et Code Llama-Python pour les instructions en langage naturel. Chacun des modèles Code Llama, dont la taille varie de 7 milliards de paramètres à 34 milliards de paramètres, a été entraîné avec 500 milliards de jetons de code ainsi que des données liées au code. Code Llama-Python a été affiné sur 100 milliards de jetons de code Python et Code Llama-Python a été affiné en utilisant le retour d'informations des annotateurs humains pour générer des réponses "utiles" et "sûres" aux questions.
(Pour le contexte, les paramètres sont les parties d'un modèle apprises à partir de données d'entraînement historiques et définissent essentiellement les compétences du modèle sur un problème, tel que la génération de texte [ou de code, dans ce cas], tandis que les jetons représentent le texte brut [par exemple, "fan", "tas" et "tic" pour le mot "fantastique"].) Selon le...[/par exemple, "fan", "tas" et "tic" pour le mot "fantastique"][/ou de code, dans ce cas]
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.