Meta lance Code Llama 70B, une nouvelle version de son modèle de langage (LLM) beaucoup plus puissante

Pour rivaliser avec GitHub Copilot

Meta lance Code Llama 70B, une nouvelle version de son modèle de langage (LLM) beaucoup plus puissante, pour rivaliser avec GitHub Copilot

En août 2023, Meta a publié Code Llama, un modèle de langage à grande échelle explicitement conçu pour les tâches de codage, basé sur le modèle Llama 2. L'entreprise dévoile "une nouvelle version plus puissante", Code Llama 70B, pour rivaliser avec GitHub Copilot.

Code Llama 70B a été entraîné sur 500 milliards de tokens de code et de données associées. Il peut traiter et générer des séquences de code plus longues grâce à une fenêtre contextuelle de 100 000 tokens. Selon Meta, Code Llama 70B utilise une technique appelée auto-attention pour comprendre les structures de code. Il peut mettre en œuvre des algorithmes, des tris, des recherches et bien d'autres choses encore à partir de textes ou d'extraits de code dans de nombreux langages tels que Python, C++, Javascript et Java.

L'outil alimenté par l'IA comprend des variantes qui ont été affinées pour des tâches spécifiques. L'une de ces variantes est CodeLlama-70B-Instruct, qui a été entraînée à comprendre les instructions en langage naturel. Il existe également une version axée sur Python, appelée CodeLlama-70B-Python. Grâce à un entraînement supplémentaire sur 100 milliards de jetons de code Python, elle génère du Python avec "une fluidité et une précision inégalées", selon Meta.


"L'écriture et l'édition de code sont devenues l'une des utilisations les plus importantes des modèles d'IA aujourd'hui", a écrit Mark Zuckerberg, PDG de Meta, dans un message publié sur Facebook. "La capacité à coder s'est également avérée importante pour que les modèles d'IA traitent les informations dans d'autres domaines de manière plus rigoureuse et plus logique."

Le Code Llama 70B peut être téléchargé gratuitement sous la même licence ouverte que les modèles Code Llama précédents. Meta précise que cette licence permissive permet aux utilisateurs universitaires et commerciaux de modifier le modèle.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">Today we’re releasing Code Llama 70B: a new, more performant version of our LLM for code generation — available under the same license as previous Code Llama models.<br><br>Download the models ➡️ <a href="https://t.co/fa7Su5XWDC">https://t.co/fa7Su5XWDC</a><br>• CodeLlama-70B<br>• CodeLlama-70B-Python<br>• CodeLlama-70B-Instruct <a href="https://t.co/iZc8fapYEZ">pic.twitter.com/iZc8fapYEZ</a></p>— AI at Meta (@AIatMeta) <a href="https://twitter.com/AIatMeta/status/1752013879532782075?ref_src=twsrc%5Etfw">January 29, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

Et vous ?

Quel est votre avis sur Code Llama 70B ?
Pensez-vous qu'il puisse rivaliser avec GitHub Copilot ?

Voir aussi :

Llama 2 : l'IA gratuite et open source de Meta n'est pas bon marché à utiliser, estiment certaines entreprises, qui notent que Llama 2 nécessite beaucoup de ressources informatiques pour fonctionner

Meta lance un outil d'IA appelé Code Llama capable de générer du code informatique et de déboguer le code écrit par un programmeur, mais les critiques affirment que ces outils ne sont pas fiables

L'utilisation de l'assistant d'IA GitHub Copilot pour la programmation entraîne une baisse de la qualité globale du code et une quantité importante de code redondant, selon une étude