L'objectif du projet est de faire en sorte que le rêve de "construire une fois n'importe où, exécuter n'importe où" devienne réalité pour les développeurs d'IA. Cela est possible en combinant llama.cpp et Cosmopolitan Libc dans un framework qui vous permet de construire des applications pour les LLM sous la forme d'un artefact à fichier unique qui s'exécute localement sur la plupart des PC et des serveurs.Tout d'abord, vos fichiers llamafiles peuvent fonctionner sur plusieurs microarchitectures de CPU. Un dispatching d'exécution a été ajouté à llama.cpp pour permettre aux nouveaux systèmes Intel d'utiliser les fonctionnalités des processeurs modernes sans renoncer à la prise en charge des ordinateurs plus anciens.
Deuxièmement, vos fichiers llamafiles peuvent fonctionner sur plusieurs architectures de CPU. Pour ce faire, les versions AMD64 et ARM64 sont concaténées à l'aide d'un script shell qui lance la version appropriée. Le format de fichier est compatible avec WIN32 et la plupart des shells UNIX. Il peut également être facilement converti (par vous ou vos utilisateurs) au format de la plateforme, si nécessaire.
Troisièmement, vos fichiers llamafiles peuvent fonctionner sur six systèmes d'exploitation (macOS, Windows, Linux, FreeBSD, OpenBSD et NetBSD). Vous n'aurez à construire votre code qu'une seule fois, à l'aide d'une chaîne d'outils de type Linux. Le compilateur basé sur GCC qui vous est fourni est lui-même un exécutable portable, ce qui vous permet de créer votre logiciel pour les six systèmes d'exploitation à partir de celui que vous préférez le plus pour le développement.
Enfin, les poids de votre LLM peuvent être intégrés dans votre fichier llamafile. La prise en charge de PKZIP a été ajoutée à la bibliothèque GGML. Cela permet aux poids non compressés d'être mappés directement dans la mémoire, comme une archive auto-extractible. Cela permet également aux poids quantifiés distribués en ligne d'être préfixés avec une version compatible du logiciel llama.cpp, garantissant ainsi que les comportements observés à l'origine peuvent être reproduits indéfiniment.
Stephen Hood, Consultant en gestion de produits chez Mozilla et PDG, cofondateur de Storium, annonce la disponibilité de la première version de llamafile :
Présentation de llamafile
Nous annonçons aujourd'hui la première version de llamafile et invitons la communauté open source à participer à ce nouveau projet.
llamafile vous permet de transformer les poids des grands modèles de langage (LLM) en exécutables.
Supposons que vous disposiez d'un ensemble de poids LLM sous la forme d'un fichier de 4 Go (au format GGUF couramment utilisé). Avec llamafile, vous pouvez transformer ce fichier de 4 Go en un binaire qui fonctionne sur six systèmes d'exploitation sans avoir besoin d'être installé.
Cela facilite considérablement la distribution et l'exécution des LLM. Cela signifie également qu'au fur et à mesure que les modèles et leurs formats de poids continuent d'évoluer dans le temps, llamafile vous donne un moyen de vous assurer qu'un ensemble donné de poids restera utilisable et performant de manière cohérente et reproductible, pour toujours.
Nous avons réalisé tout cela en combinant deux projets que nous aimons : llama.cpp (un framework de chatbot LLM open source de premier plan) avec Cosmopolitan Libc (un projet open source qui permet aux programmes C d'être compilés et exécutés sur un grand nombre de plateformes et d'architectures). Il a également fallu résoudre plusieurs problèmes intéressants et juteux en cours de route, comme l'ajout du support du GPU et de dlopen() à Cosmopolitan ; vous pouvez en lire plus à ce sujet dans le README du projet.
Cette première version de llamafile est un produit du groupe d'innovation de Mozilla et a été développée par Justine Tunney, la créatrice de Cosmopolitan. Justine a récemment collaboré avec Mozilla via MIECO, et grâce à ce programme, Mozilla a financé son travail sur la version 3.0 de Cosmopolitan. Avec llamafile, Justine est enthousiaste à l'idée de contribuer plus directement aux projets Mozilla, et nous sommes heureux de l'avoir impliquée.
llamafile est sous licence Apache 2.0, et nous encourageons les contributions. Nos modifications de llama.cpp lui-même sont sous licence MIT (la même licence que celle utilisée par llama.cpp lui-même) afin de faciliter toute remontée potentielle dans le futur. Nous sommes tous de grands fans de llama.cpp ici ; llamafile n'aurait pas été possible sans lui et sans Cosmopolitan.
Nous espérons que llamafile vous sera utile et attendons avec impatience vos commentaires.
Nous annonçons aujourd'hui la première version de llamafile et invitons la communauté open source à participer à ce nouveau projet.
llamafile vous permet de transformer les poids des grands modèles de langage (LLM) en exécutables.
Supposons que vous disposiez d'un ensemble de poids LLM sous la forme d'un fichier de 4 Go (au format GGUF couramment utilisé). Avec llamafile, vous pouvez transformer ce fichier de 4 Go en un binaire qui fonctionne sur six systèmes d'exploitation sans avoir besoin d'être installé.
Cela facilite considérablement la distribution et l'exécution des LLM. Cela signifie également qu'au fur et à mesure que les modèles et leurs formats de poids continuent d'évoluer dans le temps, llamafile vous donne un moyen de vous assurer qu'un ensemble donné de poids restera utilisable et performant de manière cohérente et reproductible, pour toujours.
Nous avons réalisé tout cela en combinant deux projets que nous aimons : llama.cpp (un framework de chatbot LLM open source de premier plan) avec Cosmopolitan Libc (un projet open source qui permet aux programmes C d'être compilés et exécutés sur un grand nombre de plateformes et d'architectures). Il a également fallu résoudre plusieurs problèmes intéressants et juteux en cours de route, comme l'ajout du support du GPU et de dlopen() à Cosmopolitan ; vous pouvez en lire plus à ce sujet dans le README du projet.
Cette première version de llamafile est un produit du groupe d'innovation de Mozilla et a été développée par Justine Tunney, la créatrice de Cosmopolitan. Justine a récemment collaboré avec Mozilla via MIECO, et grâce à ce programme, Mozilla a financé son travail sur la version 3.0 de Cosmopolitan. Avec llamafile, Justine est enthousiaste à l'idée de contribuer plus directement aux projets Mozilla, et nous sommes heureux de l'avoir impliquée.
llamafile est sous licence Apache 2.0, et nous encourageons les contributions. Nos modifications de llama.cpp lui-même sont sous licence MIT (la même licence que celle utilisée par llama.cpp lui-même) afin de faciliter toute remontée potentielle dans le futur. Nous sommes tous de grands fans de llama.cpp ici ; llamafile n'aurait pas été possible sans lui et sans Cosmopolitan.
Nous espérons que llamafile vous sera utile et attendons avec impatience vos commentaires.
Source : "Introducing llamafile" (Stephen Hood, Mozilla Hacks)
Et vous ?
Que pensez-vous du projet llamafile et de ses potentialités ? Envisagez-vous d'apporter votre contribution au projet llamafile ? Pourquoi ?Voir aussi
Microsoft et Nvidia collaborent pour faciliter l'exécution de modèles d'IA sous Windows aux développeurs, avec des outils permettant de travailler localement avec des modèles d'IA volumineux Guidance, un langage pour le contrôle des grands modèles linguistiques modernes, il serait plus efficace et plus efficient que l'invite ou le chaînage traditionnel