Alessio Fanelli, associé chez Decibel, un fonds d’investissement indépendant de la Silicon Valley, spécialisé dans les logiciels liés à l’infrastructure, à la sécurité et au développement, a exprimé son désaccord avec la qualification de LLaMA2 comme « Open Source » dans un article de blog publié le 19 juillet. Il affirme que le modèle comporte des limitations qui empêchent de le considérer comme tel. Par exemple, il interdit l’utilisation commerciale du modèle aux entités ayant plus de 700 millions d’UAM à la date de sortie, et il interdit également d’utiliser les sorties du modèle pour entraîner un autre modèle linguistique de grande taille. « Beaucoup de gens dans la communauté ont été déçus par l’emploi abusif du terme ‘’open source’’ pour désigner le modèle. Il est certes en grande partie ouvert, mais il n’est pas totalement libre », dit-il.Fanelli considère que ces restrictions sont contraires à la philosophie de l’open source. Je sais que LLaMA2 ne correspond pas à la notion traditionnelle de l’open source, mais je pense aussi que cela n’a pas d’importance. Le sens de l’open source doit s’adapter (une fois de plus) au contexte des modèles d’IA.
LLaMA 2 (pour Large Language Model with Attention 2) est un modèle d'IA génératif qui peut produire des textes en langage naturel en fonction d'une entrée ou d'une invite donnée. Il peut être utilisé pour diverses applications telles que les chatbots, la création de contenu, la synthèse, la traduction, etc. LLaMA 2 est la deuxième version du LLM de Meta, qui a été publié pour la première fois en février 2023. Selon Meta, LLaMA 2 a été formé sur 40 % de données en plus que LLaMA 1, qui comprend des informations provenant de « sources de données en ligne accessibles au public ». Il affirme également qu'il « surclasse » d'autres LLM comme Falcon et MPT en ce qui concerne les tests de raisonnement, de codage, de compétence et de connaissances.
Meta a décidé de rendre LLaMA 2 disponible gratuitement via la plateforme Azure de Microsoft, ainsi que d'autres fournisseurs tels qu'AWS, Hugging Face et le téléchargement direct. Meta a déclaré qu'il souhaitait donner aux entreprises, aux startups et aux chercheurs un accès à davantage d'outils d'IA, permettant l'expérimentation et l'innovation en tant que communauté.
Meta fournit les paramètres des modèles et le code source pour le modèle pré-entraîné et les versions adaptées pour la conversation. La société de Mark Zuckerberg a sélectionné Microsoft comme son partenaire de choix pour LLaMa 2 et en renforçant leurs activités dans le secteur de l’IA générative. « Nous envisageons de faire de la prochaine version de LLaMa 2 une version totalement libre et gratuite pour la recherche et l’utilisation commerciale », a affirmé Meta dans un post du 18 juillet.
LLaMa 2 est disponible dans le catalogue de modèles Azure AI, ce qui permet aux développeurs utilisant Microsoft Azure de construire avec lui et de tirer parti de leurs outils cloud-native pour le filtrage de contenu et les fonctions de sécurité. Il est également optimisé pour fonctionner localement sur Windows, offrant aux développeurs un flux de travail transparent lorsqu'ils proposent des expériences d'IA générative à leurs clients sur différentes plateformes. LLaMa 2 est disponible via Amazon Web Services (AWS), Hugging Face et d'autres fournisseurs.
« Notre approche open source favorise la transparence et l'accès. Nous savons que l'IA a apporté d'énormes progrès à la société, mais qu'elle comporte aussi des risques. Nous nous engageons à construire de manière responsable et fournissons un certain nombre de ressources pour aider ceux qui utilisent Llama 2 à faire de même », précise Meta.
Évolution du concept d’open source
De la liberté à l’ouverture Alessio Fanelli rappelle que depuis la « Lettre ouverte aux amateurs » de 1976, il y a eu des conflits entre les intérêts économiques des sociétés de logiciels et la créativité des hackers qui cherchaient à dépasser les limites. Le courant du « logiciel libre » a émergé dans les années 70 au laboratoire d’intelligence artificielle du MIT avec Richard Stallman et a conduit au projet GNU en 1983. La licence GPL copylefta été inventée et des projets comme Red Hat, MySQL, Git et Ubuntu l’ont utilisée. Le terme open source est né en 1998 grâce à Christine Peterson du MIT ; lors du Freeware Summit, le terme free software a été officiellement remplacé par open source software.
Au fil du temps, les communautés du logiciel libre et open source se sont éloignées, car elles avaient des visions différentes de ce que signifiaient les termes « libre » et « ouvert ». Les logiciels libres, selon la définition de la Free Software Foundation, ne sont qu’une partie des logiciels open source et utilisent des licences très souples telles que GPL et Apache.
Au cours des dix dernières années, une autre divergence s’est produite, cette fois à cause de la tension entre les entreprises commerciales de logiciels libres et les entreprises de cloud computing. Elastic et MongoDB ont changé leurs projets open source vers la Server-Side Public License (SSPL), qui autorise les développeurs à utiliser le produit à des fins commerciales, à condition qu’ils n’offrent pas une version hébergée du produit. Le but était d’éviter qu’AWS ne réutilise leurs produits comme des services en cloud et n’en profite.
La SSPL viole aussi les principes de l’open source software (OSS) et n’est pas reconnue par l’Open Source Initiative (OSI) comme une licence open source. Pourtant, la plupart des développeurs continuent de dire que MongoDB est open source. De plus en plus, le terme open source perd son sens de liberté et devient presque équivalent à « source disponible » dans l’esprit des développeurs. Pour la plupart des ingénieurs en IA, open source signifie désormais « poids téléchargeables », rien de plus.
Heather Meeker a proposé une définition des « poids ouverts », mais il n’y a pas encore d’accord au sein de la communauté. La question est de savoir si des poids ouverts sont suffisants pour qu’un modèle soit considéré comme open source ; pour faire une analogie avec les logiciels, on pourrait dire qu’un projet publie ses exécutables sans le code source qui permet de le reconstituer à partir de zéro.
Alession Fanelli considère que, pour qu’un modèle soit réellement open source et puisse être réentraîné à partir de zéro, ses créateurs devraient partager l’intégralité de leur code d’entraînement, leur ensemble de données de préentraînement, leurs préférences en matière de réglage fin, leurs exemples de RLHF, etc. Le problème est le coût de ces entraînements, affirme-t-il : même si quelqu’un devait tout divulguer, il est trop onéreux de former des modèles à partir de zéro pour la plupart des développeurs et des entreprises, et il est donc plus intéressant d’avoir accès aux poids finaux de toute façon.
Source : Alessio Fanelli's blog post
Et vous ?
L'analyse d'Alessio Fanelli est-elle pertinente ? Partagez-vous, l'avis selon lequel le modèle Llama-2 de Meta ne serait pas open source ? À votre avis, existe-t-il une différence entre « libre » et « ouvert » ? Comment les développeurs peuvent-ils s’assurer que les modèles qu’ils utilisent sont réellement open source et respectent les principes de l’OSS ? Quels sont les risques et les opportunités de l’open source dans le domaine de l’IA générative ?Voir aussi :
Meta s'associe à Microsoft et lance en open-source LLaMA 2 pour faire concurrence à chatGPT d'OpenAI, l'entreprise pourrait vouloir diluer l'avantage concurrentiel de ses rivaux Meta met à disposition son modèle d'intelligence artificielle et de langage étendu, Llama 2, pour une utilisation commerciale par le biais de partenariats avec Microsoft Meta dévoile son propre modèle de langage appelé LLaMA, fonctionnant comme un chatbot d'IA ordinaire et indique qu'il est plus puissant et moins gourmand en ressources que ses concurrents