Presque la totalité des plus puissants grands modèles de langage (LLM) est détenue par des entreprises privées et leur code n'est pas disponible publiquement, ce qui laisse penser que le domaine de l'IA pourrait être contrôlé par un oligopole à l'avenir. Mais Varun Shenoy, ingénieur logiciel, affirme que rien n'est plus éloigné de la vérité. Il affirme que les modèles de langage open source sont "incroyablement bons" pour les tâches les plus importantes, telles que la synthèse et la génération de contenu de qualité, et qu'ils offrent également de meilleures garanties en matière de confidentialité et de sécurité, ainsi que des avantages en matière de contrôle et de personnalisation.Dans un article publié la semaine dernière, Varun Shenoy a déclaré qu'il fondait beaucoup d'espoirs sur l'IA open source, tout en la comparant au noyau Linux dans les années 90. Linux, qui a été qualifié de "cancer" par Microsoft au début, est aujourd'hui le noyau de plusieurs systèmes d'exploitation de classe mondiale, dont Ubuntu et Red Hat Entreprise Linux (RHEL), et pilote la plupart des serveurs à travers le monde. Qui aurait pu prévoir cela en 1991 ? D'après Shenoy, tout comme Linux, l'IA open source est subversive. Elle est critiquée et ses détracteurs y voient très peu de perspectives, mais Shenoy pense qu'ils font la même erreur qu'avec Linux.
Les modèles d'IA privés sont développés et utilisés ou commercialisés exclusivement par des entreprises privées. Quelques-uns des modèles d'IA privés les plus connus sont ChatGPT, Bard, Bing Chat, Claude, GPT-4 et Pi. L'IA fermée occulte ou protège la provenance des données d'entraînement et le code sous-jacent. En revanche, les modèles d'IA open source sont disponibles publiquement, y compris les données d'entraînement et les codes sous-jacents, et peuvent être utilisé par tout le monde. Ces modèles d'IA ne sont pas nombreux, les plus connus étant Llama 2 et le récent Falcon 180B, et sont considérés comme ayant un moindre impact sur le marché.
Modèles Llama 2 affinés vs. GPT-4
Des chercheurs en IA et des groupes d'intérêt public se sont engagés à démocratiser l'accès à l'A, mais de nombreux défis restent à relever. La communauté open source peine à former ses propres modèles en raison des coûts élevés de développements. En outre, les modèles d'IA open source existants sont pour la plupart basés sur les travaux publiés par des entreprises privées. Voici ci-dessous quelques-unes des critiques formulées à l'encontre de l'IA open source relevées par Shenoy :
- l'IA open source ne peut pas rivaliser avec les ressources des laboratoires industriels et des Big Tech : la création de modèles de base est coûteuse et l'open source ne dispose pas de grosses ressources financières ;
- l'IA open source n'est pas sûre : certains critiques estiment que les scientifiques "fous" qui créent des modèles d'IA sur leurs GPU encastrés dans leurs maisons n'aligneront pas leurs modèles sur les intérêts humains généraux ;
- l'IA open source est incapable de raisonner : les modèles d'IA open source auraient des performances en matière de raisonnement plus faibles que les modèles d'IA fermés sur les benchmarks ;
D'après Shenoy, en raison des coûts élevés de la création d'un modèle d'IA, les entreprises qui ne sont pas spécialisées dans l'IA et qui cherchent à créer des fonctions d'IA confieront leur couche d'intelligence à une entreprise spécialisée dans ce domaine. Une entreprise moyenne ne peut pas mettre à l'échelle des LLM ou produire de nouveaux résultats de la même manière qu'une équipe bien capitalisée de chercheurs talentueux. Cependant, Shenoy estime que cela comporte des risques. « Voulez-vous vraiment externaliser votre activité principale, qui repose sur des données confidentielles, à OpenAI ou Anthropic ? », s'interroge l'ingénieur logiciel.
« La pression est trop forte pour que les modèles d'IA open source échouent. La vie de nombreuses entreprises est en jeu », a-t-il ajouté. Shenoy suggère en effet que les modèles d'IA fermés poseront un problème de confiance à long terme, car les utilisateurs vont finir par s'interroger leur fonctionnement interne. Les questions de sécurité et du respect de la vie privée intéressent de plus en plus les consommateurs et les entreprises clientes. Par exemple, Google a annoncé cette semaine que les utilisateurs pouvaient désormais autoriser Bard à accéder à leur compte Gmail pour une expérience plus riche, mais cela a suscité un grand scepticisme.
Bien que cette fonctionnalité puisse être utile, le risque de fuite de données inquiète les utilisateurs. Selon Shenoy, les modèles d'IA open source sont la clé pour venir à bout de ces problèmes, car les applications open source inspirent plus confiance et sont auditées par toute une communauté. En outre, il affirme que les modèles d'IA open source sont incroyablement performants pour les tâches les plus importantes (synthétiser, fournir des explications, créer une liste ou une autre structure à partir d'un bloc de texte, etc.) et peuvent être affinés pour couvrir jusqu'à 99 % des cas d'utilisation lorsqu'un produit a collecté suffisamment de données étiquetées.
Il semble rejeter l'argument selon lequel la performance d'un modèle d'IA est proportionnelle au nombre de paramètres qu'il possède. « Le type de raisonnement que vous obtenez en augmentant la taille de ces modèles n'a pas d'importance pour 85 % des cas d'utilisation. Les chercheurs adorent raconter que leur modèle de 200 milliards de paramètres peut résoudre des problèmes mathématiques complexes ou construire un site Web à partir d'un croquis sur une serviette de table, mais je ne pense pas que la plupart des utilisateurs (ou des développeurs) aient un besoin impérieux de ces capacités », a déclaré Shenoy dans son argumentaire.
En outre, il rappelle les récentes expériences dans le monde l'open source qui ont prouvé qu'il était possible d'exécuter des modèles d'IA massifs sur du matériel grand public. Par exemple, grâce à des projets tels que Llama.cpp, il est désormais possible d'exécuter des modèles linguistiques massifs de pointe à partir de son MacBook. « La possibilité d'exécuter ces modèles localement est un avantage considérable en matière de sécurité et de coûts. À terme, vous pourrez exécuter vos modèles sur le matériel de vos utilisateurs », a-t-il fait remarquer. Selon Shenoy, les modèles d'IA fermés occupent le devant de la scène en raison du battage médiatique.
« On a l'impression qu'il faut embaucher une équipe d'ingénieurs en apprentissage automatique pour construire à partir d'une source ouverte plutôt que d'utiliser l'API de l'OpenAI. C'est normal, et ce sera vrai à court terme. C'est le coût du contrôle et le rythme rapide de l'innovation. Les personnes qui sont prêtes à passer du temps à la frontière seront récompensées par la possibilité de construire des produits de bien meilleure qualité. L'ergonomie s'améliorera », a-t-il déclaré. Par ailleurs, Shenoy déplore le fait que les fournisseurs de modèles d'IA fermés, comme OpenAI, se soient emparés de l'esprit collectif de ce cycle d'engouement pour l'IA.
En somme, l'article de Shenoy suggère que les modèles d'IA open source offrent des garanties en matière de confidentialité et de sécurité, car ils peuvent être audités et examinés par une communauté mondiale de scientifiques et de développeurs. Les modèles open source peuvent être exécutés sur du matériel grand public, ce qui offre des avantages en matière de sécurité et de coûts. Les modèles open source sont également plus évolutifs que les modèles à source fermée. L'auteur suggère que les entreprises doivent comprendre leurs besoins et tirer parti de l'IA open source pour construire des expériences d'IA défendables et différenciées.
Source : billet de blogue
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de l'argumentaire de ci-dessous ? Selon vous, les modèles open source représentent-ils l'avenir de l'IA ? Les modèles open source offrent-ils vraiment plus de sécurité comme il le prétend ? Quels sont les avantages de modèles open source par rapport aux modèles fermés ? Les entreprises privées finiront-elles par publier leurs modèles d'IA en open source ?Voir aussi
Falcon 180B : un modèle d'IA open source avec 180 milliards de paramètres entraînés sur 3 500 milliards de jetons, il serait plus performant que le modèle Llama 2 de Meta et égale PaLM-2 de Google Meta s'associe à Microsoft et lance en open-source LLaMA 2 pour faire concurrence à ChatGPT d'OpenAI, l'entreprise pourrait vouloir diluer l'avantage concurrentiel de ses rivaux Le chatbot d'IA Bard de Google peut désormais accéder à vos applications Gmail, Docs et Drive pour trouver des réponses, mais le risque de fuite de données inquiète les utilisateurs