À l'occasion du premier anniversaire de ChatGPT, des chercheurs ont publié une étude sur les grands modèles de langages (LLM) open-source. Dans l'article, ils fournissent un aperçu exhaustif du succès des LLM en examinant toutes les tâches pour lesquelles un LLM open-source a prétendu être à égalité ou meilleur que ChatGPT.[QUOTE]Il y a exactement un an, le lancement de ChatGPT par OpenAI a pris d'assaut la communauté de l'IA et le monde entier. Pour la première fois, un chatbot IA basé sur une application pouvait généralement fournir des réponses utiles, sûres et détaillées à la plupart des questions, suivre des instructions, et même admettre et corriger ses erreurs précédentes. Il est notamment capable d'effectuer ces tâches en langage naturel qui étaient traditionnellement réalisées par des modèles de langage pré-entraînés puis adaptés, tels que le résumé ou la réponse à des questions (QA), et ce, apparemment de manière étonnante.
En tant que premier de son genre, ChatGPT a attiré le grand public - il a atteint 100 millions d'utilisateurs deux mois seulement après son lancement, bien plus rapidement que d'autres applications populaires comme TikTok ou YouTube. Il a également attiré d'énormes investissements commerciaux, en raison de son potentiel de réduction des coûts de main-d'œuvre, d'automatisation des flux de travail et même d'apport de nouvelles expériences aux clients.
Cependant, étant donné que ChatGPT n'est pas open-source et que son accès est contrôlé par une société privée, la plupart de ses détails techniques restent inconnus. Bien qu'il soit affirmé qu'il suit la procédure introduite dans InstructGPT, son architecture exacte, ses données de pré-entraînement et ses données de mise au point sont inconnues. Cette nature de source proche génère plusieurs problèmes clés.
Premièrement, sans connaître les détails internes tels que la procédure de pré-entraînement et de réglage fin, il est difficile d'estimer correctement les risques potentiels pour la société, surtout si l'on sait que les LLM peuvent notoirement générer des contenus toxiques, contraires à l'éthique et mensongers. Deuxièmement, il a été signalé que les performances de ChatGPT changent au fil du temps, ce qui empêche d'obtenir des résultats reproductible. Troisièmement, ChatGPT a connu de nombreuses pannes, dont deux majeures en novembre 2023, au cours desquelles l'accès au site web de ChatGPT et à son API a été complètement bloqué. Enfin, les entreprises qui adoptent ChatGPT peuvent être préoccupées par le coût élevé des appels aux API, les pannes de service, les questions de propriété des données et de confidentialité, et d'autres événements imprévisibles tels que le récent drame survenu dans la salle du conseil d'administration à propos du licenciement du PDG Sam Altman, de la rébellion du personnel et de son éventuel retour.
Les LLM open-source, en revanche, offrent une voie prometteuse car ils peuvent potentiellement remédier à la plupart des problèmes susmentionnés ou les contourner. C'est la raison pour laquelle la communauté des chercheurs s'efforce activement de maintenir les LLM performants en open-source. Cependant, à l'heure actuelle (fin 2023), il est largement admis que les LLM open-source tels que Llama-2 ou Falcon sont à la traîne par rapport à leurs homologues closed-source tels que GPT3.5 (ChatGPT) et GPT-4 d'OpenAI, Claude2 d'Anthropic ou Bard3 de Google, GPT-4 étant généralement considéré comme le champion de tous.
Cependant, ce qui est très encourageant, c'est que l'écart se réduit de plus en plus et que les LLM open-source rattrapent rapidement leur retard. En fait, comme le montre la figure 1, les meilleurs LLM open-source sont déjà plus performants que GPT-3.5-turbo sur certains benchmarks standard. Cependant, les LLM open-source ne sont pas à l'abri d'une lutte acharnée. Le paysage est en constante évolution : les LLM closed-source sont mis à jour en se recyclant sur des données plus récentes régulièrement, les LLM open-source sont publiés pour rattraper leur retard, et il existe une myriade d'ensembles...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.