Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars,

Mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

Des chercheurs de l'université de Stanford ont mis au point leur propre modèle d'IA, Alpaca, qui est semblable à ChatGPT. L'entraînement de ce modèle n'aurait coûté que 600 dollars, car il a été conçu sur la base de la plateforme open source LLaMA de Meta. Leur expérience montre que les nouveaux systèmes d'IA avancés peuvent être facilement reproduits, et que cela ne nécessite même pas des coûts énormes. Cependant, un nouveau rapport indique cette semaine que les chercheurs ont mis hors ligne leur IA en raison d'"hallucinations" graves et de l'augmentation des coûts. De plus, les chercheurs n'auraient pas réussi à faire en sorte que l'IA se comporte bien.

Google, Meta, OpenAI, etc., et Microsoft ont chacun publié au moins un système d'IA avancé au cours de ces dernières années et dans chaque cas, le coût du produit est chiffré en plusieurs millions de dollars. Par exemple, Microsoft a investi plusieurs milliards de dollars dans OpenAI cette année pour maintenir son accès exclusif aux modèles de langage avancés développés par le laboratoire d'IA. En retour, ce partenariat permet à OpenAI de profiter de la puissance de calcul offerte par le cloud Azure de Microsoft nécessaire pour le fonctionnement de ChatGPT et d'autres produits. OpenAI peut ainsi optimiser ses dépenses en infrastructures numériques.

Mais récemment, des chercheurs de l'université de Stanford ont annoncé avoir créé un modèle d'IA bon marché qui fonctionne exactement comme ChatGPT d'OpenAI avec seulement 600 dollars. Selon le rapport de l'étude, la base a coûté 500 dollars aux chercheurs, et ils ont dépensé environ 100 dollars pour créer l'IA, ce qui a nécessité huit ordinateurs équipés d'accélérateurs NVIDIA A100 de 80 Go pendant trois heures ; ils ont "loué" ce service dans l'infrastructure du cloud. Les chercheurs ont basé leur IA sur le modèle de langage ouvert LLaMA 7B, qui est le plus petit et le moins cher de la série LLaMA développée par Meta. Ils ont baptisé leur modèle d'IA Alpaca.


Ses capacités sont en fait assez limitées, et il fait moins bien que ChatGPT dans la plupart des tâches. Ce n'est pas surprenant, car la formation des modèles d'IA GPT a pris plus de temps et de ressources. ChatGPT a lu des milliards de livres, tandis qu'Alpaca a appris quelques questions et réponses données par des humains, même si elles sont peu nombreuses. D'autre part, le modèle d'IA Alpaca accomplit certaines tâches assez bien, et parfois même mieux que son rival ChatGPT. Lors du premier test, Alpaca aurait réussi 90 tests (rédaction de courriels, publication sur les médias sociaux, aide au travail, etc.), tandis que ChatGPT n'aurait réussi que 89 tests.

Les chercheurs ont écrit : « nous avons été assez surpris par ce résultat étant donné la petite taille du modèle et la quantité modeste de données relatives au suivi des instructions. Outre l'exploitation de cet ensemble d'évaluations statiques, nous avons également testé le modèle Alpaca de manière interactive, et nous avons constaté qu'Alpaca se comporte souvent de manière similaire à text-davinci-003 (GPT-3.5) sur un ensemble diversifié d'entrées. Nous reconnaissons que notre évaluation peut être limitée en matière d'échelle et de diversité ». L'équipe estime qu'elle aurait probablement pu le faire à moindre coût si elle avait cherché à optimiser le processus.

L'équipe a publié sur Github les 52 000 questions utilisées dans le cadre de cette étude, ainsi que le code permettant d'en générer d'autres et le code utilisé pour affiner le modèle LLaMA. Il reste des ajustements supplémentaires pour s'assurer que ce modèle fonctionne en toute sécurité et dans le respect de l'éthique. Alors, qu'est-ce qui empêche n'importe qui de créer sa propre IA pour une centaine d'euros et de la dresser comme il l'entend ? En théorie, toute personne disposant d'une formation technique correspondante et d'au moins 600 dollars peut répéter l'expérience des chercheurs de Stanford. Mais dans les faits, les choses...