IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars,
Mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

Le , par Bill Fassinou

20PARTAGES

5  0 
Des chercheurs de l'université de Stanford ont mis au point leur propre modèle d'IA, Alpaca, qui est semblable à ChatGPT. L'entraînement de ce modèle n'aurait coûté que 600 dollars, car il a été conçu sur la base de la plateforme open source LLaMA de Meta. Leur expérience montre que les nouveaux systèmes d'IA avancés peuvent être facilement reproduits, et que cela ne nécessite même pas des coûts énormes. Cependant, un nouveau rapport indique cette semaine que les chercheurs ont mis hors ligne leur IA en raison d'"hallucinations" graves et de l'augmentation des coûts. De plus, les chercheurs n'auraient pas réussi à faire en sorte que l'IA se comporte bien.

Google, Meta, OpenAI, etc., et Microsoft ont chacun publié au moins un système d'IA avancé au cours de ces dernières années et dans chaque cas, le coût du produit est chiffré en plusieurs millions de dollars. Par exemple, Microsoft a investi plusieurs milliards de dollars dans OpenAI cette année pour maintenir son accès exclusif aux modèles de langage avancés développés par le laboratoire d'IA. En retour, ce partenariat permet à OpenAI de profiter de la puissance de calcul offerte par le cloud Azure de Microsoft nécessaire pour le fonctionnement de ChatGPT et d'autres produits. OpenAI peut ainsi optimiser ses dépenses en infrastructures numériques.

Mais récemment, des chercheurs de l'université de Stanford ont annoncé avoir créé un modèle d'IA bon marché qui fonctionne exactement comme ChatGPT d'OpenAI avec seulement 600 dollars. Selon le rapport de l'étude, la base a coûté 500 dollars aux chercheurs, et ils ont dépensé environ 100 dollars pour créer l'IA, ce qui a nécessité huit ordinateurs équipés d'accélérateurs NVIDIA A100 de 80 Go pendant trois heures ; ils ont "loué" ce service dans l'infrastructure du cloud. Les chercheurs ont basé leur IA sur le modèle de langage ouvert LLaMA 7B, qui est le plus petit et le moins cher de la série LLaMA développée par Meta. Ils ont baptisé leur modèle d'IA Alpaca.


Ses capacités sont en fait assez limitées, et il fait moins bien que ChatGPT dans la plupart des tâches. Ce n'est pas surprenant, car la formation des modèles d'IA GPT a pris plus de temps et de ressources. ChatGPT a lu des milliards de livres, tandis qu'Alpaca a appris quelques questions et réponses données par des humains, même si elles sont peu nombreuses. D'autre part, le modèle d'IA Alpaca accomplit certaines tâches assez bien, et parfois même mieux que son rival ChatGPT. Lors du premier test, Alpaca aurait réussi 90 tests (rédaction de courriels, publication sur les médias sociaux, aide au travail, etc.), tandis que ChatGPT n'aurait réussi que 89 tests.

Les chercheurs ont écrit : « nous avons été assez surpris par ce résultat étant donné la petite taille du modèle et la quantité modeste de données relatives au suivi des instructions. Outre l'exploitation de cet ensemble d'évaluations statiques, nous avons également testé le modèle Alpaca de manière interactive, et nous avons constaté qu'Alpaca se comporte souvent de manière similaire à text-davinci-003 (GPT-3.5) sur un ensemble diversifié d'entrées. Nous reconnaissons que notre évaluation peut être limitée en matière d'échelle et de diversité ». L'équipe estime qu'elle aurait probablement pu le faire à moindre coût si elle avait cherché à optimiser le processus.

L'équipe a publié sur Github les 52 000 questions utilisées dans le cadre de cette étude, ainsi que le code permettant d'en générer d'autres et le code utilisé pour affiner le modèle LLaMA. Il reste des ajustements supplémentaires pour s'assurer que ce modèle fonctionne en toute sécurité et dans le respect de l'éthique. Alors, qu'est-ce qui empêche n'importe qui de créer sa propre IA pour une centaine d'euros et de la dresser comme il l'entend ? En théorie, toute personne disposant d'une formation technique correspondante et d'au moins 600 dollars peut répéter l'expérience des chercheurs de Stanford. Mais dans les faits, les choses sont un peu compliquées.

La licence d'OpenAI ne permet pas, ou plutôt interdit, d'utiliser les données de ses modèles pour développer des systèmes concurrents. En revanche, Meta accorde une licence non commerciale aux chercheurs et universitaires pour utiliser ses modèles, bien que ce soit un point discutable, puisque le modèle LLaMA entier a été divulgué sur 4chan une semaine après son annonce. Un autre groupe affirme avoir réussi à éliminer le coût du cloud, en publiant sur Github un code supplémentaire qui peut fonctionner sur un Raspberry Pi et compléter le processus de formation en cinq heures avec une seule carte graphique haut de gamme Nvidia RTX 4090.


Cependant, un rapport publié cette semaine indique que les chercheurs ont mis Alpaca hors ligne en raison de l'augmentation des coûts, de problèmes de sécurité et d'"hallucinations", terme sur lequel la communauté de l'IA s'est mise d'accord lorsqu'un chatbot affirme en toute confiance des informations erronées, en rêvant d'un fait qui n'existe pas. Dans un communiqué de presse annonçant le lancement initial d'Alpaca, l'auteur principal, Rohan Taori, étudiant en doctorat d'informatique à Stanford, a reconnu qu'un test public comportait des risques. Mais l'on ignore exactement ce qui a mal tourné lors de la démo interactive d'Alpaca.

« L'objectif initial de la publication d'une démo était de diffuser nos recherches de manière accessible. Nous pensons que nous avons en grande partie atteint cet objectif et, compte tenu des coûts d'hébergement et des insuffisances de nos filtres de contenu, nous avons décidé de retirer la démo », a déclaré un porte-parole du Stanford Human-Centered Artificial Intelligence (Stanford HAI) à Register. Le département n'a pas répondu immédiatement à une demande de commentaire. Vous ne pouvez plus accéder à une copie fonctionnelle d'Alpaca, mais le code et les données sous-jacentes sont toujours en ligne sur GitHub.

« Nous encourageons les utilisateurs à nous aider à identifier de nouveaux types de défaillances en les signalant dans la démo Web. Dans l'ensemble, nous espérons que la publication d'Alpaca facilitera la poursuite des recherches sur les modèles de suivi des instructions et leur alignement sur les valeurs humaines », ont déclaré les chercheurs dans le communiqué de presse. Malgré ses échecs apparents, Alpaca présente des aspects intéressants qui rendent le projet de recherche intéressant. Ses faibles coûts initiaux sont particulièrement remarquables, contrairement aux superordinateurs de Microsoft qui coûtent plusieurs millions de dollars.

Alors, que signifie tout cela ? Cela signifie qu'un nombre illimité de modèles de langage non contrôlés peuvent désormais être mis en place, notamment par des personnes ayant des connaissances en matière d'apprentissage automatique et ne se souciant pas des conditions générales d'utilisation ou du piratage de logiciels - pour presque rien. Si une grande partie du temps et des dépenses nécessaires est consacrée à la phase de post-entraînement, et que ce travail peut être plus ou moins volé dans le temps qu'il faut pour répondre à 50 ou 100 000 questions, cela a-t-il un sens pour les entreprises de continuer à dépenser cet argent ?

En outre, les capacités impressionnantes de ce logiciel pourraient certainement être utiles à un régime autoritaire, ou à une opération d'hameçonnage, ou à un spammeur, ou à tout autre acteur douteux. « Le génie est sorti de la bouteille, et il semble qu'il soit déjà extrêmement facile de le reproduire et de le réentraîner. Accrochez-vous à votre chapeau », mettent en garde les experts.

Sources : communiqué de presse des chercheurs de Stanford, référentiel GitHub du projet, AlpacaPi

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du coût insignifiant de la création et la formation du modèle d'IA Alpaca ?
S'il est si facile que ça de répliquer ChatGPT et de l'entraîner, pourquoi Microsoft dépense-t-elle des milliards pour cela ?
Selon vous, y a-t-il un avantage à injecter autant d'argent ?
Selon vous, est-ce une bonne idée d'avoir rendu publics le code et les données sous-jacentes d'Alpaca ?
Pensez-vous que cela pourrait entraîner une prolifération des modèles d'IA d'amateurs dans le prochain mois ?
Quels pourraient être les impacts d'une telle situation sur Internet et le secteur de l'IA ?

Voir aussi

Une recherche avec Bard de Google et ChatGPT de Microsoft coûte probablement 10 fois plus qu'une recherche par mot-clé, ce qui pourrait représenter « plusieurs milliards de dollars de surcoûts »

Des ingénieurs de Google ont développé une IA de type ChatGPT il y a des années, mais les dirigeants l'ont bloquée pour des raisons de sécurité. Leur travail sous-tend désormais Bard

Google commence à ouvrir l'accès à son concurrent ChatGPT de Microsoft et annonce le lancement public de son chatbot Bard

Bill Gates affirme que l'essor de l'IA menace les bénéfices que Google tire de son moteur de recherche, mais la recherche via Bing Chat et Bard entraîne plusieurs milliards de dollars de surcoûts

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de walfrat
Membre émérite https://www.developpez.com
Le 07/04/2023 à 9:55
"Hey chatGPT, voilà toutes les donneés confidentielles économiques de mon entreprises, fait moi le rapport financier stp, j'ai la flème".
8  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 28/03/2023 à 20:49
Citation Envoyé par Bill Fassinou Voir le message
Pensez-vous que ces nouveaux chatbots d'IA sont des outils utiles ou plutôt des gadgets inutiles, voire nuisibles ?
Si les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.

On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gens
7  0 
Avatar de totozor
Membre émérite https://www.developpez.com
Le 11/04/2023 à 16:19
Citation Envoyé par HaryRoseAndMac Voir le message
Une mentalité d'extrême gauche qui préfère favoriser des envahisseurs et tout ceux qui ne sont pas Français, plutôt que leur propre famille, parce que dans un cycle d'autodestruction, presque sadique.
La France a une réelle capacité à générer des génies, de part la langue Française qui force le raisonnement et par la qualité de ses grandes écoles.
Hahaha, ton obsession pour l'extrême gauche et de lui refiler tous les maux de la France me font rire. Je veux bien comprendre qu'une partie de leurs représentants ne sont pas beaucoup plus malin qu'un mollusque mais je crois que la France est bien loin d'avoir un communisme si fort en son sein.
Quant à nos grandes écoles, de ceux que j'en ai vu sortir, elles sont justement la source la plus intarrissable de personnes " hautaine, sûr de soit, prête à mettre des dislike à tout vas sans essayer de comprendre réellement les propos et se remettre en question".
Chez nous on a un adjectif pour ces gens là : les "parisiens". Ils sont faciles à reconnaitre : ils arrivent à un poste à responsabilité, ils remettent tout en question dans leur environnement et expliquent aux autres comment bien faire leur travail (sans le connaitre). On les traite d'une façon simple : On les ignore, quand leur chef en a ras le cul d'eux, il l'envoi dans un placard, ce qui mène à une démission en général.
Et je ne dit pas qu'on ne se remet pas en cause, la plupart des managers qui arrivent en poste, pose des questions, observent puis suggèrent les améliorations qui sont suivies parce que raisonnables et expliquées.
Citation Envoyé par HaryRoseAndMac Voir le message
Cette boite viens me voir en disant qu'ils ont d'abord fait développer leur logiciel de A à Z par ... ChatGPT ! [...]
Puis, ... ils ont donnés les audit à des développeurs qu'ils ont pris à la sortie d'o'clock, alors qu'on sais tous que c'est le pire du bas de gamme et de l'incompétence possible que de piocher là dedans.
Je penses que ces scénarios vont se multiplier et je vais être honnete, je ne vais pas pleurer ces entreprises. Le groupe dans lequel je travaille nous encourageait très largement à des méthodes qui me paraissaient suicidaires.
Ils sont repassé chez nous semaine dernière, j'étais bien rassuré des les voir nous encourager à éviter le piège de ChatGPT (qui était le mot préféré de nos "sachant du 4.0"), des ESN cheap et de l'Offshore indien.

Il y a de ça un an on a lancé un grand projet de developpement d'un gros outil, j'ai décidé de quitter le navire quand on a choisi CapGemini parce qu'ils ont fait plusieurs projets pour nous, peu sont arrivés à au bout, et ceux qui l'ont été n'ont jamais été utilisé parce qu'ils ne répondaient ni à notre besoin ni à notre cahier des charges, qu'ils avaient refondus partiellement sans notre accord.
Nous avons interrompu le projet il y a peu, jetant par les fenetres quelques k€ au passage.
Je ne suis pas plus intelligents que les autres, je me souviens juste qu'on a toujours été déçu par leurs perstations mais je suis aussi trop personne pour que les jour où j'ai levé le warning tout le monde décide de m'ignorer. A la fin tout ça ne touche pas à mon salaire et ne me fait plus perdre mon temps donc je laisse faire mais c'est décourageant.
5  0 
Avatar de jvallois
Membre éclairé https://www.developpez.com
Le 01/04/2023 à 22:45
La vraie raison pour laquelle les Italiens ont bloqué Chat GPT : https://twitter.com/olexandr/status/1642180293409796096

4  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 07/04/2023 à 11:57
Citation Envoyé par Jon Shannow Voir le message
Personnellement, ayant une bonne dose d'intelligence naturelle, je ne vois pas l'intérêt de me coltiner une intelligence artificielle.
Mais, comme toute prothèse, je pense que pour ceux qui ont un déficit de ce coté, une béquille ou un déambulateur comme ChatGPT peut leur venir en aide.
Ce n'est pas tout-à-fait ça, l'enjeu.
Ce qu'ils veulent, c'est se passer de ton intelligence pour ne pas avoir à te payer un salaire.
4  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 07/04/2023 à 12:19
Citation Envoyé par archqt Voir le message
Il n'y a qu'une seule solution, devoir sur table individuel ou un oral individuel. A la maison chatGPT ou travail de groupe et cela triche de tous les côtés
Ce n'est pas nouveau

<MODE VIEUX CON>
De mon temps, les devoirs à la maison, ça a toujours été inégalitaire :
- les parents diplômés (ou pas) pouvaient aider (ou pas)
- on pouvait avoir une encyclopédie à la maison (ou pas)
- on pouvait avoir un grand frère ou soeur (ou pas) intelligent (ou pas) qui aide (ou pas)
- un(e) amoureux(se) dévoué(e) en mode "esclave" qui fait tes devoirs (ou pas)
</MODE VIEUX CON>

J'ai coché toutes les cases "ou pas" du coup j'ai du tout faire moi-même ce qui m'a permis d'être débrouillard et une fois au collège et au lycée bon élève

Aujourd'hui tout le monde a accès à Internet.
ChatGPT permet aux moches / pas populaires / sans famille de tricher aussi - on va dire que c'est plus juste mais dans le mauvais sens, l'égalité par le nivellement par le bas

Les vedettes du collège et du lycée qui étaient gâtés et qui frimaient pas mal, bah... ils ne friment plus aujourd'hui

Quoique certains si quand même, car il y a des métiers (que je ne citerais pas) ou c'est la tactch' qui compte
4  0 
Avatar de electroremy
Membre éprouvé https://www.developpez.com
Le 07/04/2023 à 13:43
Citation Envoyé par HaryRoseAndMac Voir le message
Et du temps de Vercingétorix c'était comment ?
La réponse est dans une chanson de France Gall

Charlemagne n'avait pas encore inventé l'école à cette époque
4  0 
Avatar de Gluups
Membre expérimenté https://www.developpez.com
Le 25/05/2023 à 19:49
Plus stupide on a vu, déjà.

Du style, une constitution ayant pour objet d'encadrer l'activité du président de la république et des députés, que le président modifie selon son bon vouloir, tous les cinq ans, avec la complicité de ses potes du parlement.

Avant de taper sur les électeurs qui trouveraient à redire, en les accusant de terrorisme.

Ce qui n'empêche que si on arrive dans la dictature, ce n'est pas à cause du président. C'est plutôt à cause des citoyens de base, qui se comportent en dictature, en ne se formalisant pas si on leur demande de manipuler leurs concitoyens.
4  0 
Avatar de eternelNoob
Futur Membre du Club https://www.developpez.com
Le 09/05/2023 à 9:16
Et plus tard, on parlera de bulle de l'IA alors que certains auront effectivement décollé

Toujours les mêmes histoires...
3  0 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 23/05/2023 à 9:18
Et puis il y a peut-être le problème le plus frustrant de tous lorsqu'il s'agit de modéliser et de manipuler le comportement humain : la loi de Goodhart. Il s'agit du paradoxe, énoncé pour la première fois par Charles Goodhart, fonctionnaire de la Banque d'Angleterre, en 1975, selon lequel lorsqu'une mesure devient un objectif politique, elle cesse d'être une mesure fiable. Par exemple, les agrégats monétaires étaient autrefois de bons indicateurs de l'inflation. Mais lorsque les banques centrales ont adopté des objectifs basés sur ces chiffres, la corrélation stable a disparu.
Dang, je viens d'apprendre un truc, quelqu'un c'est actuellement fait chier à énoncer ce problème il y a presque 50ans et nos états sont toujours pas foutu capable de prendre ça en compte.
3  0