IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Le génie est sorti de la bouteille : des chercheurs de Stanford ont répliqué le chatbot d'IA ChatGPT pour moins de 600 dollars,
Mais l'ont rapidement mis hors ligne en raison de ses "hallucinations"

Le , par Bill Fassinou

32PARTAGES

5  0 
Des chercheurs de l'université de Stanford ont mis au point leur propre modèle d'IA, Alpaca, qui est semblable à ChatGPT. L'entraînement de ce modèle n'aurait coûté que 600 dollars, car il a été conçu sur la base de la plateforme open source LLaMA de Meta. Leur expérience montre que les nouveaux systèmes d'IA avancés peuvent être facilement reproduits, et que cela ne nécessite même pas des coûts énormes. Cependant, un nouveau rapport indique cette semaine que les chercheurs ont mis hors ligne leur IA en raison d'"hallucinations" graves et de l'augmentation des coûts. De plus, les chercheurs n'auraient pas réussi à faire en sorte que l'IA se comporte bien.

Google, Meta, OpenAI, etc., et Microsoft ont chacun publié au moins un système d'IA avancé au cours de ces dernières années et dans chaque cas, le coût du produit est chiffré en plusieurs millions de dollars. Par exemple, Microsoft a investi plusieurs milliards de dollars dans OpenAI cette année pour maintenir son accès exclusif aux modèles de langage avancés développés par le laboratoire d'IA. En retour, ce partenariat permet à OpenAI de profiter de la puissance de calcul offerte par le cloud Azure de Microsoft nécessaire pour le fonctionnement de ChatGPT et d'autres produits. OpenAI peut ainsi optimiser ses dépenses en infrastructures numériques.

Mais récemment, des chercheurs de l'université de Stanford ont annoncé avoir créé un modèle d'IA bon marché qui fonctionne exactement comme ChatGPT d'OpenAI avec seulement 600 dollars. Selon le rapport de l'étude, la base a coûté 500 dollars aux chercheurs, et ils ont dépensé environ 100 dollars pour créer l'IA, ce qui a nécessité huit ordinateurs équipés d'accélérateurs NVIDIA A100 de 80 Go pendant trois heures ; ils ont "loué" ce service dans l'infrastructure du cloud. Les chercheurs ont basé leur IA sur le modèle de langage ouvert LLaMA 7B, qui est le plus petit et le moins cher de la série LLaMA développée par Meta. Ils ont baptisé leur modèle d'IA Alpaca.


Ses capacités sont en fait assez limitées, et il fait moins bien que ChatGPT dans la plupart des tâches. Ce n'est pas surprenant, car la formation des modèles d'IA GPT a pris plus de temps et de ressources. ChatGPT a lu des milliards de livres, tandis qu'Alpaca a appris quelques questions et réponses données par des humains, même si elles sont peu nombreuses. D'autre part, le modèle d'IA Alpaca accomplit certaines tâches assez bien, et parfois même mieux que son rival ChatGPT. Lors du premier test, Alpaca aurait réussi 90 tests (rédaction de courriels, publication sur les médias sociaux, aide au travail, etc.), tandis que ChatGPT n'aurait réussi que 89 tests.

Les chercheurs ont écrit : « nous avons été assez surpris par ce résultat étant donné la petite taille du modèle et la quantité modeste de données relatives au suivi des instructions. Outre l'exploitation de cet ensemble d'évaluations statiques, nous avons également testé le modèle Alpaca de manière interactive, et nous avons constaté qu'Alpaca se comporte souvent de manière similaire à text-davinci-003 (GPT-3.5) sur un ensemble diversifié d'entrées. Nous reconnaissons que notre évaluation peut être limitée en matière d'échelle et de diversité ». L'équipe estime qu'elle aurait probablement pu le faire à moindre coût si elle avait cherché à optimiser le processus.

L'équipe a publié sur Github les 52 000 questions utilisées dans le cadre de cette étude, ainsi que le code permettant d'en générer d'autres et le code utilisé pour affiner le modèle LLaMA. Il reste des ajustements supplémentaires pour s'assurer que ce modèle fonctionne en toute sécurité et dans le respect de l'éthique. Alors, qu'est-ce qui empêche n'importe qui de créer sa propre IA pour une centaine d'euros et de la dresser comme il l'entend ? En théorie, toute personne disposant d'une formation technique correspondante et d'au moins 600 dollars peut répéter l'expérience des chercheurs de Stanford. Mais dans les faits, les choses sont un peu compliquées.

La licence d'OpenAI ne permet pas, ou plutôt interdit, d'utiliser les données de ses modèles pour développer des systèmes concurrents. En revanche, Meta accorde une licence non commerciale aux chercheurs et universitaires pour utiliser ses modèles, bien que ce soit un point discutable, puisque le modèle LLaMA entier a été divulgué sur 4chan une semaine après son annonce. Un autre groupe affirme avoir réussi à éliminer le coût du cloud, en publiant sur Github un code supplémentaire qui peut fonctionner sur un Raspberry Pi et compléter le processus de formation en cinq heures avec une seule carte graphique haut de gamme Nvidia RTX 4090.

[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">I don't know what to make about this development. Alpaca is surprisingly very good. The claim here is the training can be done in 5 hours on a single RTX 4090. Have GPT-like models been democratized overnight?! <a href="https://t.co/ysfn5u6xwI">https://t.co/ysfn5u6xwI</a></p>&mdash; Carlos E. Perez (@IntuitMachine) <a href="https://twitter.com/IntuitMachine/status/1636456656572653590?ref_src=twsrc%5Etfw">March 16, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]

Cependant, un rapport publié cette semaine indique que les chercheurs ont mis Alpaca hors ligne en raison de l'augmentation des coûts, de problèmes de sécurité et d'"hallucinations", terme sur lequel la communauté de l'IA s'est mise d'accord lorsqu'un chatbot affirme en toute confiance des informations erronées, en rêvant d'un fait qui n'existe pas. Dans un communiqué de presse annonçant le lancement initial d'Alpaca, l'auteur principal, Rohan Taori, étudiant en doctorat d'informatique à Stanford, a reconnu qu'un test public comportait des risques. Mais l'on ignore exactement ce qui a mal tourné lors de la démo interactive d'Alpaca.

« L'objectif initial de la publication d'une démo était de diffuser nos recherches de manière accessible. Nous pensons que nous avons en grande partie atteint cet objectif et, compte tenu des coûts d'hébergement et des insuffisances de nos filtres de contenu, nous avons décidé de retirer la démo », a déclaré un porte-parole du Stanford Human-Centered Artificial Intelligence (Stanford HAI) à Register. Le département n'a pas répondu immédiatement à une demande de commentaire. Vous ne pouvez plus accéder à une copie fonctionnelle d'Alpaca, mais le code et les données sous-jacentes sont toujours en ligne sur GitHub.

« Nous encourageons les utilisateurs à nous aider à identifier de nouveaux types de défaillances en les signalant dans la démo Web. Dans l'ensemble, nous espérons que la publication d'Alpaca facilitera la poursuite des recherches sur les modèles de suivi des instructions et leur alignement sur les valeurs humaines », ont déclaré les chercheurs dans le communiqué de presse. Malgré ses échecs apparents, Alpaca présente des aspects intéressants qui rendent le projet de recherche intéressant. Ses faibles coûts initiaux sont particulièrement remarquables, contrairement aux superordinateurs de Microsoft qui coûtent plusieurs millions de dollars.

Alors, que signifie tout cela ? Cela signifie qu'un nombre illimité de modèles de langage non contrôlés peuvent désormais être mis en place, notamment par des personnes ayant des connaissances en matière d'apprentissage automatique et ne se souciant pas des conditions générales d'utilisation ou du piratage de logiciels - pour presque rien. Si une grande partie du temps et des dépenses nécessaires est consacrée à la phase de post-entraînement, et que ce travail peut être plus ou moins volé dans le temps qu'il faut pour répondre à 50 ou 100 000 questions, cela a-t-il un sens pour les entreprises de continuer à dépenser cet argent ?

En outre, les capacités impressionnantes de ce logiciel pourraient certainement être utiles à un régime autoritaire, ou à une opération d'hameçonnage, ou à un spammeur, ou à tout autre acteur douteux. « Le génie est sorti de la bouteille, et il semble qu'il soit déjà extrêmement facile de le reproduire et de le réentraîner. Accrochez-vous à votre chapeau », mettent en garde les experts.

Sources : communiqué de presse des chercheurs de Stanford, référentiel GitHub du projet, AlpacaPi

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du coût insignifiant de la création et la formation du modèle d'IA Alpaca ?
S'il est si facile que ça de répliquer ChatGPT et de l'entraîner, pourquoi Microsoft dépense-t-elle des milliards pour cela ?
Selon vous, y a-t-il un avantage à injecter autant d'argent ?
Selon vous, est-ce une bonne idée d'avoir rendu publics le code et les données sous-jacentes d'Alpaca ?
Pensez-vous que cela pourrait entraîner une prolifération des modèles d'IA d'amateurs dans le prochain mois ?
Quels pourraient être les impacts d'une telle situation sur Internet et le secteur de l'IA ?

Voir aussi

Une recherche avec Bard de Google et ChatGPT de Microsoft coûte probablement 10 fois plus qu'une recherche par mot-clé, ce qui pourrait représenter « plusieurs milliards de dollars de surcoûts »

Des ingénieurs de Google ont développé une IA de type ChatGPT il y a des années, mais les dirigeants l'ont bloquée pour des raisons de sécurité. Leur travail sous-tend désormais Bard

Google commence à ouvrir l'accès à son concurrent ChatGPT de Microsoft et annonce le lancement public de son chatbot Bard

Bill Gates affirme que l'essor de l'IA menace les bénéfices que Google tire de son moteur de recherche, mais la recherche via Bing Chat et Bard entraîne plusieurs milliards de dollars de surcoûts

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de
https://www.developpez.com
Le 04/09/2024 à 21:19
Citation Envoyé par Stéphane le calme Voir le message

Quels compromis seriez-vous prêt à accepter pour permettre l’innovation en IA tout en protégeant les droits des auteurs ?
Aucun, pourquoi un générateur de médiocrité (nivelage de tout le contenu) pourrait voler le travail des producteurs de valeur pour que OpenAI puisse "gagner de l'argent" en empêchant le dit producteur de valeur d'en gagner ? La réponse à votre question est dans la question en fait, il suffit de remplacer "innovation" par ce qu'est réellement un tel moteur conversationnel qui répond tout et n'importe quoi et de se rappeler le sens de "droit" et de "auteur"

Citation Envoyé par Stéphane le calme Voir le message

Pensez-vous que les entreprises technologiques devraient payer une redevance pour utiliser des contenus protégés par le droit d’auteur ? Si oui, comment cette redevance devrait-elle être calculée ?
Sur la base d'une négociation avec chaque auteur. s'ils ont besoin des ces données il doivent la respecter et donc respecter ceux qui la produise.

Citation Envoyé par Stéphane le calme Voir le message

Comment les créateurs de contenu peuvent-ils collaborer avec les entreprises d’IA pour garantir une utilisation éthique de leurs œuvres ?
C'est leur droit, c'est aux entreprises d'IA de faire les efforts nécessaires.

Citation Envoyé par Stéphane le calme Voir le message

L’utilisation de matériaux protégés par le droit d’auteur sans autorisation pourrait-elle nuire à la diversité et à la qualité des contenus disponibles en ligne ?
C'est déjà le cas, il suffit d'interroger ChatGPT ou Mistral ou autre sur n'importe quel sujet que l'on connait bien pour constater le massacre qui est fait de l'information, vaguement reformulées, avec très souvent des hallucinations ubuesques. En enseignement c'est terrible aujourd'hui, on doit passer 4h sur un sujet qui en prenait 1 avant pour faire désapprendre aux étudiants des trucs faux qui les empêchent de comprendre la notion.

Citation Envoyé par Stéphane le calme Voir le message

Quelles mesures législatives pourraient être mises en place pour équilibrer les besoins des développeurs d’IA et les droits des créateurs ?
Mais pourquoi équilibrer ? les entreprises d'IA n'ont rien à imposer. Si tel était le cas ce serait la fin de tout. Les auteurs n'auraient plus de revenus donc ne produiraient plus et il ne resterait que la soupe mal interprétées par ces "IA" sur la base de l'existant, grande victoire pour les entreprises d'IA qui deviendraient riche pendant un certain temps, une catastrophe pour l'humanité qui deviendrait comme les gros bonhommes dans Wall-e.

Citation Envoyé par Stéphane le calme Voir le message

Pensez-vous que l’accès libre aux informations et aux œuvres culturelles est essentiel pour le progrès technologique, ou cela devrait-il être strictement réglementé ?
si le progrés technologique n'apporte qu'une baisse de qualité et une perte de travail dans une société où on est de plus en plus nombreux il est évident que la réglementation doit empêcher la désignation de "progrés" ce qui n'est qu'un simple moteur conversationnel qui répond coute que coute même quand il ne sait pas. La Justice doit par ailleurs vivement condamner les atteintes au droit d'auteur, sinon ça veut dire que les grosses boites sont plus fortes que l’état de droit...gros soucis.

Citation Envoyé par Stéphane le calme Voir le message

Comment les utilisateurs finaux des technologies d’IA peuvent-ils influencer les pratiques des entreprises en matière de respect des droits d’auteur ?
Quand ils se rendront compte que ça ne leur apporte rien à part le "plaisir" de participer au truc fun du moment, quand ils se lasseront des images toutes identiques, quand ils se lasseront des contenus plats au goût de réchauffé, ils se mordront les doigts et se retourneront vers les gens qui produisent du contenu qui les élève ou les fait rêver.
15  1 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 05/09/2024 à 9:55
Citation Envoyé par Stéphane le calme Voir le message
Controverse autour du droit d'auteur : OpenAI assure ne pas pouvoir gagner de l'argent sans utiliser gratuitement du matériel protégé
Que se passe-t-il quand un entreprise a un business model qui n'est pas viable?
Elle vire son CEO
Elle met la clé sous la porte
Elle est rachetée
Elle peut aussi sortir de la loi mais à ses risques et péril
etc

C'est quand même incroyable que des entreprises hégémoniques se permettent ce genre de discours et qu'en plus elles fasse du quasi-esclavage en parallèle de ça.
Vous êtes dans la une bulle financière, technique et technologique incroyable et vous ne pouvez pas respecter la loi? Il y a une chose qui cloche dans votre gestion!
11  0 
Avatar de schlebe
Membre actif https://www.developpez.com
Le 08/06/2023 à 19:26
La moindre des choses à exiger des articles publiés par ChatGPT et qu'il les signe afin de permettre aux lecteurs de connaître la véritable source des articles.

Il faudrait également sanctionner les sociétés qui publient des articles générés par ChatGPT avec du contenus inventés ou mensongers.

Une amende de 2% du chiffre d'affaire par articles mensongers publiés et une amende de 2% du chiffre d'affaire par jour et par articles mensongers constatés et toujours publiés plus d'une semaine après le constat.

Dans moins d'un mois, on ne parlera plus de ChatGPT de la même façon et il faudra engager du personnel pour vérifier tout ce qu'il aura écrit.
12  2 
Avatar de walfrat
Membre émérite https://www.developpez.com
Le 07/04/2023 à 9:55
"Hey chatGPT, voilà toutes les donneés confidentielles économiques de mon entreprises, fait moi le rapport financier stp, j'ai la flème".
8  0 
Avatar de Jon Shannow
Membre extrêmement actif https://www.developpez.com
Le 09/06/2023 à 14:59
Citation Envoyé par coolspot Voir le message
Macron si on peut dire c'est un Poutine avec 20 ans de moins. Il se prépare deja à vouloir bidouiller la constitution ou faire comme la presse commence à le dire une "Poutine/Medvedev" pour etre président à vie
Heu ! Tu as des infos la dessus ? Non seulement sur la préparation, mais aussi la faisabilité...
8  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 09/06/2023 à 15:48
Citation Envoyé par Ryu2000 Voir le message
C'est pas marrant d'être sans emploi.
C'est pas marrant d'être sans emploi dans un système capitaliste.
Que se passerait il si les gens n'avaient plus besoin de se salarier pour vivre?
La plupart travailleraient.
Par exemple que font les retraités qui ont la santé?
Il s'investissent dans les associations, ils gardent leurs petits enfants, ils investissent dans leur quartier, ils s'entreaident etc.
(Et ceux qui revaient d'être rentiers partent en voyage)

Pourquoi ceci n'est pas souhaitable?
Comment nos dirigeants s'assureraient d'avoir de la main d'oeuvre (au sens large)?
Bernard Arnault perdrait "de la valeur" (je ne dit pas qu'il n'en aurait plus) et Gérard l'éboueur, Géraldine l'aide soignante, Marcel le passionné d'astronomie en gagneraient

Oui le monde que je décrit est peut être idéaliste mais il y a des faisceau de pistes qui suggèrent que c'est viable
Et ce n'est qu'un monde à envisager parmi d'autres
Celui dans lequel on vit ne semble pas viable pour la majorité.
9  1 
Avatar de e-ric
Membre expert https://www.developpez.com
Le 16/06/2023 à 9:42
Salut à tous

Ok pour l'estimation, mais le vrai de problème est de savoir qui va capter tout cet argent. Perso, je pense que cela ne va pas ruisseler et que bien au contraire, cela va mettre beaucoup de gens (comme nous) sur la paille.

tchüss
8  0 
Avatar de petitours
Membre chevronné https://www.developpez.com
Le 31/01/2024 à 8:42
Une fois que l'on a compris que ChatGPT n'est qu'un agent conversationnel on peut le trouver super.
Dans le détail ça ne vaut pas plus qu'une discussion de lundi matin à la machine à café basée sur le fait qu'il faut absolument dire un truc et où le plus bavard, ici chatGPT, va absolument avoir un anecdote et répondre un truc quel que soit le sujet.
J'ai testé, longuement, et reçu des réponses régulièrement débiles.
Aujourd'hui je ne l'utilise que sur des sujets que je connais très bien pour voir ce qu'il me répond, notamment dans le cadre d'enseignements que je donne pour voir ce que mes étudiants vont avoir comme informations en passant par lui. Ce qu'il raconte est au mieux très vague, au pire profondément faux, souvent parce que révélant des mauvaises pratiques.
Cette médiocrité de l'information est à mon sens le plus négatif, sans doute basée sur le volume de données qu'il va chercher copieusement "enrichies" par des forums, blogs ou autres écrits par des non spécialistes.
Le fait qu'il fouine partout et utilise des données personnelles ou viole les droits des auteurs est un autre problème majeur mais personnellement je le le mettrait en 2, après celui de donner des informations fausses ou médiocres qui tirent vers le bas celui qui pose la question.
8  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 05/09/2024 à 9:15
"Mais Monsieur comment voulez que je vende des voitures si je les voles pas au préalable !"
8  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 28/03/2023 à 20:49
Citation Envoyé par Bill Fassinou Voir le message
Pensez-vous que ces nouveaux chatbots d'IA sont des outils utiles ou plutôt des gadgets inutiles, voire nuisibles ?
Si les champions des moteurs de recherche se lancent dans ce genre de bot, c'est parce qu'ils ont tout à y gagner niveau collecte des données.

On a essayé de nous pousser du metavers partout, et ça n'a pas vraiment pris. Là, ils ont trouvé comment collecter plus de données en exploitant la curiosité et/ou la paresse des gens
7  0