ChatGPT a pris le monde d'assaut depuis son lancement, avec son habileté à écrire des essais, des articles, des poèmes et du code informatique en quelques secondes seulement. Jusqu'à hier, ChatGPT était basé sur GPT-3.5, un modèle de langage d'apprentissage profond qui a été formé sur un nombre impressionnant de 175 milliards de paramètres. Désormais, il est basé sur GPT-4 (disponible pour les abonnés à ChatGPT+), capable de résoudre des problèmes encore plus complexes avec une plus grande précision (40 % de chances en plus de donner des réponses factuelles).GPT est l'abréviation de Generative Pre-training Transformer (GPT), un modèle de langage écrit par Alec Radford et publié en 2018 par OpenAI, le laboratoire de recherche en intelligence artificielle d'Elon Musk. Il s'agit d'un algorithme de langage à usage général qui utilise l'apprentissage automatique pour traduire du texte, répondre à des questions et écrire du texte de manière prédictive.
Il fonctionne en analysant une séquence de mots, de texte ou d'autres données, puis en développant ces exemples pour produire une sortie entièrement originale sous la forme d'un article ou d'une image. Il s'appuie sur un modèle génératif de langage (où deux réseaux de neurones se perfectionnent par compétition).
GPT-2 (Generative Pretrained Transformer 2) a été annoncé en février 2019 et a été formé sur 8 millions de documents pour un total de 40 Go de texte à partir d'articles partagés. Elon Musk s'est illustré lorsqu'il a affiché sa réticence à le publier, car il craignait qu'il ne soit utilisé pour spammer les réseaux sociaux avec des fake news. En effet, GPT-2 s'était déjà avéré quelque peu controversé en raison de sa capacité à créer des fake news extrêmement réalistes et cohérentes sur la base de quelque chose d'aussi simple qu'une phrase. Le risque d'utilisation abusive était tel qu'OpenAI a refusé de rendre l'algorithme accessible au public. Cependant, avec la sortie de GPT-3, l'algorithme est devenu exponentiellement plus puissant.
En mai 2020, OpenAI a annoncé GPT-3, un modèle qui contient deux ordres de grandeur de plus de paramètres que GPT-2 (175 milliards contre 1,5 milliard de paramètres) et qui offre une amélioration spectaculaire par rapport à GPT-2. Lorsque vous lui donnez du texte, le GPT-3 renverra un article complet, tentant de lui faire correspondre au modèle que vous lui avez donné. Vous pouvez le « programmer » en lui montrant seulement quelques exemples de ce que vous souhaitez qu'il fasse, et il fournira un article ou une histoire complète.
Dans l'exemple suivant, ChatGPT pose les questions de clarification pour déboguer le code.
Utilisateur : Ce code ne fonctionne pas comme prévu - comment puis-je le corriger ?
| Code : | Sélectionner tout |
1 2 3 4 5 6 7 8 9 10 11 12 13 | resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr) |
Utilisateur : Seulement une partie - l'erreur n'apparaît jamais. Je pense qu'il y a un problème avec le canal
ChatGPT : Il est difficile de se prononcer sans plus d'informations sur ce que le code est censé faire et sur ce qui se passe lorsqu'il est exécuté. Un problème potentiel avec le code que vous avez fourni est que le canal resultWorkerErr n'est jamais fermé, ce qui signifie que le code pourrait potentiellement se bloquer si le canal resultWorkerErr n'est jamais écrit. Cela peut se produire si b.resultWorker ne renvoie jamais d'erreur ou s'il est annulé avant d'avoir pu renvoyer une erreur.
Pour résoudre ce problème, vous pouvez fermer le canal resultWorkerErr après y avoir écrit. Par exemple, vous pouvez ajouter la ligne de code suivante après la ligne qui envoie l'erreur sur le canal :
close(resultworkerErr)
Cela garantirait que le canal resultWorkerErr est toujours fermé, même si b.resultWorker ne renvoie jamais d'erreur. Encore une fois, il est difficile de dire s'il s'agit du problème que vous rencontrez sans avoir plus d'informations sur le problème que vous rencontrez. Pouvez-vous fournir plus de détails sur ce qui se passe lorsque vous exécutez le code ?
ChatGPT est un grand modèle de langage général
ChatGPT est un grand modèle de langage général (LLM) développé récemment par OpenAI, une société d'intelligence artificielle basée à San Francisco, connue pour son célèbre DALL-E, un modèle d'apprentissage profond qui génère des images à partir d'instructions textuelles appelées "prompts".
Alors que la classe précédente de modèles d'intelligence artificielle était principalement constituée de modèles d'apprentissage profond (Deep Learning, DL), conçus pour apprendre et reconnaître des modèles dans les données, les LLM sont un nouveau type d'algorithme d'intelligence artificielle formé pour prédire la probabilité d'une séquence de mots donnée en fonction du contexte des mots qui la précèdent.
Ainsi, si les LLM sont formés sur des quantités suffisamment importantes de données textuelles, ils sont capables de générer de nouvelles séquences de mots jamais observées auparavant par le modèle, mais qui représentent des séquences plausibles basées sur le langage humain naturel.
Comme dit précédemment, ChatGPT était alimenté par GPT3.5, un LLM entraîné sur le modèle OpenAI 175B parameter foundation et un grand corpus de données textuelles provenant d'Internet via des méthodes d'apprentissage par renforcement et supervisé. Une utilisation anecdotique indique que ChatGPT présente des preuves de raisonnement déductif et de chaîne de pensée, ainsi que des compétences de dépendance à long terme.
Méthodes d'apprentissage
OpenAI a formé ce modèle à l'aide de l'apprentissage par renforcement à partir du feedback humain (RLHF), en utilisant les mêmes méthodes qu'InstructGPT, mais avec de légères différences dans la configuration de la collecte de données. Elle a formé un modèle initial en utilisant un réglage fin supervisé : des formateurs humains en IA ont fourni des conversations dans lesquelles ils jouaient les deux parties - l'utilisateur et un assistant en IA. OpenAI a donné aux formateurs l'accès à des suggestions écrites par le modèle pour les aider à composer leurs réponses. Elle a mélangé ce nouvel ensemble de données de dialogue avec l'ensemble de données InstructGPT, qu'elle a transformé en format de dialogue.
ChatGPT est affiné à partir d'un modèle de la série GPT-3.5, dont la formation s'est achevée début 2022
Pour créer un modèle de récompense pour l'apprentissage par renforcement, OpenAI a dû collecter des données de comparaison, c'est-à-dire au moins deux réponses du modèle classées en fonction de leur qualité. Pour collecter ces données, l'équipe de recherche d'OpenAI a repris les conversations que les formateurs en IA avaient eues avec le chatbot. Elle a sélectionné au hasard un message rédigé par le modèle, échantillonné plusieurs réponses alternatives et demandé aux formateurs en IA de les classer. En utilisant ces modèles de récompense, l'équipe peut affiner le modèle à l'aide de l'optimisation de la politique proximale. Plusieurs itérations de ce processus ont été effectuées.
GPT-3 un modèle de langage autorégressif
GPT-3 est un modèle de langage autorégressif qui utilise l'apprentissage profond pour produire des textes similaires à ceux des humains. Il s'agit du modèle de prédiction du langage de troisième génération de la série GPT-n créé par OpenAI, un laboratoire de recherche en intelligence artificielle basé à San Francisco et composé de la société à but lucratif OpenAI LP et de sa société mère, la société à but non lucratif OpenAI Inc.
Bienvenue GPT-4
La startup OpenAI a déclaré mardi qu'elle commençait à diffuser un puissant modèle d'intelligence artificielle connu sous le nom de GPT-4, ouvrant la voie à la prolifération d'une technologie de type humain et à une concurrence accrue entre son bailleur de fonds Microsoft et Google d'Alphabet. OpenAI, qui a créé le chatbot sensationnel ChatGPT, a déclaré dans un billet de blog que sa dernière technologie était « multimodale », ce qui signifie que des images ainsi que des invites textuelles peuvent l'inciter à générer du contenu.
Microsoft a publié son document de recherche, intitulé Language Is Not All You Need: Aligning Perception with Language Models. Le modèle présente un grand modèle de langage multimodal (MLLM) appelé Kosmos-1. L'article souligne l'importance d'intégrer le langage, l'action, la perception multimodale et la modélisation du monde pour progresser vers l'intelligence artificielle. La recherche explore Kosmos-1 dans différents contextes.
Les grands modèles de langage (LLM) ont servi avec succès d'interface polyvalente pour diverses tâches de langage naturel [BMR+20]. L'interface basée sur les LLM peut être adaptée à une tâche tant que nous sommes capables de transformer l'entrée et la sortie en textes. Par exemple, l'entrée du résumé est un document et la sortie est son résumé. Les chercheurs peuvent donc introduire le document d'entrée dans le modèle de langage, puis produire le résumé généré.
KOSMOS-1 est un grand modèle de langage multimodal (MLLM) qui peut percevoir des modalités générales, suivre des instructions (c.-à-d., apprentissage à zéro coup) et apprendre en contexte (c.-à-d., apprentissage à quelques coups). L'objectif est d'aligner la perception avec les MLLMs, de sorte que les modèles soient...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Bruno
Comment utilisez-vous ChatGPT ?