ChatGPT a pris le monde d'assaut depuis son lancement, avec son habileté à écrire des essais, des articles, des poèmes et du code informatique en quelques secondes seulement. Jusqu'à hier, ChatGPT était basé sur GPT-3.5, un modèle de langage d'apprentissage profond qui a été formé sur un nombre impressionnant de 175 milliards de paramètres. Désormais, il est basé sur GPT-4 (disponible pour les abonnés à ChatGPT+), capable de résoudre des problèmes encore plus complexes avec une plus grande précision (40 % de chances en plus de donner des réponses factuelles).GPT est l'abréviation de Generative Pre-training Transformer (GPT), un modèle de langage écrit par Alec Radford et publié en 2018 par OpenAI, le laboratoire de recherche en intelligence artificielle d'Elon Musk. Il s'agit d'un algorithme de langage à usage général qui utilise l'apprentissage automatique pour traduire du texte, répondre à des questions et écrire du texte de manière prédictive.
Il fonctionne en analysant une séquence de mots, de texte ou d'autres données, puis en développant ces exemples pour produire une sortie entièrement originale sous la forme d'un article ou d'une image. Il s'appuie sur un modèle génératif de langage (où deux réseaux de neurones se perfectionnent par compétition).
GPT-2 (Generative Pretrained Transformer 2) a été annoncé en février 2019 et a été formé sur 8 millions de documents pour un total de 40 Go de texte à partir d'articles partagés. Elon Musk s'est illustré lorsqu'il a affiché sa réticence à le publier, car il craignait qu'il ne soit utilisé pour spammer les réseaux sociaux avec des fake news. En effet, GPT-2 s'était déjà avéré quelque peu controversé en raison de sa capacité à créer des fake news extrêmement réalistes et cohérentes sur la base de quelque chose d'aussi simple qu'une phrase. Le risque d'utilisation abusive était tel qu'OpenAI a refusé de rendre l'algorithme accessible au public. Cependant, avec la sortie de GPT-3, l'algorithme est devenu exponentiellement plus puissant.
En mai 2020, OpenAI a annoncé GPT-3, un modèle qui contient deux ordres de grandeur de plus de paramètres que GPT-2 (175 milliards contre 1,5 milliard de paramètres) et qui offre une amélioration spectaculaire par rapport à GPT-2. Lorsque vous lui donnez du texte, le GPT-3 renverra un article complet, tentant de lui faire correspondre au modèle que vous lui avez donné. Vous pouvez le « programmer » en lui montrant seulement quelques exemples de ce que vous souhaitez qu'il fasse, et il fournira un article ou une histoire complète.
Dans l'exemple suivant, ChatGPT pose les questions de clarification pour déboguer le code.
Utilisateur : Ce code ne fonctionne pas comme prévu - comment puis-je le corriger ?
| Code : | Sélectionner tout |
1 2 3 4 5 6 7 8 9 10 11 12 13 | resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
defer cancel()
resultWorkerErr <- b.resultWorker(ctx)
}()
err := b.worker(ctx)
cancel()
if err == nil {
return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr) |
Utilisateur : Seulement une partie - l'erreur n'apparaît jamais. Je pense qu'il y a un problème avec le canal
ChatGPT : Il est difficile de se prononcer sans plus d'informations sur ce que le code est censé faire et sur ce qui se passe lorsqu'il est exécuté. Un problème potentiel avec le code que vous avez fourni est que le canal resultWorkerErr n'est jamais fermé, ce qui signifie que le code pourrait potentiellement se bloquer si le canal resultWorkerErr n'est jamais écrit. Cela peut se produire si b.resultWorker ne renvoie jamais d'erreur ou s'il est annulé avant d'avoir pu renvoyer une erreur.
Pour résoudre ce problème, vous pouvez fermer le canal resultWorkerErr après y avoir écrit. Par exemple, vous pouvez ajouter la ligne de code suivante après la ligne qui envoie l'erreur sur le canal :
close(resultworkerErr)
Cela garantirait que le canal resultWorkerErr est toujours fermé, même si b.resultWorker ne renvoie jamais d'erreur. Encore une fois, il est difficile de dire s'il s'agit du problème que vous rencontrez sans avoir plus d'informations sur le problème que vous rencontrez. Pouvez-vous fournir plus de détails sur ce qui se passe lorsque vous exécutez le code ?
ChatGPT est un grand modèle de langage général
ChatGPT est un grand modèle de langage général (LLM) développé récemment par OpenAI, une société d'intelligence artificielle basée à San Francisco, connue pour son célèbre DALL-E, un modèle d'apprentissage profond qui génère des images à partir d'instructions textuelles appelées "prompts".
Alors que la classe précédente de modèles d'intelligence artificielle était principalement constituée de modèles d'apprentissage profond (Deep Learning, DL), conçus pour apprendre et reconnaître des modèles dans les données, les LLM sont un nouveau type d'algorithme d'intelligence artificielle formé pour prédire la probabilité d'une séquence de mots donnée en fonction du contexte des mots qui la précèdent.
Ainsi, si les LLM sont formés sur des quantités suffisamment importantes de données textuelles, ils sont capables de générer de nouvelles séquences de mots jamais observées auparavant par le modèle, mais qui représentent des séquences plausibles basées sur le langage humain naturel.
Comme dit précédemment, ChatGPT était alimenté par GPT3.5, un LLM entraîné sur le modèle OpenAI 175B parameter foundation et un grand corpus de données textuelles provenant d'Internet via des méthodes d'apprentissage par renforcement et supervisé. Une utilisation anecdotique indique que ChatGPT présente des preuves de raisonnement déductif et de chaîne de pensée, ainsi que des compétences de dépendance à long terme.
Méthodes d'apprentissage
OpenAI a formé ce modèle à l'aide de l'apprentissage par renforcement à partir du feedback humain (RLHF), en utilisant les mêmes méthodes qu'InstructGPT, mais avec de légères différences dans la configuration de la collecte de données. Elle a formé un modèle initial en utilisant un réglage fin supervisé : des formateurs humains en IA ont fourni des conversations dans lesquelles ils jouaient les deux parties - l'utilisateur et un assistant en IA. OpenAI a donné aux formateurs l'accès à des suggestions écrites par le modèle pour les aider à composer leurs réponses. Elle a mélangé ce nouvel ensemble de données de dialogue avec l'ensemble de données InstructGPT, qu'elle a transformé en format de dialogue.
ChatGPT est affiné à partir d'un modèle de la série GPT-3.5, dont la formation s'est achevée début 2022
Pour créer un modèle de récompense pour l'apprentissage par renforcement, OpenAI a dû collecter des données de comparaison, c'est-à-dire au moins deux réponses du modèle classées en fonction de leur qualité. Pour collecter ces données, l'équipe de recherche d'OpenAI a repris les conversations que les formateurs en IA avaient eues avec le chatbot. Elle a sélectionné au hasard un message rédigé par le modèle, échantillonné plusieurs réponses alternatives et demandé aux formateurs en IA de les classer. En utilisant ces modèles de récompense, l'équipe peut affiner le modèle à l'aide de l'optimisation de la politique proximale. Plusieurs itérations de ce processus ont été effectuées.
GPT-3 un modèle de langage autorégressif
GPT-3 est un modèle de langage autorégressif qui utilise l'apprentissage profond pour produire des textes similaires à ceux des humains. Il s'agit du modèle de prédiction du langage de troisième génération de la série GPT-n créé par OpenAI, un laboratoire de recherche en intelligence artificielle basé à San Francisco et composé de la société à but lucratif OpenAI LP et de sa société mère, la société à but non lucratif OpenAI Inc.
Bienvenue GPT-4
La startup OpenAI a déclaré mardi qu'elle commençait à diffuser un puissant modèle d'intelligence artificielle connu sous le nom de GPT-4, ouvrant la voie à la prolifération d'une technologie de type humain et à une concurrence accrue entre son bailleur de fonds Microsoft et Google d'Alphabet. OpenAI, qui a créé le chatbot sensationnel ChatGPT, a déclaré dans un billet de blog que sa dernière technologie était « multimodale », ce qui signifie que des images ainsi que des invites textuelles peuvent l'inciter à générer du contenu.
Microsoft a publié son document de recherche, intitulé Language Is Not All You Need: Aligning Perception with Language Models. Le modèle présente un grand modèle de langage multimodal (MLLM) appelé Kosmos-1. L'article souligne l'importance d'intégrer le langage, l'action, la perception multimodale et la modélisation du monde pour progresser vers l'intelligence artificielle. La recherche explore Kosmos-1 dans différents contextes.
Les grands modèles de langage (LLM) ont servi avec succès d'interface polyvalente pour diverses tâches de langage naturel [BMR+20]. L'interface basée sur les LLM peut être adaptée à une tâche tant que nous sommes capables de transformer l'entrée et la sortie en textes. Par exemple, l'entrée du résumé est un document et la sortie est son résumé. Les chercheurs peuvent donc introduire le document d'entrée dans le modèle de langage, puis produire le résumé généré.
KOSMOS-1 est un grand modèle de langage multimodal (MLLM) qui peut percevoir des modalités générales, suivre des instructions (c.-à-d., apprentissage à zéro coup) et apprendre en contexte (c.-à-d., apprentissage à quelques coups). L'objectif est d'aligner la perception avec les MLLMs, de sorte que les modèles soient capables de voir et de parler. Pour être plus précis, nous suivons METALM [HSD+22] pour former le modèle KOSMOS-1 à partir de zéro.
Le modèle montre des capacités prometteuses sur diverses tâches de génération en percevant des modalités générales telles que le NLP sans OCR, l'AQ visuelle, et les tâches de perception et de vision. L'équipe de recherche de Microsoft a également présenté le modèle à un ensemble de données du test de QI de Raven pour analyser et diagnostiquer les possibilités de raisonnement non verbal des MLLM. « Les limites de ma langue signifient les limites de mon monde », Ludwig Wittgenstein.
AvecGPT-4, la fonction de saisie de texte sera disponible pour les abonnés de ChatGPT Plus et les développeurs de logiciels, avec une liste d'attente, tandis que la capacité de saisie d'images reste un aperçu de ses recherches. Ce lancement très attendu montre que les employés de bureau peuvent se tourner vers une IA toujours plus performante pour accomplir de nouvelles tâches, et que les entreprises technologiques sont en concurrence pour tirer parti de ces progrès.
Google, la société d'Alphabet, a annoncé mardi une « baguette magique » pour son logiciel de collaboration qui peut rédiger pratiquement n'importe quel document, quelques jours avant que Microsoft ne présente l'IA pour son traitement de texte concurrent, probablement alimenté par OpenAI. Un cadre de Microsoft a également déclaré que le GPT-4 contribuait à alimenter son moteur de recherche Bing.
La dernière technologie d'OpenAI représente dans certains cas une amélioration considérable par rapport à une version antérieure connue sous le nom de GPT-3.5. Lors d'une simulation de l'examen du barreau, auquel doivent se soumettre les diplômés des facultés de droit américaines avant d'exercer leur profession, le nouveau modèle a obtenu environ 10 % des meilleurs résultats, alors que l'ancien modèle s'est classé dans les 10 % les plus faibles, a indiqué OpenAI.Good news, we've increased our turn limits to 15/150. Also confirming that the next-gen model Bing uses in Prometheus is indeed OpenAI's GPT-4 which they just announced today. Congrats to the @OpenAI team. https://t.co/WTVlVCVOyw pic.twitter.com/VA4Z1SDiEG
— Jordi Ribas (@JordiRib1) March 14, 2023
Alors que les deux versions peuvent sembler similaires dans une conversation informelle, « la différence apparaît lorsque la complexité de la tâche atteint un seuil suffisant », a déclaré OpenAI, notant que « GPT-4 est plus fiable, plus créatif et capable de gérer des instructions beaucoup plus nuancées ». Une démonstration en ligne de la technologie par Greg Brockman, président d'OpenAI, a montré qu'elle pouvait prendre une photo d'une maquette dessinée à la main pour un site web simple et créer un vrai site web à partir de celle-ci. La démonstration a également montré que GPT-4 pouvait aider les particuliers à calculer leurs impôts.
Sur Twitter, Sam Altman, directeur général d'OpenAI, a qualifié GPT-4 de modèle « le plus capable et le plus en phase » avec les valeurs et les intentions humaines, bien qu'il soit « encore imparfait ». GPT-4 est 82 % moins susceptible de répondre à des demandes de contenu interdit que son prédécesseur et obtient un score 40 % plus élevé sur certains tests de factualité, a déclaré l'entreprise. Les réponses inexactes, connues sous le nom d' « hallucinations », ont constitué un défi pour de nombreux programmes d'intelligence artificielle.
Selon Rishi Jaluria, analyste chez RBC Capital Markets, Microsoft devrait bénéficier de l'adoption de GPT-4. Le fabricant de logiciels ne se contente pas d'intégrer la dernière technologie d'OpenAI dans ses produits : son cloud Azure alimente l'utilisation d'OpenAI au moment même où les entreprises soucieuses de leur budget examinent de près les dépenses informatiques dans une économie incertaine, a-t-il déclaré. « Chaque fois qu'une entreprise utilise ce type de technologie, ces charges de travail passent par Microsoft Azure, et je pense que cela arrive à un moment très critique », a ajouté Jaluria.
ChatGPT est extrêmement performant, mais ses réponses dépendent en grande partie des questions ou des invites que vous saisissez. En d'autres termes, mieux, vous décrivez et formulez le problème ou la question, meilleurs seront les résultats. Les entreprises commencent déjà à exiger de leurs nouveaux employés qu'ils sachent non seulement comment utiliser ChatGPT, mais aussi comment en tirer le meilleur parti.
Un groupe de chercheurs en intelligence artificielle d'AnsibleHealth a récemment mis le ChatGPT d'OpenAI à l'épreuve d'un important examen de licence médicale et les résultats sont là. Le chatbot IA a techniquement réussi, mais de justesse. Lorsqu'il s'agit d'examens médicaux, même la nouvelle IA la plus impressionnante n'obtient que des résultats de niveau D. Selon les chercheurs, ce résultat médiocre n'en est pas moins un exploit historique pour l'IA.
Schéma du flux de travail pour la recherche, la codification et l'évaluation des résultats
Abréviations : QC = contrôle de qualité ; MCSA-NJ = réponse unique à choix multiple sans justification forcée ; MCSA-J = réponse unique à choix multiple avec justification forcée ; OE = format de question ouverte.
Les chercheurs ont testé ChatGPT à l'examen USMLE (United States Medical Licensing Exam), une série standardisée de trois examens que doivent passer les médecins américains en vue d'obtenir une licence médicale. ChatGPT a réussi à obtenir des scores compris entre 52,4 % et 75 % pour les trois niveaux de l'examen. Ce n'est peut-être pas un résultat extraordinaire pour tous les surdoués, mais c'est à peu près équivalent au seuil de réussite de 60 % pour l'examen.
Les chercheurs impliqués dans l'étude affirment que c'est la première fois que l'IA est capable d'atteindre ou d'approcher le seuil de réussite de cet examen notoirement difficile. Notamment, ChatGPT a dépassé les performances de PubMedGPT, un modèle équivalent formé exclusivement à la littérature du domaine biomédical, qui a obtenu un score de 50,8 % sur un ensemble de données plus anciennes de questions de type USMLE.
À Lyon, un professeur a remarqué de curieuses similitudes dans les copies rendues par la moitié de ses étudiants ; il leur avait donné une semaine pour rédiger leurs devoirs. Si les mots différaient, leurs structures démonstratives et leurs exemples sont restés constamment les mêmes. C’est en se renseignant auprès de ses élèves que l’un d’eux a fini par avouer l’utilisation de ChatGPT dans la rédaction.
À en croire des témoignages de professeurs d'université, les étudiants confient à ChatGPT la résolution de leurs devoirs de maison, particulièrement en dissertation. « Le monde universitaire n'a rien vu venir. Nous sommes donc pris au dépourvu », explique Darren Hudson Hick, professeur adjoint de philosophie à l'université Furman.
« Je l'ai signalé sur Facebook, et mes amis [professeurs] ont dit : "ouais ! J'en ai attrapé un aussi" », a-t-il ajouté. Au début du mois, Hick aurait demandé à sa classe d'écrire un essai de 500 mots sur le philosophe écossais du 18e siècle David Hume et le paradoxe de l'horreur, qui examine comment les gens peuvent tirer du plaisir de quelque chose qu'ils craignent, pour un test à la maison. Mais selon le professeur de philosophie, l'une des dissertations qui lui sont parvenues présentait quelques caractéristiques qui ont "signalé" l'utilisation de l'IA dans la réponse "rudimentaire" de l'étudiant. Hick explique que cela peut être détecté par un œil avisé.
ChatGPT utilisée pour prendre une décision de justice
Dans une affaire opposant une compagnie d’assurance maladie et l’un de ses clients, un juge, Juan Manuel Padilla Garcia, déclare s’être fait aider par le célèbre outil d’OpenAI, ChatGPT, pour prendre sa décision de justice. Padilla, qui a statué contre la compagnie d’assurance, a déclaré avoir posé à ChatGPT, entre autres, la question suivante : « Un mineur autiste est-il exonéré du paiement des frais de ses thérapies ? » La réponse de ChatGPT correspondait à la décision préalable du juge : « Oui, c'est exact. Selon la réglementation en vigueur en Colombie, les mineurs diagnostiqués autistes sont exonérés de frais pour leurs thérapies. »
L'affaire concernait un différend avec une compagnie d'assurance maladie sur la question de savoir si un enfant autiste devait bénéficier d'une couverture pour un traitement médical. Selon le document du tribunal, les questions juridiques entrées dans l'outil d'IA comprenaient « Un mineur autiste est-il exonéré du paiement des frais pour ses thérapies ? » et « La jurisprudence de la cour constitutionnelle a-t-elle rendu des décisions favorables dans des cas similaires ? »
ChatGPT n'a « pas pour but de remplacer » les juges, a précisé le juge. Padilla a insisté sur le fait qu' « en posant des questions à l'application, nous ne cessons pas d'être des juges, des êtres pensants. » « Je soupçonne que beaucoup de mes collègues vont se joindre à cela et commencer à construire leurs décisions de manière éthique avec l'aide de l'intelligence artificielle », a déclaré Padilla.
L’application de l’IA dans le domaine des soins cliniques reste limitée
Si ces technologies ont eu un impact important dans de nombreux secteurs, leurs applications dans le domaine des soins cliniques restent limitées. La prolifération des champs cliniques en texte libre, combinée à un manque d'interopérabilité générale entre les systèmes informatiques de santé, contribue à la rareté des données structurées et lisibles par machine nécessaires au développement d'algorithmes d'apprentissage profond.
Même lorsque des algorithmes applicables aux soins cliniques sont développés, leur qualité tend à être très variable, et beaucoup d'entre eux ne parviennent pas à être généralisés à d'autres contextes en raison d'une reproductibilité technique, statistique et conceptuelle limitée. Par conséquent, l'écrasante majorité des applications de soins de santé réussies prennent actuellement en charge des fonctions d'arrière-guichet allant des opérations des payeurs au traitement automatisé des autorisations préalables, en passant par la gestion des chaînes d'approvisionnement et des menaces de cybersécurité.
À de rares exceptions près - même dans le domaine de l'imagerie médicale - il existe relativement peu d'applications de l'IA directement utilisées dans les soins cliniques à grande échelle aujourd'hui.
Le développement adéquat de modèles d'IA clinique exige beaucoup de temps, de ressources et, surtout, des données d'entraînement très spécifiques à un domaine ou à un problème, ce qui est rare dans le monde des soins de santé. L'une des principales évolutions qui a permis à l'IA basée sur l'image dans le domaine de l'imagerie clinique a été la capacité des grands modèles de domaine général à être aussi performants, voire plus performants, que les modèles spécifiques à un domaine.
Et vous ?
Comment utilisez-vous ChatGPT ? Avez vous des exemples de discutions avec ChatGPT ? Avez-vous des expériences ou ChatGPT déconne dans ses réponses ? Dans votre cas, avez-vous trouvé l'outil ChatGPT utile et intéressant ?Voir aussi :
Open AI propose en bêta privée son modèle de traitement du langage naturel GPT-3, ses applications vont de la génération de texte cohérent à la génération de code en passant par la création d'apps GPT-4 : la nouvelle version de l'IA de traitement du langage naturel d'OpenAI pourrait arriver cet été, il devrait être moins volumineux que GPT-3, mais beaucoup plus performant Un professeur de l'Université de Pennsylvanie demande à ses étudiants d'utiliser ChatGPT, alors que certaines revues et universités interdisent l'utilisation de l'outil d'IA Les pasteurs utiliseraient ChatGPT pour écrire des sermons, alors que certains affirment que l'outil d'IA ne reproduit pas la passion d'une véritable prédication Microsoft annonce GPT-4, le modèle de langage, de type transformeur génératif pré-entraîné et assure qu'elle n'utilise pas les données de ses clients pour former ses modèles, il sera multimodal Le chatbot ChatGPT provoque un boom des livres électroniques écrits par l'IA sur Amazon, ces livres pourraient inonder le marché et envoyer beaucoup d'auteurs au chômage, s'inquiètent des analystes Une solution open source reproduirait le processus de formation de ChatGPT, avec seulement 1,6 Go de mémoire GPU, selon Colossal-AI ChatGPT produirait de faux documents universitaires, alors que des professions se sentent menacées par le célèbre outil d'OpenAI Google investit 300 M$ dans la start-up d'IA Anthropic, fondée par d'anciens chercheurs d'OpenAI, la société a construit son propre chatbot généraliste, un rival de ChatGPT nommé Claude 
Envoyé par Bruno
