Les chercheurs de l’Université de Californie à San Francisco ont utilisé un modèle d’intelligence artificielle basé sur le langage naturel, appelé ChatGPT, pour simuler des dialogues entre des médecins et des patients qui reçoivent de mauvaises nouvelles, comme un diagnostic de cancer ou une fin de vie imminente. L’objectif de l’étude était d’explorer le potentiel et les limites de l’IA pour aider les médecins à améliorer leurs compétences en communication.L’étude a utilisé des données réelles de conversations entre des médecins et des patients, ainsi que des scénarios fictifs, pour générer des réponses de ChatGPT à partir de différentes entrées. Les réponses ont été évaluées par des experts médicaux et des patients, selon des critères comme l’empathie, l’information, la clarté, la pertinence et la véracité.
Les résultats ont montré que ChatGPT était capable de produire des réponses qui respectaient les principes de base de la communication empathique, comme exprimer de la compassion, reconnaître les émotions, fournir de l’information adaptée au niveau de compréhension du patient, et proposer des options ou des ressources. Cependant, ChatGPT a aussi produit des réponses qui étaient inappropriées, confuses ou fausses, comme minimiser la gravité de la situation, donner des conseils non sollicités, utiliser un jargon médical incompréhensible, ou inventer des faits ou des statistiques.
ChatGPT utilise le retour d’information humain et GPT-3.5 pour apprendre à converser avec les humains
ChatGPT est un robot à grand modèle de langage (ils permettent de prédire le mot suivant dans une série de mots) développé par OpenAI et basé sur GPT-3.5. Il a une capacité remarquable à interagir sous forme de dialogue conversationnel et à fournir des réponses qui peuvent sembler étonnamment humaines.
L'apprentissage par renforcement avec retour d'information humain (RLHF) est une couche supplémentaire de formation qui utilise le retour d'information humain pour aider ChatGPT à apprendre à suivre des instructions et à générer des réponses satisfaisantes pour les humains. ChatGPT a été créé par OpenAI, une société d'intelligence artificielle basée à San Francisco, connue pour son célèbre DALL-E, un modèle d'apprentissage profond qui génère des images à partir d'instructions textuelles appelées prompts.
Il est alimenté par GPT3.5, un LLM entraîné sur le modèle OpenAI 175B parameter foundation et un grand corpus de données textuelles provenant d'Internet via des méthodes d'apprentissage par renforcement et supervisé. Une utilisation anecdotique indique que ChatGPT présente des preuves de raisonnement déductif et de chaîne de pensée, ainsi que des compétences de dépendance à long terme.
Alors que la classe précédente de modèles d'intelligence artificielle était principalement constituée de modèles d'apprentissage profond (Deep Learning, DL), conçus pour apprendre et reconnaître des modèles dans les données, les LLM sont un nouveau type d'algorithme d'intelligence artificielle formé pour prédire la probabilité d'une séquence de mots donnée en fonction du contexte des mots qui la précèdent.
Ainsi, si les LLM sont formés sur des quantités suffisamment importantes de données textuelles, ils sont capables de générer de nouvelles séquences de mots jamais observées auparavant par le modèle, mais qui représentent des séquences plausibles basées sur le langage humain naturel.
ChatGPT a pris le monde d'assaut depuis son lancement en novembre, avec son habileté à écrire des essais, des articles, des poèmes et du code informatique en quelques secondes seulement. Il a par exemple réussi l’édition 2022 de l’examen d’informatique pour élèves du secondaire désireux d’obtenir des crédits universitaires US.
Les exploits de ChatGPT dans les domaines juridique et médical
En début d’année, ChatGPT a réussi des examens dans une faculté de droit américaine après avoir rédigé des essais sur des sujets allant du droit constitutionnel à la fiscalité et aux délits. Sur plus de 95 questions à choix multiples et 12 questions à développement, ChatGPT a obtenu une note de C+, faible mais suffisante pour réussir l'examen. Après avoir donné des détails sur ces résultats, les professeurs ont discuté de leurs implications pour la formation juridique et la profession d'avocat.
Ils ont entre autres prévenu que cela pourrait conduire à une fraude généralisée et même signaler la fin des méthodes d'enseignement traditionnelles en classe. Ils ont aussi fourni des exemples d'invites et des conseils sur la façon dont ChatGPT peut aider à la rédaction juridique.
Jonathan Choi, professeur à la faculté de droit de l'Université du Minnesota, a soumis à ChatGPT au même test auquel les étudiants étaient confrontés, composé de 95 questions à choix multiples et de 12 questions à développement. Dans un livre blanc intitulé « ChatGPT va à la faculté de droit » publié lundi, lui et ses coauteurs ont rapporté que le bot avait obtenu un C+ dans l'ensemble, en dessous de la moyenne B+ des humains.
« Seul, ChatGPT serait un étudiant en droit plutôt médiocre », a déclaré l'auteur principal de l'étude, Jonathan Choi, qui a collaboré avec les professeurs Kristin Hickman, Amy Monahan et Daniel Schwarcz. « Le plus grand potentiel pour la profession ici est qu'un avocat puisse utiliser ChatGPT pour produire une première ébauche et simplement rendre sa pratique beaucoup plus efficace », a-t-il déclaré.
L’outil d’IA developpé par OpenAI s'est avéré avoir des connaissances médicales impressionnantes et il est prouvé que les bots peuvent même contribuer à améliorer le comportement des médecins au chevet des patients.
Selon l’étude, les experts médicaux ont déclaré que les réponses du ChatGPT aux questions des patients étaient de meilleure qualité et plus empathiques que celles des médecins humains. En moyenne, les réponses du chatbot ont été jugées sept fois plus empathiques que celles des médecins", ont constaté des chercheurs de l'université de Californie à San Diego. Ces experts médicaux ont préféré la réponse du chatbot à celle du médecin dans 78,6 % des 585 scénarios.
Selon une étude publiée le 9 février 2023 dans la revue PLOS Digital Health par Tiffany Kung, Victor Tseng et leurs collègues d'AnsibleHealth, ChatGPT peut obtenir un score égal ou proche du seuil de réussite d'environ 60 % pour l'examen de licence médicale des États-Unis (USMLE), avec des réponses qui ont un sens cohérent et interne et qui contiennent des idées fréquentes.
« Nous avons évalué la performance d'un grand modèle de langage appelé ChatGPT sur l'examen de licence médicale des États-Unis (USMLE), qui se compose de trois examens : Étape 1, Étape 2CK, et Étape 3. ChatGPT a obtenu des performances égales ou proches du seuil de réussite pour les trois examens sans formation ni renforcement spécialisés. De plus, ChatGPT a démontré un haut niveau de concordance et de perspicacité dans ses explications. Ces résultats suggèrent que les modèles linguistiques de grande taille pourraient avoir le potentiel d'aider à la formation médicale et, potentiellement, à la prise de décision clinique », déclarent les chercheurs.
Les chercheurs de l’Université de Californie à San Francisco concluent que ChatGPT pourrait être un outil utile pour former les médecins à communiquer avec les patients dans des situations difficiles, en leur permettant de pratiquer et de recevoir un feedback immédiat. Ils soulignent toutefois que ChatGPT n’est pas destiné à remplacer les médecins, mais à les assister, et qu’il faut être prudent et vigilant face aux limites et aux risques de l’IA, comme la perte de confiance, la désinformation ou la manipulation.
Source : New York Times
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
ChatGPT a réussi de justesse à un examen médical important, un exploit historique pour l'IA, mais elle serait encore mauvaise en mathématiques Un juge utilise ChatGPT pour prendre une décision de justice, alors que l'outil d'IA n'aurait pas encore la maturité suffisante, pour être utilisé dans la prise des décisions conséquentes ChatGPT réussit l'édition 2022 de l'examen d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US : que sait-on de cette IA qui secoue Internet comme une tempête ?