Une étude récente publiée dans JAMA Internal Medicine indique que la plupart des réponses de ChatGPT à des questions relatives à la santé sont 79 % plus précises et de meilleure qualité que celles des médecins généralistes, montrant à quel point l'intelligence artificielle (IA) s'améliore au fil du temps.Depuis l'année dernière, l'IA s'est révélée utile dans un certain nombre de tâches et est capable de comprendre et de communiquer dans un langage humain normal. ChatGPT est l'un des modèles d'IA les plus importants et les plus avancés, qui a été lancé en 2022.
L'auteur de l'étude, John W. Ayers, a constaté que l'utilisation de l'IA, en particulier de ChatGPT, peut être très utile dans le domaine des soins de santé. Les médecins et le personnel soignant étant actuellement confrontés à une situation d'épuisement professionnel, l'IA, en contribuant à ce secteur, peut être en mesure de répondre aux questions des patients.
Afin de prouver que ChatGPT est réellement capable de répondre à cette demande, les chercheurs ont mené une étude et ont posé au chatbot les questions qu'un patient pourrait éventuellement poser à un médecin. Le site web communautaire Reddit a été utilisé lors de cette recherche et les questions ont été posées dans un subreddit r/AskDocs qui comptait 474 000 membres. L'étude visait ainsi à obtenir des réponses de la part de médecins, car ces derniers étaient en mesure de donner des réponses de meilleure qualité que celles fournies par d'autres professionnels de la santé.
Les mêmes questions que celles posées sur Reddit ont également été soumises à ChatGPT et les réponses du chatbot ont été évaluées par des professionnels de la santé agréés. Une fois que les réponses ont été recueillies auprès des deux sources, elles ont été présentées à des experts sans leur dire quelle réponse avait été générée par l'IA et quelle réponse avait été donnée par un humain. 79 % des réponses fournies par ChatGPT ont été jugées meilleures. Celles données par les médecins ont quant à elles été jugées comme "acceptables" alors que 27 % de leurs réponses étaient en dessous du niveau de qualité "acceptable". À l'inverse, seules 3 % des réponses de ChatGPT étaient inférieures au niveau "acceptable". Par ailleurs, les réponses de ChatGPT ont été jugées plus empathiques que celles des médecins.
Les principales conclusions de l'étude publiée dans JAMA Internal Medicine sont présentées ci-dessous :
Points clés
Résumé
Importance : L'expansion rapide des soins de santé virtuels a entraîné une augmentation du nombre de messages envoyés par les patients, ainsi qu'un surcroît de travail et un épuisement professionnel chez les professionnels de la santé. Les assistants d'intelligence artificielle (IA) pourraient potentiellement aider à répondre aux questions des patients en rédigeant des réponses qui pourraient être examinées par les cliniciens.
Objectif : Évaluer la capacité d'un chatbot assistant IA (ChatGPT), sorti en novembre 2022, à fournir des réponses de qualité et empathiques aux questions des patients.
Conception, contexte et participants : Dans cette étude transversale, une base de données publique et non identifiable de questions provenant d'un forum public de médias sociaux (r/AskDocs de Reddit) a été utilisée pour tirer au sort 195 échanges d'octobre 2022 où un médecin vérifié a répondu à une question publique. Les réponses du chatbot ont été générées en entrant la question originale dans une nouvelle session (sans que des questions antérieures aient été posées dans la session) les 22 et 23 décembre 2022. La question originale ainsi que les réponses anonymes et aléatoires des médecins et du chatbot ont été évaluées en trois exemplaires par une équipe de professionnels de la santé agréés. Les évaluateurs ont choisi "quelle réponse était la meilleure" et ont jugé à la fois "la qualité des informations fournies" (très mauvaise, mauvaise, acceptable, bonne ou très bonne) et "l'empathie ou le comportement au chevet du patient" (pas empathique, légèrement empathique, modérément empathique, empathique et très empathique). Les résultats moyens ont été classés sur une échelle de 1 à 5 et comparés entre le chatbot et les médecins.
Résultats : Sur les 195 questions et réponses, les évaluateurs ont préféré les réponses du chatbot à celles du médecin dans 78,6 % (IC 95 %, 75,0 %-81,8 %) des 585 évaluations. Les réponses moyennes (IQR) des médecins étaient significativement plus courtes que celles des chatbots (52 [17-62] mots vs 211 [168-245] mots ; t = 25.4 ; P < .001). Les réponses du chatbot ont été jugées d'une qualité significativement supérieure à celle des réponses des médecins (t = 13,3 ; P < 0,001). La proportion de réponses jugées de bonne ou de très bonne qualité (≥ 4), par exemple, était plus élevée pour les chatbots que pour les médecins (chatbot : 78,5 %, IC à 95 %, 72,3 %-84,1 % ; médecins : 22,1 %, IC à 95 %, 16,4 %-28,2 %). La prévalence des réponses de bonne ou de très bonne qualité était donc 3,6 fois plus élevée pour le chatbot. Les réponses du chatbot ont également été jugées significativement plus empathiques que celles des médecins (t = 18,9 ; P < 0,001). La proportion de réponses jugées empathiques ou très empathiques (≥4) était plus élevée pour le chatbot que pour les médecins (médecins : 4,6 %, IC à 95 %, 2,1 %-7,7 % ; chatbot : 45,1 %, IC à 95 %, 38,5 %-51,8 % ; médecins : 4,6 %, IC À 95 %, 2,1 %-7,7 %). La prévalence des réponses empathiques ou très empathiques était donc 9,8 fois plus élevée pour le chatbot.
Conclusions : Dans cette étude transversale, un chatbot a généré des réponses de qualité et empathiques aux questions des patients posées dans un forum en ligne. Une exploration plus poussée de cette technologie est justifiée dans un contexte clinique, par exemple en utilisant un chatbot pour rédiger des réponses que les médecins pourraient ensuite modifier. Des essais randomisés permettraient d'évaluer plus avant si l'utilisation d'assistants d'IA peut améliorer les réponses, réduire l'épuisement des cliniciens et améliorer les résultats pour les patients.
- Question : Un chatbot, assistant d'intelligence artificielle, peut-il fournir des réponses aux questions des patients qui soient d'une qualité et d'une empathie comparables à celles rédigées par les médecins ?
- Résultats : Dans cette étude transversale portant sur 195 questions de patients tirées au hasard d'un forum de médias sociaux, une équipe de professionnels de la santé agréés a comparé les réponses des médecins et du chatbot aux questions des patients posées publiquement sur un forum de médias sociaux. Les réponses du chatbot ont été préférées à celles du médecin et ont été notées significativement plus élevées en termes de qualité et d'empathie.
- Signification : Ces résultats suggèrent que les assistants d'intelligence artificielle pourraient aider à rédiger les réponses aux questions des patients.
Résumé
Importance : L'expansion rapide des soins de santé virtuels a entraîné une augmentation du nombre de messages envoyés par les patients, ainsi qu'un surcroît de travail et un épuisement professionnel chez les professionnels de la santé. Les assistants d'intelligence artificielle (IA) pourraient potentiellement aider à répondre aux questions des patients en rédigeant des réponses qui pourraient être examinées par les cliniciens.
Objectif : Évaluer la capacité d'un chatbot assistant IA (ChatGPT), sorti en novembre 2022, à fournir des réponses de qualité et empathiques aux questions des patients.
Conception, contexte et participants : Dans cette étude transversale, une base de données publique et non identifiable de questions provenant d'un forum public de médias sociaux (r/AskDocs de Reddit) a été utilisée pour tirer au sort 195 échanges d'octobre 2022 où un médecin vérifié a répondu à une question publique. Les réponses du chatbot ont été générées en entrant la question originale dans une nouvelle session (sans que des questions antérieures aient été posées dans la session) les 22 et 23 décembre 2022. La question originale ainsi que les réponses anonymes et aléatoires des médecins et du chatbot ont été évaluées en trois exemplaires par une équipe de professionnels de la santé agréés. Les évaluateurs ont choisi "quelle réponse était la meilleure" et ont jugé à la fois "la qualité des informations fournies" (très mauvaise, mauvaise, acceptable, bonne ou très bonne) et "l'empathie ou le comportement au chevet du patient" (pas empathique, légèrement empathique, modérément empathique, empathique et très empathique). Les résultats moyens ont été classés sur une échelle de 1 à 5 et comparés entre le chatbot et les médecins.
Résultats : Sur les 195 questions et réponses, les évaluateurs ont préféré les réponses du chatbot à celles du médecin dans 78,6 % (IC 95 %, 75,0 %-81,8 %) des 585 évaluations. Les réponses moyennes (IQR) des médecins étaient significativement plus courtes que celles des chatbots (52 [17-62] mots vs 211 [168-245] mots ; t = 25.4 ; P < .001). Les réponses du chatbot ont été jugées d'une qualité significativement supérieure à celle des réponses des médecins (t = 13,3 ; P < 0,001). La proportion de réponses jugées de bonne ou de très bonne qualité (≥ 4), par exemple, était plus élevée pour les chatbots que pour les médecins (chatbot : 78,5 %, IC à 95 %, 72,3 %-84,1 % ; médecins : 22,1 %, IC à 95 %, 16,4 %-28,2 %). La prévalence des réponses de bonne ou de très bonne qualité était donc 3,6 fois plus élevée pour le chatbot. Les réponses du chatbot ont également été jugées significativement plus empathiques que celles des médecins (t = 18,9 ; P < 0,001). La proportion de réponses jugées empathiques ou très empathiques (≥4) était plus élevée pour le chatbot que pour les médecins (médecins : 4,6 %, IC à 95 %, 2,1 %-7,7 % ; chatbot : 45,1 %, IC à 95 %, 38,5 %-51,8 % ; médecins : 4,6 %, IC À 95 %, 2,1 %-7,7 %). La prévalence des réponses empathiques ou très empathiques était donc 9,8 fois plus élevée pour le chatbot.
Conclusions : Dans cette étude transversale, un chatbot a généré des réponses de qualité et empathiques aux questions des patients posées dans un forum en ligne. Une exploration plus poussée de cette technologie est justifiée dans un contexte clinique, par exemple en utilisant un chatbot pour rédiger des réponses que les médecins pourraient ensuite modifier. Des essais randomisés permettraient d'évaluer plus avant si l'utilisation d'assistants d'IA peut améliorer les réponses, réduire l'épuisement des cliniciens et améliorer les résultats pour les patients.
Et vous ?
Quel est votre avis sur le sujet ? Trouvez-vous les conclusions de cette étude crédibles ou pertinentes ?Voir aussi :
Vinod Khosla, investisseur d'OpenAI, affirme que l'IA pourrait permettre à tout le monde d'avoir des médecins et des avocats gratuits dans 10 ans, une déclaration qui lui vaut des critiques Geoffrey Hinton affirme que les médecins IA qui ont examiné 100 millions de patients seront bien meilleurs que les médecins humains, et seront capables de diagnostiquer des maladies rares avec plus de précision 
