ChatGPT surpasse les étudiants en médecine sur les questions de l'examen de soins cliniques

Ce qui soulève des questions sur l'impact de l'IA sur l'enseignement médical et la pratique clinique

Une étude de Stanford a comparé les performances de ChatGPT, un système d’intelligence artificielle à grand modèle linguistique, avec celles des étudiants en médecine de première et deuxième année sur des questions ouvertes de raisonnement clinique. Les résultats ont montré que ChatGPT pouvait répondre mieux que les étudiants en médecine à ces questions difficiles, ce qui soulève des questions sur l’impact de l’IA sur l’enseignement médical et la pratique clinique. Les auteurs suggèrent qu’il faut repenser la façon dont on forme les médecins de demain à l’ère de l’IA.

Selon une nouvelle étude menée par des chercheurs de Stanford, les étudiants en médecine de première et de deuxième année peuvent obtenir de meilleurs résultats que les étudiants en médecine en répondant aux questions difficiles de l'examen de soins cliniques. Ces résultats mettent en évidence l'impact croissant de l'intelligence artificielle (IA) sur l'enseignement médical et la pratique clinique et suggèrent la nécessité d'une nouvelle approche pour enseigner aux médecins de demain.


ChatGPT est le plus connu des systèmes d'intelligence artificielle à grand modèle linguistique qui ont captivé le monde au cours des derniers mois. Ces systèmes sont formés sur l'ensemble du corpus de contenu Internet et fonctionnent comme des chatbots en ligne, permettant aux utilisateurs de saisir un texte et de recevoir rapidement en réponse un texte généré automatiquement et ressemblant à celui d'un humain.

Des études récentes ont montré que ChatGPT peut traiter avec succès des questions à choix multiples de l'examen d'aptitude médicale des États-Unis (USMLE), que les médecins doivent passer pour pouvoir pratiquer la médecine. Selon une étude publiée le 9 février 2023 dans la revue PLOS Digital Health par Tiffany Kung, Victor Tseng et leurs collègues d'AnsibleHealth, ChatGPT peut obtenir un score égal ou proche du seuil de réussite d'environ 60 % pour l'examen de licence médicale USMLE, avec des réponses qui ont un sens cohérent et interne et qui contiennent des idées fréquentes.

L'USMLE est un programme de test standardisé en trois étapes, très exigeant, qui couvre tous les sujets du fonds de connaissances des médecins, allant des sciences fondamentales au raisonnement clinique, en passant par la gestion médicale et la bioéthique. La difficulté et la complexité des questions sont hautement normalisées et réglementées, ce qui en fait un substrat d'entrée idéal pour les tests d'IA.

« Nous avons évalué la performance d'un grand modèle de langage appelé ChatGPT sur l'examen de licence médicale des États-Unis (USMLE), qui se compose de trois examens : étape 1, étape 2CK et étape 3. ChatGPT a obtenu des performances égales ou proches du seuil de réussite pour les trois examens sans formation ni renforcement spécialisés. De plus, ChatGPT a démontré un haut niveau de concordance et de perspicacité dans ses explications. Ces résultats suggèrent que les modèles linguistiques de grande taille pourraient avoir le potentiel d'aider à la formation médicale et, potentiellement, à la prise de décision clinique », déclarent les chercheurs.

L'USMLE est un programme de test standardisé en trois étapes, très exigeant, qui couvre tous les sujets du fonds de connaissances des médecins, allant des sciences fondamentales au raisonnement clinique, en passant par la gestion médicale et la bioéthique. La difficulté et la complexité des questions sont hautement normalisées et réglementées, ce qui en fait un substrat d'entrée idéal pour les tests d'IA.

« Nous avons été très surpris de voir à quel point ChatGPT a réussi à répondre à ce type de questions de raisonnement médical en dépassant les scores des testeurs humains », déclare Eric Strong, hospitalier et professeur agrégé de clinique à la Stanford School of Medicine, l'un des auteurs de l'étude.

« Avec ce type de résultats, nous constatons que la nature de l'enseignement et du test du raisonnement médical par le biais d'un texte écrit est bouleversée...