Les réponses de ChatGPT à près de trois quarts des questions relatives aux médicaments examinées par les pharmaciens étaient incomplètes ou erronées - dans certains cas, elles fournissaient des réponses inexactes susceptibles de mettre en danger les patients, selon une étude présentée lors de la réunion clinique semestrielle de l'American Society of Health-System Pharmacists (ASHP), qui s'est tenue du 3 au 7 décembre à Anaheim, en Californie. Lorsqu'on lui demandait de citer des références, le programme d'intelligence artificielle générait également de fausses citations pour étayer certaines réponses."Les professionnels de la santé et les patients devraient être prudents lorsqu'ils utilisent ChatGPT comme une source d'information faisant autorité en matière de médicaments", a déclaré Sara Grossman, PharmD, professeur associé de pratique pharmaceutique à l'Université de Long Island et l'un des principaux auteurs de l'étude. "Toute personne qui utilise ChatGPT pour obtenir des informations sur les médicaments devrait vérifier ces informations auprès de sources fiables".
Grossman et son équipe ont confronté la version gratuite de ChatGPT d'OpenAI à des questions réelles posées au service d'information sur les médicaments du Collège de pharmacie de l'Université de Long Island sur une période de 16 mois en 2022 et 2023. Les pharmaciens participant à l'étude ont d'abord recherché et répondu à 45 questions, et chaque réponse a été examinée par un deuxième enquêteur. Ces réponses ont servi de référence pour comparer les réponses générées par ChatGPT. Les chercheurs ont exclu six questions parce qu'il n'y avait pas assez de littérature pour fournir une réponse fondée sur des données, ce qui laissait 39 questions auxquelles ChatGPT devait répondre.
Seules 10 des 39 réponses fournies par ChatGPT ont été jugées satisfaisantes selon les critères établis par les chercheurs. Pour les 29 autres questions, les réponses générées par ChatGPT ne répondaient pas directement à la question (11) ou étaient inexactes (10), et/ou incomplètes (12). Pour chaque question, les chercheurs ont demandé à ChatGPT de fournir des références afin que les informations fournies puissent être vérifiées. Les références n'ont été fournies que dans huit réponses, et chacune d'entre elles comportait des références inexistantes.
Dans un cas, les chercheurs ont demandé à ChatGPT s'il existait une interaction médicamenteuse entre l'antiviral COVID-19 Paxlovid et le vérapamil, un médicament hypotenseur, et ChatGPT a indiqué qu'aucune interaction n'avait été signalée pour cette combinaison de médicaments.
"En réalité, ces médicaments ont le potentiel d'interagir entre eux et leur utilisation combinée peut entraîner une baisse excessive de la tension artérielle", a déclaré M. Grossman. "Sans connaissance de cette interaction, un patient peut souffrir d'un effet secondaire indésirable et évitable."
"Les outils basés sur l'IA ont le potentiel d'avoir un impact sur les aspects cliniques et opérationnels des soins", a déclaré Gina Luchen, PharmD, directrice de la santé numérique et des données de l'ASHP. "Les pharmaciens doivent rester des gardiens vigilants de la sécurité des patients, en évaluant la pertinence et la validité d'outils d'IA spécifiques pour les utilisations liées aux médicaments, et en continuant à éduquer les patients sur les sources fiables d'informations sur les médicaments."
Tina Zerilli, PharmD, professeur associé de pratique pharmaceutique à l'Université de Long Island, présentera "ChatGPT : Evaluation of Its Ability to Respond to Drug Information Questions" à 14 heures, heure de Paris, le 5 décembre.
À propos de la réunion clinique semestrielle et de l'exposition de l'ASHP
Le Midyear Clinical Meeting and Exhibition de l'ASHP est le plus grand rassemblement de professionnels de la pharmacie au monde. Avec la participation de plus de 20 000 professionnels de la pharmacie du monde entier, la réunion semestrielle offre des opportunités de développement professionnel, de réseautage, d'amélioration des compétences pratiques et de mise à jour des derniers produits et innovations.
À propos de l'ASHP
L'ASHP est la plus grande association de professionnels de la pharmacie aux États-Unis, représentant 60 000 pharmaciens, étudiants en pharmacie et techniciens en pharmacie dans tous les environnements de soins aux patients, y compris les hôpitaux, les cliniques ambulatoires et les pharmacies communautaires des systèmes de santé. Depuis plus de 80 ans, l'ASHP se fait le champion de l'innovation dans la pratique de la pharmacie, de l'enseignement supérieur et du développement professionnel, et défend fermement les intérêts de ses membres et des patients. En outre, l'ASHP est l'organisme d'accréditation des programmes de résidence et de formation des techniciens en pharmacie et fournit des ressources complètes pour soutenir les professionnels de la pharmacie à chaque étape de leur carrière.
Source : Étude présentée lors de la réunion semestrielle de l'American Society of Health-System Pharmacists
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi
ChatGPT surpasse les étudiants en médecine sur les questions de l'examen de soins cliniques, ce qui soulève des questions sur l'impact de l'IA sur l'enseignement médical et la pratique clinique Une nouvelle étude révèle que le ChatGPT est plus performant que les médecins pour ce qui est de donner des conseils empathiques, un panel de professionnels a préféré ses réponses dans 79 % des cas ChatGPT a réussi de justesse à un examen médical important, un exploit historique pour l'IA, mais elle serait encore mauvaise en mathématiques 
