Un chatbot médical GPT-3 d'OpenAI serait-il une bonne idée ? Il a dit à un patient simulé de se suicider

Lors d'un test réalisé par Nabla

L’IA est-elle réellement en mesure de diagnostiquer les patients comme le ferait un médecin humain ? Cela est possible, à condition que l’IA acquière la compréhension la plus juste possible du langage naturel. Nabla, une startup française, a conçu un chatbot médical basé sur GPT-3 d’OpenAI, qui est actuellement le plus gros modèle de langage jamais entraîné, avec environ 175 milliards de paramètres, pour fournir des conseils aux patients. Lors des tests, Nabla a pu observer quelques limites de GPT-3 et le chabot a même conseillé à un patient simulé de se suicider.

L’utilisation de l’IA comme assistante médicale, conseillère médicale, ou comme médecin virtuel a attisé la curiosité de plusieurs entreprises au cours de ces dernières années. L’usage de l’intelligence artificielle permettra de dématérialiser et d'automatiser les soins de santé afin de mettre en place des services tels que le diagnostic automatisé, la documentation médicale et la découverte de médicaments, pour n'en citer que quelques-uns. Pour cela, les chercheurs font appel aux programmes d’IA à même de répondre à des questions formulées en langage naturel, dont GPT ou IBM Watson IA.

Des systèmes existants de ce type ont montré des résultats louables, mais il reste encore beaucoup de chemin à parcourir. Cependant, en se référant aux prouesses actuelles de l’IA dans les soins de santé, certains ont affirmé que les algorithmes surpassent déjà les médecins dans certaines tâches et d'autres ont même déclaré que les robots pourraient bientôt recevoir leurs propres diplômes médicaux. Selon Nabla, tout cela semble un peu tiré par les cheveux et l’entreprise a donc décidé de faire quelques expériences en concevant un chabot médical basé sur GPT-3 d’OpenAI.


GPT-3 (Pre-training Transformer 3) est un modèle de traitement du langage naturel développé par OpenAI. Il a été annoncé en mai 2020 et ouvert aux utilisateurs via une API en juillet. Il est actuellement le plus gros modèle de langage jamais entraîné avec 175 milliards de paramètres. Le bot de Nabla a été conçu pour aider les médecins en prenant automatiquement en charge une partie de leur charge de travail quotidienne. Mais après avoir fait une série de tests, la startup française a en effet conclu que la nature erratique et imprévisible des réponses du logiciel le rend inapproprié pour interagir avec les patients dans le monde réel.

En effet, Nabla a réalisé ces tests pour voir comment GPT-3 fonctionne sur les cas d'utilisation des soins de santé suivants : discussion administrative avec un patient, vérification de l'assurance médicale, assistance à la santé mentale, documentation médicale, questions et réponses médicales ainsi qu’un diagnostic médical. Nabla note que ces cas d’utilisation sont classés grossièrement de faible à forte sensibilité d'un point de vue médical. Voici quelques résultats issus de ces tests.

GPT-3 : votre prochain assistant médical ?

Le premier test de Nabla a montré que GPT-3 semblait fonctionner pour des tâches administratives de base telles que la prise de rendez-vous, mais en creusant un peu plus loin, il a découvert que le modèle n'avait pas une compréhension claire du temps ni une logique appropriée. En outre, il a aussi découvert que sa mémoire est aussi parfois défaillante, par exemple pour la prise de rendez-vous. Dans une discussion, le modèle a négligé la contrainte initiale de 18 heures imposée par le patient, car GPT-3 suggère de réserver pour 19 heures après quelques messages.

Qu'en est-il des contrôles d'assurance ?

L’on estime ici que GPT-3 pourrait aider les infirmières ou les patients à trouver rapidement un élément d'information dans un document très long, dont la recherche de prestations d'assurance pour des examens médicaux spécifiques. Pour cela, Nabla a enrichi le...