IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Google a formé un modèle de langage qui serait capable de répondre aux questions d'ordre médicales avec une précision de 92,6 %,
Les médecins eux-mêmes ont obtenu un score de 92,9 %

Le , par Bill Fassinou

9PARTAGES

6  0 
Des chercheurs de Google et de DeepMind dévoilent un grand modèle de langage (Large Language Model) pour répondre à des questions d'ordre médicales non spécialisées. Le modèle, appelé Med-PaLM, génère des réponses jugées conformes au consensus scientifique. Un groupe de médecins a déterminé que 92,6 % des réponses de Med-PaLM étaient conformes aux réponses générées par les cliniciens (92,9 %). L'équipe de recherche s'appuie sur PaLM, le grand modèle de langage de Google, qui compte 540 milliards de paramètres, soit environ trois fois plus que GPT-3 du laboratoire de recherche en intelligence artificielle (IA) OpenAI.

Google Med-PaLM : une IA entraînée pour répondre aux questions d'ordre médicales

PaLM est l'acronyme de "Pathways Language Model". Google affirme que PaLM surpasse GPT-3 dans les tâches difficiles liées au langage et au code, et constitue la partie linguistique de la vision Pathways de l'entreprise. Pour la variante médicale du modèle de langage PaLM, l'équipe de recherche affirme avoir développé une nouvelle méthode d'invite pour adapter une variante de Flan-PaLM au domaine médical. Flan-PaLM est lui-même une variante du grand modèle PaLM affinée avec des instructions pour des tâches (telles que des dialogues, des FAQ, des raisonnements), que Google Brain a introduite en octobre de l'année dernière.

Au lieu d'affiner PaLM avec des données médicales, ce qui serait plus complexe, l'équipe a utilisé une combinaison d'invites souples apprises lors du réglage des invites avec une petite quantité de données médicales et des invites écrites par des humains pour des réponses médicales spécifiques. Pour ces derniers messages, l'équipe a collaboré avec quatre cliniciens des États-Unis et du Royaume-Uni. Les chercheurs d'Alphabet, propriétaire de Google et de DeepMind, ont baptisé cette combinaison de messages appris et programmés "Instruction Prompt Tuning". « La nouvelle méthode est efficace en termes de données et de paramètres », écrit l'équipe.



L'équipe affirme que le modèle Med-PaLM résultant de l'Instruction Prompt Tuning surpasse de manière significative un modèle Flan-PaLM non ajusté sur les réponses médicales et obtient des "résultats encourageants", mais reste en deçà des performances des cliniciens. Au vu des résultats, cette conclusion est correcte, mais elle semble également être un euphémisme : Med-PaLM obtient d'aussi bons résultats que les professionnels dans presque tous les tests. L'évaluation de la qualité des réponses a également été réalisée par des cliniciens. La précision dans les réponses de Med-PaLM est évaluée à 92,6 % par les experts humains.

Seulement 61,9 % des réponses longues de Flan-PaLM ont été jugées conformes à l'accord scientifique. Med-PaLM a également fourni beaucoup moins de réponses potentiellement dangereuses. Dans Flan-PaLM, 29,7 % des réponses auraient pu nuire à la santé. Pour Med-PaLM, ce pourcentage n'était que de 5,9 %, contre 5,7 % pour les experts humains. Une fois de plus, le modèle de langage médical fonctionne à égalité avec les humains. Lors de l'évaluation par les profanes, les réponses des experts humains ont été jugées plus utiles, mais là encore, Med-PaLM a obtenu des résultats nettement supérieurs à ceux de Flan-PaLM.

Alors que ChatGPT semble être un peu partout, sans véritable cas d'utilisation, Med-PaLM est destiné à des fins médicales. Il est évalué sur MultiMedQA, un nouveau benchmark open source de questions-réponses médicales. Il combine HealthSearchQA, un nouveau jeu de données de réponses à des questions médicales posées en ligne, avec six jeux de données de réponses à des questions ouvertes existantes couvrant les examens médicaux professionnels, la recherche et les demandes des consommateurs. Le référentiel intègre également une méthodologie d'évaluation des réponses des modèles humains selon plusieurs axes.



Med-PaLM fournit des ensembles de données pour des questions à choix multiples et pour des réponses plus longues à des questions posées par des professionnels de la santé et des non-professionnels. Il s'agit des ensembles de données sur les sujets cliniques pour MedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA et MMLU. En outre, l'équipe a ajouté HealthSearchQA, un nouveau jeu de données de requêtes médicales fréquemment recherchées pour améliorer MultiMedQA. HealthsearchQA, composé de 3 375 questions fréquemment posées par les consommateurs, a été créé à partir de diagnostics médicaux et de symptômes associés.

Les modèles de langage pourraient-ils aider les professionnels de la santé ?

Le rapport d'étude indique que les bonnes performances de Med-PaLM sur les questions médicales pourraient être une capacité émergente des modèles de langage. En effet, les performances du modèle ont été mises à l'échelle en fonction du nombre de paramètres des différents modèles PaLM (de huit à 540 milliards). Cependant, l'équipe affirme que la mise à l'échelle seule ne suffit pas pour obtenir une fiabilité élevée des réponses, comme le montre la performance comparativement faible du modèle Flan-PaLM (seulement 61,9 % des réponses de Flan-PaLM étaient fiables). C'est là qu'entre en jeu l'Instruction Prompt Tuning nouvellement introduite.

Lors de l'événement "Google for India 2022", Google a annoncé une collaboration avec Apollo Hospitals en Inde pour améliorer l'utilisation des modèles d'apprentissage profond dans les radiographies et autres diagnostics. Parmi les autres partenariats annoncés par Google dans le domaine de la santé figurent Aravind Eye Care System, Ascension, Mayo Clinic, Rajavithi Hospital, Northwestern Medicine, Sankara Nethralaya et Stanford Medicine, etc. Selon l'équipe, l'essor des modèles d'IA fondamentaux est une "occasion importante" de repenser la manière dont l'IA médicale est développée et de la rendre "plus facile, plus sûre et plus équitable" à utiliser.



« Les résultats de Med-PaLM démontrent qu'avec un réglage rapide des instructions, nous disposons d'une technique d'alignement efficace au niveau des données et des paramètres, utiles pour améliorer les facteurs liés à l'exactitude, à la factualité, à la cohérence, à la sécurité, au préjudice et au biais, ce qui permet de combler le fossé avec les experts cliniques et de rapprocher ces modèles des applications cliniques du monde réel », a écrit l'équipe. Par ailleurs, Google n'est pas le premier géant de la technologie à s'aventurer dans le domaine des soins de santé basés sur l'IA. Microsoft, IBM et d'autres entreprises l'ont précédé.

Microsoft travaille en étroite collaboration avec l'équipe d'OpenAI afin d'employer GPT-3 pour faciliter la collaboration entre les employés et les cliniciens et améliorer l'efficacité des équipes de soins de santé. IBM a longtemps creusé le domaine avec sa division Watson Health. Mais alors qu'elle était censée révolutionner les soins de santé grâce à l'IA, IBM a cédé certaines parties de Watson Heath en janvier 2022. L'annonce a suscité beaucoup de bruits dans l'industrie. Des critiques notent qu'il est difficile de ne pas considérer cette vente comme un échec du pari d'IBM sur Watson pour faire entrer les soins de santé dans l'ère de l'IA.

Cependant, l’IA est-elle réellement en mesure de diagnostiquer ou de conseiller les patients comme le ferait un médecin humain ? Selon les experts, cela pourrait être possible, à condition que l’IA acquière la compréhension la plus juste possible du langage naturel. Par exemple, en octobre 2020, Nabla, une startup française, a conçu un chatbot médical basé sur GPT-3 - qui était à l'époque le plus gros modèle de langage jamais entraîné, avec environ 175 milliards de paramètres - pour fournir des conseils aux patients. Mais lors des tests, Nabla a pu observer quelques limites de GPT-3 et le chabot a même conseillé à un patient simulé de se suicider.



En novembre 2022, Meta a présenté Galactica, un système d'IA qui prétendait aider les chercheurs universitaires en générant des analyses documentaires complètes et des entrées Wiki sur n'importe quel sujet . Mais il a échoué en raison de résultats peu fiables. À peu près à la même époque, Meta a lancé Cicero en fusionnant le traitement du langage naturel et le raisonnement stratégique. Il s'agit du premier agent d'IA à réaliser des performances de niveau humain dans le jeu complexe en langage naturel "Diplomacy". En jouant contre des humains, Cicero s'est classé parmi les 10 % des meilleurs joueurs ayant participé à plusieurs parties.

Source : Rapport de l'étude (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du modèle de langage Med-PaLM de Google ?
Selon vous, quels pourraient être les apports de ce modèle dans le domaine des soins de santé ?
Serait-il prudent de laisser Med-PaLM conseiller les patients sans soumettre ses réponses à une évaluation humaine ?
Pensez-vous également que les réponses aux questions médicales est une capacité émergente des modèles de langage ?

Voir aussi

Watson Health, la division d'IBM destinée à la recherche médicale, est vendue, alors qu'elle était censée révolutionner les soins de santé grâce à l'IA

Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine

GPT-4 : la nouvelle version de l'IA de traitement du langage naturel d'OpenAI pourrait arriver cet été, il devrait être moins volumineux que GPT-3, mais beaucoup plus performant

ChatGPT réussit l'édition 2022 de l'examen d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US : que sait-on de cette IA qui secoue Internet comme une tempête ?

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de smarties
Expert confirmé https://www.developpez.com
Le 04/01/2023 à 13:34
Très prometteur mais je me méfie de ce qui appartient aux GAFAM.

Avec des assistants de ce genre, la profession de médecin va être à repenser :
- d'un côté ça allège leur travail/charge : le travail de questionnement du patient pourra être fait par des infirmiers, étudiants en médecine ou autre personnel médical qui ne demande pas autant d'années d'études que pour être médecin. J'ai déjà eu quelque chose similaire chez l'ophtalmo.
- de l'autre côté, il faudra quand même vérifier

Vu la charge des hôpitaux et des médecins de campagne (et probablement d'autres), développer les systèmes avec des assistants (IA et humain pour des actes médicaux +/- simples) bénéficierait probablement à tout le monde :
- prise en charge de patients plus nombreux et plus rapidement
- meilleur équilibre vie pro/perso pour le médical via des horaires +/- standard (je connais un médecin qui fait 7h-22h+ toute la semaine avec 1h grand max de pause le midi)
- création d'emplois, certains veulent être dans le médical pour aider/soigner les gens mais ils n'ont pas la motivation/l'envie/les moyens de faire de très longues études

Ca reste à expérimenter sur une échelle importante
3  0 
Avatar de LeDruide87
Membre habitué https://www.developpez.com
Le 16/01/2023 à 11:40
J'ai personnellement aidé des médecins en Afrique, il y a quelque trente ans, en programmant un système-expert basé sur l'enchaînement de clauses de Horn, nourri du savoir médical basique, afin de permettre aux personnels des dispensaires de brousse d'établir des pré-diagnostics. Mais il était entendu que le pré-diagnostic devait, dans les cas graves, être validé ou invalidé par un vrai toubib. Cela n'avait rien de nouveau, il existait déjà (dans les années 80-90) de tels systèmes-experts.

En fait, cela demandait des mises à jour assez fréquentes de la base de connaissances, et il était impossible de les faire fonctionner en psychiatrie pour des raisons qu'on imagine facilement. Mais en médecine générale, cela fonctionnait assez bien.

Important : le logiciel était renseigné par un infirmier qui était évidemment au contact des malades et savait examiner les symptômes. Il y avait donc au départ une relation contractuelle patient-soignant purement humaine. Je ne suis pas sûr du tout qu'un autre type de relation (par exemple patient-machine) puisse réellement fonctionner en diagnostic et prescription. La "médecine 2.0" a déjà fait preuve de certains aspects nocifs. Personnellement, je n'aurais pas recours à ce genre de médecine, au risque de passer pour un vieux schnock antédiluvien.
2  0 
Avatar de anapurna
Expert confirmé https://www.developpez.com
Le 16/01/2023 à 15:10
salut

effectivement tout ceci ressemble fortement a un systeme expert
Pour ce faire il est constitué de :
- Moteur d'inference
- Base de Fait
- Base de regle

peut etre on il fait quelque amelioration par exemple quand celui-ci ne trouve pas de solution reel
il font appelle a un reseau de neurone mais ceci n'est qu'un outils d'aide a la decision
et si les fait ne sont pas correctement rentré il en sortira inevitablement une erreur de diagnostiqe comme le ferais
n'importe qu'elle humain
la machine c'est bien mais ce n'est qu'un outils l'homme doit toujours avoir l'acte decisionnel final
1  0 
Avatar de maxtal
Membre actif https://www.developpez.com
Le 05/01/2023 à 9:05
Très intéressant, mais l'utilisation de ce type de technologie doit vraiment être réglementé et surtout suivi de près.
A quand un équivalent pour le domaine juridique ? "Better call Bot"
0  0 
Avatar de schlebe
Membre actif https://www.developpez.com
Le 15/01/2023 à 9:36
https://www.livredepoche.com/livre/prescription-mortelle-9782253112068

Ce livre explique comment les mutuelles aux USA ont imposé un petit appareil (comme un smartphone) qui assiste les patients et répond à toutes leurs questions médicales.
Comme dans tout roman de Robin Cook, il y a toujours une partie qui dérape et malheureusement c'est l'IA.

C'est le second livre de Robin Cook que je préfère et dont j'attends avec impatience l'avènement technique.
Le premier c'est Toxine.

Bonne lecture
0  0 
Avatar de lololapile
Membre régulier https://www.developpez.com
Le 15/01/2023 à 18:55
Ce logiciel n'apporte rien. Il recrache le Vidal. L'humain est beaucoup trop complexe pour confier notre santé à une machine. Si ces systèmes étaient mis en service, ils seraient immédiatement trafiqués par les labo pharmaceutiques pour prescrire leurs poisons.
1  1