DoctorGPT est un grand modèle de langage (LLM) qui peut passer l'examen de l'ordre des médecins aux États-Unis. Il s'agit d'un projet open-source dont la mission est de fournir à chacun son propre médecin privé. DoctorGPT est une version du LLM Llama2 de Meta, qui compte 7 milliards de paramètres et qui a été affiné sur un ensemble de données de dialogue médical, puis amélioré à l'aide de l'apprentissage par renforcement et de l'IA constitutionnelle. Comme le modèle ne fait que 3 Gigaoctets, il tient sur n'importe quel appareil local, et il n'est donc pas nécessaire de payer une API pour l'utiliser. Il est gratuit, conçu pour une utilisation hors ligne qui préserve la confidentialité des patients, et il est disponible sur iOS, Android et Web.Voici quelques informations concernant DoctorGPT :
Dépendances
Installation
Installez toutes les dépendances en une seule ligne à l'aide de pip
Entraînement
Afin d'entraîner le modèle, vous pouvez exécuter le notebook training.ipynb localement ou à distance via un service cloud comme Google Colab Pro. Le processus d'entraînement nécessite une GPU, et si vous n'en avez pas, l'option la plus accessible que j'ai trouvée est d'utiliser Google Colab Pro qui coûte 10$/mois. La durée totale de l'entraînement pour DoctorGPT, y compris l'ajustement supervisé du modèle LLama initial sur des données médicales personnalisées, ainsi que son amélioration via l'apprentissage par renforcement à partir du feedback de l'IA conditionnelle, a pris 24 heures sur une instance payante de Google Colab.
Entraînement local
- Numpy (Utilise des opérations mathématiques matricielles)
- PyTorch (Construit des modèles de Deep Learning)
- Datasets (Accéde aux datasets du hub huggingface)
- Huggingface_hub (accès aux données et modèles de huggingface)
- Transformers (Accès aux modèles du hub HuggingFace)
- Trl (Transformer Reinforcement Learning. Et fine-tuning.)
- Bitsandbytes (rend les modèles plus petits, alias "quantization"
- Sentencepiece (schéma de codage par paires d'octets, alias "tokenization"
- OpenAI (Création de données de modèles synthétiques de réglage fin et de récompense)
- TVM (Tensor Virtual Machine, convertit le modèle onnx pour une utilisation multiplateforme efficace)
- Peft (Parameter Efficient Fine Tuning, utilisation de l'adaptation de rang faible (LoRa) pour le réglage fin)
- Onnx (Conversion du modèle entraîné au format universel)
Installation
Installez toutes les dépendances en une seule ligne à l'aide de pip
| Code : | Sélectionner tout |
pip install numpy torch datasets huggingface_hub transformers trl bitsandbytes sentencepiece openai tvm peft onnx
Afin d'entraîner le modèle, vous pouvez exécuter le notebook training.ipynb localement ou à distance via un service cloud comme Google Colab Pro. Le processus d'entraînement nécessite une GPU, et si vous n'en avez pas, l'option la plus accessible que j'ai trouvée est d'utiliser Google Colab Pro qui coûte 10$/mois. La durée totale de l'entraînement pour DoctorGPT, y compris l'ajustement supervisé du modèle LLama initial sur des données médicales personnalisées, ainsi que son amélioration via l'apprentissage par renforcement à partir du feedback de l'IA conditionnelle, a pris 24 heures sur une instance payante de Google Colab.
Entraînement local
| Code : | Sélectionner tout |
1 2 | git clone https://github.com/llSourcell/DoctorGPT.git jupyter training.ipynb |
Et vous ?
Quel est votre avis sur DoctorGPT ?Voir aussi :
Google a formé un modèle de langage qui serait capable de répondre aux questions d'ordre médicales avec une précision de 92,6 %, les médecins eux-mêmes ont obtenu un score de 92,9 % Une IA bat 15 médecins humains dans un concours de diagnostic de tumeurs cérébralesUn autre témoignage de l'importance de l'IA dans la santé ?
Certains médecins utilisent des chatbots d'IA comme ChatGPT pour les aider à annoncer de mauvaises nouvelles à leurs patients avec compassion selon un rapport