Progrès, potentiels et régulation : les avancées de l'IA selon le rapport State of AI et leur impact

Sur les domaines de la recherche, de la médecine et de l'automatisation à grande échelle

L’intelligence artificielle (IA) continue de transformer le paysage technologique, marquée par des avancées qui révolutionnent à la fois la recherche et les applications pratiques. Le rapport State of AI 2023, une référence annuelle dans le domaine, met en lumière les développements les plus notables, les nouvelles capacités de l’IA mais aussi les défis techniques et réglementaires qu’ils impliquent.

Les grands modèles de langage (Large Language Models ou LLM), comme ceux développés par OpenAI, Google et Anthropic, se sont considérablement améliorés. Ces systèmes sont désormais capables de générer du texte cohérent, de répondre à des questions complexes, de générer du code et même de le « traduire » dans un autre langage.

Dans l'édition 2023 du State of AI, les auteurs mettent en avant les percées technologiques dans le domaine de la recherche en IA. Passons en revue quelques éléments.

Les petites entreprises (avec de bonnes données) peuvent-elles rivaliser avec les grandes ?

Dans un travail encore largement exploratoire, des chercheurs de Microsoft ont montré que lorsque de petits modèles de langage (SLM) sont entraînés avec des ensembles de données très spécialisés, ils peuvent rivaliser avec des modèles 50 fois plus grands. Ils ont également constaté que les neurones de ces modèles sont plus faciles à interpréter.

L'une des hypothèses expliquant pourquoi les petits modèles ne sont souvent pas aussi performants que les grands, même pour des tâches précises, est qu'ils sont « dépassés » lorsqu'ils sont entraînés sur des ensembles de données très vastes et non répertoriés.

Avec l'aide de GPT-3.5 et GPT-4, les chercheurs ont généré TinyStories, un ensemble de données synthétiques composé d'histoires courtes très simples mais qui intègrent la grammaire anglaise et les règles générales de raisonnement. Ils ont ensuite formé des SLM sur TinyStories et ont montré que GPT-4 (qui a été utilisé comme outil d'évaluation) préférait les histoires générées par un SLM 28M (28 millions de paramètres) à celles générées par GPT-XL 1.5B (1,5 milliard de paramètres).

Dans un autre travail du même groupe, les chercheurs ont sélectionné un ensemble de données de 7B tokens comprenant du code de haute qualité et des manuels et exercices synthétiques générés par GPT-3.5. Ils ont ensuite entraîné plusieurs SLM sur cet ensemble de données, y compris le modèle phi-1 à 1,3 milliard de paramètres, qui, selon eux, est le seul modèle à moins de 10 milliards de paramètres à atteindre >50 % sur HumanEval. Ils ont depuis publié la version améliorée phi-1.5.


IA et médecine : de la détection à la découverte de traitements

L’IA redéfinit la médecine en permettant des avancées dans la détection précoce de maladies et l'identification de traitements.

Par exemple, le rapport a parlé de la conception de systèmes cliniques inspirés du monde réel pour l'analyse automatisée d'images médicales


Le rapport souligne également l’impact potentiel de l’IA dans la recherche médicale. Des modèles génératifs comme AlphaFold, développé par DeepMind, pourraient révolutionner la biologie computationnelle en prédisant la structure des protéines avec une précision inédite. Ces avancées permettront de réduire drastiquement le temps et les coûts associés à la découverte de nouvelles molécules thérapeutiques, ouvrant la voie à des traitements plus efficaces et mieux ciblés.

[QUOTE=Rapport]Les modifications individuelles des séquences d'acides aminés résultant de variations génétiques (« mutations faux-sens ») peuvent être bénignes ou entraîner des problèmes en aval au niveau du repliement, de l'activité ou de la stabilité des protéines. Plus de 4 millions de ces mutations faux-sens ont été identifiés lors d'expériences de séquençage du génome humain au niveau de la population. Cependant, 98 % de ces mutations ne font l'objet d'aucune classification clinique confirmée (bénigne/pathogène). Un nouveau système, AlphaMissense, utilise les prédictions d'AlphaFold et la modélisation non supervisée du langage des protéines pour combler cette lacune.

Le système AlphaMissense est construit :

1. en s'entraînant sur des étiquettes faibles à partir de données de fréquence de population, en évitant la circularité en n'utilisant pas d'annotations humaines ;
2. en incorporant une tâche de modélisation non supervisée du langage des protéines pour apprendre les distributions d'acides aminés conditionnées par le contexte de la séquence ;
3. et en incorporant le contexte structurel en utilisant un système dérivé d'AlphaFold.
   

AlphaMissense est ensuite utilisé pour prédire 71 millions de mutations faux-sens, saturant ainsi le protéome humain. Parmi ceux-ci, 32% sont...