Progrès, potentiels et régulation : les avancées de l'IA selon le rapport State of AI et leur impact

Sur les domaines de la recherche, de la médecine et de l'automatisation à grande échelle

L’intelligence artificielle (IA) continue de transformer le paysage technologique, marquée par des avancées qui révolutionnent à la fois la recherche et les applications pratiques. Le rapport State of AI 2023, une référence annuelle dans le domaine, met en lumière les développements les plus notables, les nouvelles capacités de l’IA mais aussi les défis techniques et réglementaires qu’ils impliquent.

Les grands modèles de langage (Large Language Models ou LLM), comme ceux développés par OpenAI, Google et Anthropic, se sont considérablement améliorés. Ces systèmes sont désormais capables de générer du texte cohérent, de répondre à des questions complexes, de générer du code et même de le « traduire » dans un autre langage.

Dans l'édition 2023 du State of AI, les auteurs mettent en avant les percées technologiques dans le domaine de la recherche en IA. Passons en revue quelques éléments.

Les petites entreprises (avec de bonnes données) peuvent-elles rivaliser avec les grandes ?

Dans un travail encore largement exploratoire, des chercheurs de Microsoft ont montré que lorsque de petits modèles de langage (SLM) sont entraînés avec des ensembles de données très spécialisés, ils peuvent rivaliser avec des modèles 50 fois plus grands. Ils ont également constaté que les neurones de ces modèles sont plus faciles à interpréter.

L'une des hypothèses expliquant pourquoi les petits modèles ne sont souvent pas aussi performants que les grands, même pour des tâches précises, est qu'ils sont « dépassés » lorsqu'ils sont entraînés sur des ensembles de données très vastes et non répertoriés.

Avec l'aide de GPT-3.5 et GPT-4, les chercheurs ont généré TinyStories, un ensemble de données synthétiques composé d'histoires courtes très simples mais qui intègrent la grammaire anglaise et les règles générales de raisonnement. Ils ont ensuite formé des SLM sur TinyStories et ont montré que GPT-4 (qui a été utilisé comme outil d'évaluation) préférait les histoires générées par un SLM 28M (28 millions de paramètres) à celles générées par GPT-XL 1.5B (1,5 milliard de paramètres).

Dans un autre travail du même groupe, les chercheurs ont sélectionné un ensemble de données de 7B tokens comprenant du code de haute qualité et des manuels et exercices synthétiques générés par GPT-3.5. Ils ont ensuite entraîné plusieurs SLM sur cet ensemble de données, y compris le modèle phi-1 à 1,3 milliard de paramètres, qui, selon eux, est le seul modèle à moins de 10 milliards de paramètres à atteindre >50 % sur HumanEval. Ils ont depuis publié la version améliorée phi-1.5.


IA et médecine : de la détection à la découverte de traitements

L’IA redéfinit la médecine en permettant des avancées dans la détection précoce de maladies et l'identification de traitements.

Par exemple, le rapport a parlé de la conception de systèmes cliniques inspirés du monde réel pour l'analyse automatisée d'images médicales


Le rapport souligne également l’impact potentiel de l’IA dans la recherche médicale. Des modèles génératifs comme AlphaFold, développé par DeepMind, pourraient révolutionner la biologie computationnelle en prédisant la structure des protéines avec une précision inédite. Ces avancées permettront de réduire drastiquement le temps et les coûts associés à la découverte de nouvelles molécules thérapeutiques, ouvrant la voie à des traitements plus efficaces et mieux ciblés.

IA dans l’industrie : automatisation et optimisation

Le rapport State of AI 2023 insiste sur l’impact de l’IA dans l’industrie, où l’automatisation des processus de production et d’analyse des données permet des gains de productivité significatifs. Dans le secteur manufacturier, par exemple, des modèles d’IA sont capables de détecter des anomalies de production et d’anticiper des pannes d’équipement grâce à la maintenance prédictive. Cela réduit les interruptions de la chaîne de production, diminue les coûts et améliore la qualité des produits.

L’IA facilite également la gestion des chaînes d'approvisionnement, un domaine particulièrement complexe, surtout dans un contexte mondial instable. Grâce aux algorithmes d'apprentissage automatique, les entreprises peuvent prédire les ruptures de stock et optimiser les flux logistiques pour mieux répondre à la demande. Cependant, le rapport met en garde contre les risques liés à une automatisation excessive qui pourrait réduire les opportunités d’emploi pour certains types de postes.

AlphaZero de DeepMind dispose d'une version pour l'optimisation de code de bas niveau

DeepMind a lancé AlphaDev, un agent de RL profond basé sur AlphaZero qui optimise le code Assembly de bas niveau utilisé pour transformer le code de haut niveau (par exemple en C++ ou Python) en code binaire lisible par la machine. Grâce à de simples suppressions et modifications d'un algorithme existant, AlphaDev a trouvé une méthode qui accélère le tri de petites séquences jusqu'à 70 %.

AlphaZero a été utilisé pour atteindre des niveaux surhumains aux échecs, au Go et au shogi, ou même pour améliorer la conception des puces.

AlphaDev reformule l'optimisation de code comme un problème RL : à l'instant t, l'état est une représentation de l'algorithme généré, de la mémoire et des registres ; l'agent écrit alors de nouvelles instructions ou en supprime de nouvelles ; sa récompense dépend à la fois de la correction et de la latence

Dans l'article présentant AlphaDev, les chercheurs ont expliqué qu'il s'agit d'un système d'intelligence artificielle qui utilise l'apprentissage par renforcement pour découvrir des algorithmes informatiques améliorés, surpassant ceux affinés par les scientifiques et les ingénieurs pendant des décennies.

Les algorithmes de tri découverts pour sort3, sort4 et sort5 ont conduit à des améliorations d'environ 1,7 % pour les séquences de plus de 250 000. Ces algorithmes ont été intégrés dans la bibliothèque LLVM. Il est intéressant de noter qu'un chercheur a réussi à faire en sorte que GPT-4 propose une optimisation similaire (très simple) à celle d'AlphaDev pour sort3.


IA Générative : création de contenu et implications

L’essor de l’IA générative, qui peut produire des images, du texte et même du son, représente une avancée spectaculaire. Des modèles comme DALL-E et Midjourney génèrent des images à partir de simples descriptions textuelles, rendant l’IA accessible à de nouveaux secteurs créatifs comme le design, le marketing, et même le cinéma. Dans le domaine de la recherche scientifique, cette capacité permet de visualiser des concepts abstraits et de mieux communiquer les résultats de recherches complexes.

Cependant, le rapport met en garde contre les risques d’abus de ces technologies, notamment en ce qui concerne la création de fausses informations, de deepfakes et de contenu potentiellement nuisible. Il appelle les régulateurs et les entreprises à instaurer des garde-fous pour garantir que l’IA générative est utilisée de manière éthique et responsable.

Les enjeux éthiques et réglementaires

La question de l’éthique de l’IA occupe une place centrale dans le State of AI 2023. À mesure que les systèmes d’IA deviennent plus puissants et plus autonomes, des questions se posent quant à la protection de la vie privée, à la transparence des décisions prises par les machines et aux biais potentiels. Le rapport appelle à une collaboration entre les gouvernements, les entreprises technologiques et les organisations de la société civile pour développer des normes éthiques et des réglementations adaptées.

La réglementation de l'IA est un sujet de débat complexe, car elle nécessite de trouver un équilibre entre l'innovation et la protection des utilisateurs. Certains pays ont déjà introduit des lois spécifiques pour encadrer l’IA, comme la proposition de règlement sur l’IA de l’Union européenne, qui vise à classer les applications de l’IA par niveau de risque et à imposer des règles strictes pour les applications jugées à haut risque.

IA et environnement : vers une technologie durable ?

Enfin, le rapport souligne l’importance de rendre l’IA plus durable sur le plan environnemental. Les modèles d’IA avancés, en particulier les LLM, consomment d’énormes quantités d’énergie et nécessitent des infrastructures matérielles coûteuses. Les chercheurs explorent des moyens de réduire l’empreinte carbone de l’IA en développant des modèles plus efficaces et en adoptant des technologies de calcul plus vertes.

Conclusion

Le State of AI 2023 dresse un portrait nuancé des capacités croissantes de l’intelligence artificielle et des défis qui en découlent. L’IA promet de transformer les secteurs de la santé, de l’industrie et de la recherche, tout en nécessitant une vigilance accrue en matière d’éthique et de réglementation. La prochaine étape consistera à aligner ces avancées avec les valeurs humaines pour s'assurer qu'elles profitent à l'ensemble de la société.

Source : State of AI Report 2023

Et vous ?

Trouvez-vous ce rapport crédible ou pertinent ?
Quelles sont les avancées technologiques en IA qui vous intéressent le plus ?
Avec les progrès de l’IA dans la recherche médicale, pensez-vous qu’un jour elle remplacera entièrement certains métiers dans le domaine de la santé, ou bien restera-t-elle toujours un outil de soutien ?
Les modèles de langage deviennent plus puissants, mais aussi plus coûteux en ressources énergétiques. Selon vous, doit-on limiter le développement de ces modèles pour des raisons environnementales, ou cela freinerait-il trop l’innovation ?
En matière de réglementation, certains pensent que l’Europe est trop stricte tandis que d’autres estiment que c’est essentiel pour protéger les citoyens. Quel modèle de réglementation serait, selon vous, le plus équilibré pour l’IA ?
L’utilisation de l’IA pour optimiser les chaînes d’approvisionnement est un atout économique, mais en cas de cyberattaque, cela pourrait rendre les entreprises plus vulnérables. Devrait-on investir davantage dans la cybersécurité pour compenser ce risque ?
Avec la capacité de prédiction de modèles comme AlphaFold, pensez-vous que l’IA accélérera suffisamment la découverte de traitements pour répondre aux maladies mondiales actuelles et futures ?