Le sujet des infox est de plus en plus présent, notamment pour discréditer ses adversaires (tant en Chine qu'aux États-Unis, pour ne prendre que deux exemples). Et si la ribambelle d'annonces sur le côté révolutionnaire de l'intelligence artificielle en faisait partie, au moins en bonne partie ? C'est en tout cas l'avis de Gary Marcus, professeur émérite à l'université de New York et fondateur de Robust.AI : les médias (et/ou le public, barrez la mention inutile le cas échéant) adorent les histoires de révolutions, notamment scientifiques. Les scientifiques ne sont pas blancs non plus dans cette histoire : toute publicité faite sur leur recherche peut leur amener, directement ou non, des subsides pour faire avancer leur recherche, leur laboratoire, leur carrière… ou même leur salaire, plus directement. Le résultat est, actuellement, un flux presque incessant de réussites de l'intelligence artificielle, matraqué dans tous les médias… des nouvelles presque aussitôt oubliées. Ces annonces sont parfois mensongères. La faute est parfois du côté du scientifique qui publie ses résultats en ne mettant en évidence que les bons côtés (ce qui n'est pas sans rappeler la crise de la reproductibilité des études en médecine). Elle est parfois aussi du côté du journaliste qui relaye l'information, lui qui ne fait pas toujours toutes les vérifications nécessaires (et n'a pas non plus une formation adéquate dans tous les sujets touchés par la vague d'intelligence artificielle).
Et Gary Marcus de citer quelques exemples, comme le modèle linguistique GPT-2 de OpenAI : une interview menée The Economist avec ce modèle, très cohérente… mais on apprend par la suite que chaque réponse a été choisie manuellement par un humain parmi les propositions de GPT-2. Aussi, l'intelligence artificielle a résolu le problème des trois corps : en fait non, elle ne fait que proposer des solutions approchées pour des versions très réduites du problème des trois corps (avec deux degrés de liberté) — une critique ultérieure a certes été relayée, mais pas très souvent. La radiologie est un domaine en médecine dont la fin est prédite depuis longtemps pour dans peu de temps (antithèse, non oxymore…), mais il semblerait qu'aucun radiologue n'ait jamais été licencié pour cause de remplacement par une intelligence artificielle…
Les chercheurs n'indiquent pas assez souvent les limitations de leurs recherches de manière claire. Certaines entreprises les poussent d'ailleurs à volontairement omettre ce genre de détail, comme DeepMind ou OpenAI : après tout, GTP-2 était un modèle trop dangereux à libérer ; les techniques de jeu d'AlphaGo et de StarCraft peuvent s'appliquer assez directement à d'autres cas d'utilisation. Heureusement que des gens comme Pieter Abbeel et Yoshua Bengio prennent les pincettes qui siéent aux chercheurs dans ce genre de cas : oui, l'apprentissage profond fonctionne très bien dans une série de cas limités ; non, l'intelligence artificielle générale, qui permet d'articuler des phases de raisonnement et de résolution de problèmes, n'est pas encore à notre portée.
Quels sont les risques de ce comportement ? Il crée de la peur inutile, le nombre d'emplois à remplacer par l'intelligence artificielle étant sûrement surestimé. Pourtant, ce genre de publication assure un flux de devises pour continuer la recherche, mais au risque d'un nouvel hiver de l'intelligence artificielle : les promesses étaient là, mais ne seront (probablement) pas tenues. Comme les chat bots, trop limités dans leurs possibilités de communication (Facebook a fini par annuler son système M en 2018, trois ans après l'annonce d'une révolution). Comme le diagnostic médical d'IBM Watson, dont les partenaires ont fini par s'éloigner à cause de résultats insuffisants. Comme la détection des infox, que Mark Zuckerberg affichait, en 2018, comme à la portée de l'intelligence artificielle endéans les cinq à dix ans (encore raté).
Gary Marcus et Ernie Davis font donc six recommandations pour éviter ces écueils, de telle sorte que la recherche soit présentée de manière factuelle, pour éviter toute erreur de transmission. Qu'est-ce que le système fait vraiment (en dehors de toute rhétorique) ? À quel point le système peut-il généraliser (un voiture qui a appris à Phoenix peut-elle rouler à Mumbai) ? Où une démo est-elle disponible (suffisante pour qu'un lecteur puisse se faire une idée précise des compétences du système) ? Si le système est meilleur que des humains, quels humains (facile de dépasser les capacités d'un enfant de dix ans en radiologie) ? À quel point la nouveauté rapproche-t-elle la science de l'intelligence artificielle générale ? À quel point le système est-il robuste ?
Source : The Gradient.
