Mattsi Jansky, professionnel en informatique, examine les préoccupations liées à l'abus du terme "IA" dans le contexte des grands modèles de langage (LLM) comme ChatGPT. Il met en avant les complications issues de la publicité exagérée et des investissements massifs dans ces modèles. En se référant à l'époque d'Alan Turing, Jansky souligne que malgré les progrès de l'IA, les LLM ne sont pas de véritables intelligences artificielles, mais plutôt des algorithmes d'apprentissage automatique qui génèrent du texte humain sans avoir de capacité de raisonnement autonome.Il explore les limites intrinsèques des LLM, mettant en évidence les défis liés à la correction des erreurs de comportement. Il émet également des avertissements concernant les implications d'une utilisation massive de ces modèles, soulignant l'émergence de résultats inattendus et critiquant les investissements souvent disproportionnés dans des entreprises prétendant exploiter l'IA.
« La plupart des organisations que j'ai vues investir dans des fantasmes de LLM ont une chose en commun : leur produit présente des tonnes de problèmes auxquels il serait préférable de consacrer son temps », déclareMattsi Jansky. Lorsque Turing a publié Computing Machinery and Intelligence, il a décrit une « machine à penser » capable de raisonner comme les humains. Il a longuement argumenté sur le fait qu'il était possible de créer des machines pensantes : Rien de ce qui est connu en physique, en informatique, en mathématiques ou dans tout autre domaine ne permet d'écarter cette possibilité. Il a répété tous les arguments connus contre les machines à penser, en les déconstruisant et en les défaisant tous. Lors de la conférence de Dartmouth en 1956, l'idée d'une machine pensante est devenue l'intelligence artificielle. C'est là que nous, les humains, avons pris nos premières mesures sérieuses et organisées pour en créer une.
Depuis lors, le domaine de l'IA a généré un nombre considérable de découvertes remarquables : Recherche, représentation des connaissances, inférence dans la logique du premier ordre, raisonnement probabiliste, systèmes experts, planification dynamique et robotique, systèmes multi-agents, apprentissage automatique, reconnaissance vocale, traitement du langage naturel, traduction automatique, reconnaissance d'images, etc. Mattsi Jansky classe ces technologies en trois grandes catégories : le connexionnisme, le symbolisme et l'actionnisme.
Un grand modèle de langage est un type de programme d'intelligence artificielle (IA ) capable de reconnaître et de générer du texte, entre autres tâches. Les LLM sont formés sur d'énormes ensembles de données, d'où leur nom de « grands modèles ». Les LLM s'appuient sur l'apprentissage automatique: plus précisément, sur un type de réseau neuronal appelé modèle de transformateur.
En termes plus simples, un LLM est un programme informatique qui a reçu suffisamment d'exemples pour être capable de reconnaître et d'interpréter le langage humain ou d'autres types de données complexes. De nombreux LLM sont formés à partir de données recueillies sur l'internet - des milliers ou des millions de gigaoctets de texte. Mais la qualité des échantillons a une incidence sur la capacité des LLM à apprendre le langage naturel, de sorte que les programmeurs d'un LLM peuvent utiliser un ensemble de données mieux calibré.
Les LLM utilisent un type d'apprentissage automatique appelé apprentissage profond afin de comprendre comment les caractères, les mots et les phrases fonctionnent ensemble. L'apprentissage profond implique l'analyse probabiliste de données non structurées, ce qui permet au modèle d'apprentissage profond de reconnaître les distinctions entre les éléments de contenu sans intervention humaine.
Les LLM sont ensuite formés par tuning : ils sont ajustés avec précision ou avec des invites à la tâche particulière que le programmeur veut leur confier, comme l'interprétation de questions et la génération de réponses, ou la traduction d'un texte d'une langue à une autre.
Dans le débat public, cette nuance est éclipsée par les LLM, la seule réalisation du domaine de l'IA dont tout le monde parle ces derniers temps. Un LLM est un algorithme d'apprentissage automatique capable de générer un texte ressemblant à s'y méprendre à un texte humain. Il est entraîné sur d'énormes quantités de texte en utilisant des quantités stupéfiantes de puissance de traitement, afin de créer un modèle probabiliste qui peut prédire en grande partie ce qu'une personne humaine réelle pourrait dire en réponse à une entrée donnée. Pour ce faire, des réseaux neuronaux sont créés, mais ne vous y trompez pas : ces réseaux neuronaux n'ont rien à voir avec les cerveaux des mammifères. Ils ne sont pas destinés à reproduire la façon dont les humains pensent, mais plutôt à prédire ce qu'un humain pourrait dire en réponse à une information donnée.
Les réseaux neuronaux sont impliqués dans le mécanisme, mais pas dans la simulation d'une pensée humaine. Les statistiques et la théorie des probabilités sont les principaux moyens par lesquels tout cela fonctionne. En d'autres termes, le modèle devine la combinaison de lettres que quelqu'un d'autre pourrait écrire en réponse à votre demande.
Beren Millidge, responsable de la recherche IA chez Conjecture, présent le terme de "confabulation" comme étant plus adapté que "hallucination" pour décrire le comportement des grands modèles de langage lorsqu'ils génèrent des informations fausses mais plausibles. Il compare la confabulation des LLM à celle des humains souffrant de lésions cérébrales, lesquels inventent des histoires en réponse à des questions qu'ils ne peuvent pas traiter, soulignant que les LLM agissent comme des humains amnésiques et sans cohérence centrale. Les LLM sont des algorithmes d'apprentissage profond qui effectuent diverses tâches de traitement du langage naturel (NLP) en utilisant des modèles de transformation et des ensembles de données massifs.
Millidge explique que les LLM, également appelés réseaux neuronaux, fonctionnent avec des couches de nœuds similaires aux neurones humains. Ces modèles sont pré-entraînés et affinés pour résoudre des problèmes de classification de texte, de réponse à des questions, de résumé de documents, et plus encore. Il souligne que les LLM ont de nombreux paramètres, constituant leur banque de connaissances. Millidge préconise l'utilisation du terme "confabulation" pour décrire le phénomène où les LLM inventent des informations plausibles en réponse à des requêtes, similaire au comportement des humains atteints de troubles de la mémoire ou de cerveau divisé.
Le responsable de la recherche IA chez Conjecture souligne l'intérêt et la provocation du point de vue de Millidge, qui pose la question de la terminologie appropriée pour décrire le comportement des LLM lorsqu'ils produisent des informations fausses mais plausibles. Bien que l'auteur propose le terme de "confabulation" emprunté à la psychologie, il reconnaît les limites et nuances de cette comparaison. Il souligne que, contrairement à la confabulation humaine liée à des troubles cognitifs, la confabulation des LLM est plutôt une limitation technique ou algorithmique sans impact sur leur état interne ou leur bien-être émotionnel.
Dans les discussions sur la philosophie et la définition de l'IA, le diagramme suivant est fréquemment utilisé. Il exprime les quatre principales façons dont les gens définissent l'IA. L'IA doit-elle penser comme nous ? Ou doit-elle produire des réponses logiquement correctes ? Doit-elle être autonome ? La façon dont elle pense a-t-elle une quelconque valeur tant qu'elle agit comme un être humain ? Le fait d'être semblable à un être humain a-t-il une valeur tant qu'il produit des actions valables ?
Les LLM se situent dans la partie inférieure gauche de ce diagramme. Ils agissent humainement, mais ne sont pas censés agir rationnellement, ni penser comme des humains. On pourrait penser qu'ils font bien plus que cela. Dans ce cas, certains des modèles d'apprentissage automatique les plus puissants jamais créés ont été chargés de "produire quelque chose qui ressemble à un être humain et qui est intelligent" et ils y parviennent incroyablement bien. Mais soyons clairs : ils ne sont pas intelligents. Ils sont incapables de raisonner. Encore une fois, on pourrait vous pardonner d'être surpris par cela, étant donné la façon dont les médias ont traité les LLM comme le début de la révolte des robots.
L'engouement pour les LLM et ses conséquences problématiques
Les grands modèles de langage (LLM) ont la capacité impressionnante de donner l'illusion d'intelligence, malgré leur absence réelle de compréhension. Cette caractéristique, combinée à l'effervescence actuelle de l'industrie technologique, crée une conjonction propice à des développements problématiques. L'émergence rapide de start-ups surévaluées, promettant des fonctionnalités alléchantes que les LLM ne peuvent finalement pas fournir, a déclenché un véritable chaos. Des exemples abondent, tels que le déploiement par DPD d'un chatbot LLM qui a insulté les utilisateurs, les licenciements inutiles de journalistes technologiques misant à tort sur les capacités de ChatGPT, ou encore l'intégration de ces modèles dans des pipelines de CI pour des conseils humoristiques et futiles.
La démesure autour des LLM s'étend également aux investissements, avec une augmentation significative des financements pour les start-ups spécialisées dans l'IA, parfois valorisées à des niveaux extravagants malgré l'absence de revenus concrets. Ces entreprises, prétendant souvent être pionnières dans l'application de l'IA à divers domaines, exploitent le battage médiatique entourant cette technologie. Même des entreprises comme Apply Pro prétendent utiliser l'IA pour l'acquisition de talents, bien que des investigations révèlent que cette prétendue utilisation d'IA ne soit apparue qu'après l'engouement pour les LLM.
L'engouement pour l'IA a également atteint des proportions absurdes, avec des entreprises utilisant le terme à la mode pour attirer des capitaux sans réellement intégrer de nouvelles techniques d'IA. Certains prétendent même que des boîtes noires magiques sont derrière leurs produits, alors qu'il s'agit simplement de travailleurs sous-payés. Cet emballement médiatique autour de l'IA, dépourvu de substance, révèle une nouvelle façon de commercialiser d'anciennes pratiques d'exploitation sous le déguisement de l'innovation technologique.
L'influence de l'engouement pour l'IA n'épargne pas les gouvernements, comme le démontre l'utilisation par le gouvernement britannique de LLM dans diverses applications, malgré les préjugés bien documentés de ces modèles envers les minorités. Même des géants tels que Microsoft déclarent que l'année 2024 sera "l'année de l'IA", intégrant massivement les LLM dans leurs applications, allant même jusqu'à ajouter un "bouton AI" à leurs nouveaux claviers. Tout cela soulève des questions cruciales sur l'utilisation responsable et éthique de l'IA dans divers secteurs.
Sam Altman, le PDG d'OpenAI, initiateur de l'engouement pour les LLM, a exprimé l'idée que nous pourrions voir émerger une intelligence artificielle générale au cours de la prochaine décennie. Si cette affirmation vise à susciter l'enthousiasme, je trouve cette hypothèse extrêmement improbable. « Je lui accorde à peu près autant de crédit que l'on aurait dû accorder à la déclaration de Marvin Minsky en 1970, prévoyant une machine dotée de l'intelligence générale d'un être humain moyen dans les trois à huit ans, ou à l'affirmation d'Herbert Simon en 1965 selon laquelle les machines accompliraient n'importe quel travail humain d'ici vingt ans. Même des figures éminentes comme Minsky, pionnier de l'IA, ont par le passé émis des prévisions non réalisées », Mattsi Jansky.
L'absence de concrétisation de ces attentes a créé un climat de méfiance dans le domaine de l'IA, marqué par une réputation d'hyperbole et de promesses non tenues. En 1973, le Parlement britannique a fortement critiqué l'état de la recherche en IA, soulignant que les découvertes jusqu'alors n'avaient pas eu l'impact majeur promis. Ce scepticisme a contribué à l'hiver de l'IA dans les années 1970, entraînant un déclin du financement et de l'intérêt.
Un informaticien américain a subi un revers dans sa tentative d'obtenir l'enregistrement de brevets pour des innovations générées par son système d'intelligence artificielle. Cette affaire, d'une portée significative au Royaume-Uni, soulève la question cruciale de la possibilité pour une intelligence artificielle de détenir des droits de brevet.
Cependant, la situation actuelle diffère, car l'IA n'est plus seulement un domaine académique de niche, mais représente une part significative des investissements dans l'industrie technologique. Alors que d'autres secteurs subissent des licenciements records et des coupes dans les investissements, les start-ups spécialisées dans l'IA continuent de croître. Néanmoins, cette expansion pourrait être éphémère, car les investisseurs pourraient réaliser que les LLM ne sont pas aussi performants qu'annoncé.
Le billet de blog de Mattsi Jansky, ingénieur en informatique, offre une perspective critique sur l'utilisation excessive du terme "IA" dans le contexte des grands modèles de langage (LLM), notamment exemplifié par ChatGPT. Jansky exprime des préoccupations quant aux conséquences de la publicité exagérée et des investissements massifs dans ces modèles. Remontant à l'ère d'Alan Turing, l'auteur souligne que bien que l'IA ait connu des progrès, les LLM ne représentent pas de véritables intelligences artificielles, mais plutôt des algorithmes d'apprentissage automatique générant du texte humain sans une capacité de raisonnement autonome.
Mattsi Jansky se réfère au travail pionnier d'Alan Turing, notamment son ouvrage « Computing Machinery and Intelligence », dans lequel Turing envisageait la création d'une "machine à penser" capable de raisonner comme les humains. L'Ingénieur logiciel expose le contexte de la conférence de Dartmouth en 1956, considérée comme le point de départ de l'intelligence artificielle, soulignant les premières démarches sérieuses et organisées des humains pour créer une machine pensante.
Sources : Mattsi Jansky's blog post
Et vous ?
Quel est votre avis sur le sujet ? Est-ce que l'évaluation de Mattsi Jansky sur les grands modèles linguistiques est pertinente ? Êtes-vous d'accord avec l'énoncé de Mattsi Jansky selon lequel la plupart des organisations que j'ai vues investir dans des fantasmes de LLM ont une chose en commun : leur produit présente des tonnes de problèmes auxquels il serait préférable de consacrer son temps ?Voir aussi :
L'IA ne peut pas être l'inventeur d'un brevet, déclare la Cour suprême du Royaume-Uni, selon la loi britannique sur les brevets, "l'inventeur doit être une personne physique" Microsoft présente le grand modèle de langage multimodal Kosmos-1, les chercheurs montrent que le passage des LLM aux MLLM offre de nouvelles capacités L'IA ne peut pas être l'inventeur d'un brevet, déclare la Cour suprême du Royaume-Uni, selon la loi britannique sur les brevets, "l'inventeur doit être une personne physique" 
Envoyé par Stéphane le calme
