Les chercheurs en IA Nick Levine, David Duvenaud et Alec Radford présentent ci-dessous Talkie, un modèle de langage vintage de 13 milliards de paramètres datant de 1930. L'intelligence artificielle (IA) est l'ensemble des systèmes informatiques capables d'effectuer des tâches typiquement associées à l'intelligence, telles que l'apprentissage, le raisonnement, la résolution de problèmes, la perception ou la prise de décision. L'intelligence artificielle est également le champ de recherche visant à développer de tels systèmes. L'IA est un domaine de l'informatique qui s'appuie sur des fondements mathématiques (statistiques, algèbre linéaire, probabilités) et des concepts issus des sciences cognitives. Elle vise à résoudre des problèmes à forte complexité logique ou algorithmique. Par extension, dans le langage courant, l'IA inclut les dispositifs imitant, simulant ou remplaçant l'homme dans certaines mises en œuvre de ses fonctions cognitives.
En traitement automatique des langues, un modèle de langage, modèle de langue ou modèle linguistique est un modèle statistique de la distribution de symboles distincts (lettres, phonèmes, mots) dans une langue naturelle ou un langage formel. Un modèle de langage vise fondamentalement à prédire le mot suivant dans une séquence de mots. Un grand modèle de langage (abrégé LLM de l'anglais large language model) est un modèle de langage possédant un grand nombre de paramètres (généralement plus d'un milliard).
Au lieu d'être entraînés pour une tâche spécifique comme l'analyse des sentiments, la reconnaissance d'entités nommées ou le raisonnement mathématique, ils peuvent accomplir un large éventail de tâches. Ils sont d'abord « pré-entraînés » à prédire une suite probable pour une entrée donnée. Cela leur permet d'acquérir une grande quantité de connaissances. La qualité du contenu généré semble augmenter régulièrement avec le nombre de paramètres, la taille et la qualité des données d'entraînement, ainsi que la quantité de calculs utilisée pour entraîner le modèle. Les grands modèles de langage sont ensuite le plus souvent entraînés par réglage fin (fine-tuning) pour adopter un rôle d'assistant conversationnel et afin d'être « utiles, sincères et inoffensifs ».
Les chercheurs en IA Nick Levine, David Duvenaud et Alec Radford présentent ci-dessous Talkie, un modèle de langage vintage de 13 milliards de paramètres datant de 1930.
Présentation de Talkie : un modèle de langage 13B vintage datant de 1930
Avez-vous déjà rêvé de parler à quelqu’un du passé ? Que demanderiez-vous à une personne qui n’a aucune connaissance du monde moderne ? Que vous demanderait-elle ? Bien que nous ne disposions pas encore de machines à remonter le temps, nous pouvons simuler cette expérience en entraînant, selon l’expression d’Owain Evans, des modèles de langage « vintage » : des modèles de langage (LM) entraînés uniquement sur des textes historiques.
Ces modèles sont des interlocuteurs passionnants. Mais nous sommes également enthousiasmés par la perspective que l'étude approfondie des comportements et des capacités des modèles de langage (LM) classiques puisse faire progresser notre compréhension de l'IA en général.
Par exemple, nous pouvons évaluer la capacité des modèles de langage à prédire l'avenir. Inspirés par les travaux de Calcifer Computing sur les modèles de langage temporels, nous avons calculé le degré de surprise de brèves descriptions d'événements historiques pour un modèle de 13 milliards de paramètres entraîné sur des textes antérieurs à 1931 (figure 1). Nous observons une augmentation après la limite de connaissances, particulièrement prononcée dans les années 1950 et 1960, suivie d'un plateau. Nous continuerons à développer des évaluations pour mesurer avec plus de certitude comment les performances de prévision s'améliorent avec la taille du modèle et diminuent à plus long terme. L'entraînement de modèles de langage vintage plus volumineux nous permettra de mettre en évidence ces tendances d'échelle.
De même, nous pouvons tester la capacité des modèles de langage à proposer de nouvelles idées en vérifiant s’ils peuvent aboutir à des inventions ou à des découvertes scientifiques dont nous savons qu’elles ont eu lieu après leur limite de connaissances, comme celles illustrées à la figure 2. Comme l’a demandé Demis Hassabis, un modèle entraîné jusqu’en 1911 pourrait-il découvrir de manière indépendante la relativité générale, comme Einstein l’a fait en 1915 ?
La contamination est un problème persistant pour les modèles de langage et nous conduit à surestimer leurs capacités. Les modèles de langage vintage sont, par construction, exempts de contamination, ce qui permet des expériences de généralisation uniques, comme examiner si un modèle n’ayant aucune connaissance des ordinateurs numériques peut apprendre à coder dans un langage de programmation moderne. La figure 3 (à gauche) montre un premier exemple d'un tel test, mesurant dans quelle mesure des modèles entraînés sur des textes antérieurs à 1931 sont capables, lorsqu'on leur fournit quelques exemples de programmes Python, d'écrire de nouveaux programmes corrects. Bien que les modèles vintage soient nettement moins performants que les modèles entraînés sur des données du Web (qui incluent du code), nous avons constaté qu'ils s'améliorent lentement mais sûrement dans cette tâche à mesure que l'échelle augmente.
Il reste toutefois un long chemin à parcourir avant que cette capacité ne soit notable. Toutes les solutions correctes générées par les modèles vintage sont de simples programmes d’une ligne (tels que l’addition de deux entrées), ou de petites modifications apportées à des exemples de programmes en contexte. Par exemple, notre modèle a implémenté la fonction de décodage d’un chiffrement par rotation lorsqu’on lui a fourni la fonction de codage. Bien que la solution (figure 3, côté droit) ne consiste qu'en une modification d'un seul caractère (remplacer une addition par une soustraction), ce succès suggère une compréhension des fonctions inverses. Nous espérons que les modèles de langage avec des limites de connaissances précoces aideront la communauté scientifique à comprendre dans quelle mesure les modèles de langage peuvent généraliser au-delà de leurs données de pré-entraînement.
Les modèles de langage vintage pourraient également nous éclairer sur l'impact de la diversité des données dans le développement de l'IA. Si les modèles modernes varient en termes de disposition, de capacités et de comportement, ils sont tous étroitement liés les uns aux autres du fait d’avoir été entraînés, directement ou indirectement (via la distillation et les données synthétiques), sur le Web. Comment cela façonne-t-il et limite-t-il ce qu’ils sont ? Dans quelle mesure ce que nous pensons savoir sur les modèles de langage concerne-t-il le langage et la culture humains en général, ou cet ensemble de données particulier — le Web — en particulier ? L'entraînement sur différentes sources peut conduire à la création de types de modèles très différents. Étudier leurs similitudes et leurs différences pourrait améliorer notre compréhension des personnalités, des comportements et des dispositions des modèles de langage.
Présentation de talkie
Nous avons été ravis de voir proliférer les projets de modèles de langage vintage, notamment Ranke-4B, Mr. Chatterbox et Machina Mirabilis.
Parallèlement à ces efforts, nous présentons talkie-1930-13b-base, un modèle linguistique de 13 milliards de paramètres entraîné sur 260 milliards de jetons de textes anglais historiques antérieurs à 1931. De plus, nous présentons un point de contrôle post-entraînement qui transforme notre modèle de base en un partenaire de conversation sans s'appuyer sur des transcriptions de chats modernes ou des données d'ajustement par instruction.
talkie est le plus grand modèle linguistique vintage dont nous ayons connaissance, et nous prévoyons de continuer à l'étendre de manière significative. Dans un deuxième temps, nous entraînons un modèle de niveau GPT-3, que nous espérons publier cet été. Une estimation préliminaire suggère également que nous pouvons étendre notre corpus à bien plus d'un trillion de jetons de textes historiques, ce qui devrait être suffisant pour créer un modèle de niveau GPT-3.5, dont les capacités seraient similaires à celles du ChatGPT original.
Évaluation comparative d'un LM de 1930
Pour replacer les capacités de talkie dans leur contexte, nous avons créé un « jumeau moderne » dont l’architecture est identique, mais qui a été formé sur des données Web modernes (FineWeb) plutôt que sur des textes antérieurs à 1931. En moyenne, talkie affiche des performances inférieures à celles de son homologue moderne lors des évaluations standard des modèles de langage, même après correction de l’anachronisme des questions, bien qu’il ait été formé avec le même nombre de FLOP (voir figure 4). Mais nous avons été encouragés par ses performances similaires sur les tâches fondamentales de compréhension du langage et de calcul.
Nous soupçonnons qu’une combinaison de différences dans la qualité des données (mauvaise reconnaissance optique de caractères) et la répartition des sujets du corpus explique pourquoi Talkie-1930 est moins performant sur certains benchmarks. Afin de maximiser l’efficacité de calcul des futurs entraînements de modèles de langage vintage, nous développons un système de reconnaissance optique de caractères (OCR) vintage pour améliorer la qualité de la transcription des textes historiques.
Collecte de données vintage
En nous appuyant sur le travail inestimable d'organisations telles que l'Institutional Data Initiative et l'Internet Archive, ainsi que sur des initiatives comme Common Pile, nous avons collecté des centaines de milliards de jetons en anglais antérieurs à 1931. Ceux-ci comprennent des livres, des journaux, des périodiques, des revues scientifiques, des brevets et de la jurisprudence. Nous avons choisi la fin de l'année 1930 comme date butoir, car c'est à ce moment-là que les œuvres tombent dans le domaine public aux États-Unis. Pour cette version du modèle, nous nous sommes également limités principalement à des textes en anglais, car la validation du pipeline de données nécessite une connaissance approfondie des documents sources, et nous sommes des locuteurs natifs de l'anglais. Cependant, l'extension du corpus multilingue est une priorité absolue, tant pour augmenter la taille du corpus que pour accroître la diversité des perspectives qu'il représente.
Entraînement de modèles de langage vintage
Le développement de modèles de langage vintage présente des défis uniques. Nous en abordons brièvement certains ici. Nous y reviendrons plus en détail dans les mois à venir, à mesure que nous poursuivrons nos recherches.
Fuite temporelle
L'objectif le plus important lors de l'entraînement de modèles de langage vintage est qu'aucune donnée postérieure à la date limite de connaissances prévue (dans notre cas, le 31 décembre 1930) ne s'infiltre dans le corpus d'entraînement. Cela peut se produire de plusieurs façons, par exemple en incluant des documents modernes comportant des métadonnées de date erronées, ou des documents anciens comportant des insertions anachroniques a posteriori, telles que des introductions rédactionnelles ou des notes de bas de page.
Pour talkie-1930, nous avons développé un classificateur d'anachronismes basé sur les n-grammes au niveau du document et l'avons utilisé pour filtrer le corpus de pré-entraînement. Cependant, ce système n'était pas parfait. Une version antérieure de talkie (7B) connaissait clairement la présidence de Roosevelt et la législation du New Deal (Figure 5). talkie-1930-13b connaît en outre certains détails liés à la Seconde Guerre mondiale et à l'ordre de l'immédiat après-guerre (les Nations Unies et la division de l'Allemagne). Pour les futures versions du modèle, nous développons de nouvelles techniques de détection et de filtrage des fuites à l'aide de classificateurs plus avancés.
Qualité des données
La qualité des données est un enjeu important pour toutes les expériences d'apprentissage automatique. Elle représente un défi particulier lors de l'entraînement de modèles de langage d'époque. Comme il n'y avait pas d'édition numérique en 1930, tous les textes de notre ensemble de données ont dû être transcrits à partir d'une source physique, ce qui introduit une forme de bruit que l'on ne retrouve pas dans les textes natifs numériques. Si l'OCR a été l'une des premières réussites de l'apprentissage automatique et de la vision par ordinateur, les systèmes OCR classiques souvent utilisés pour transcrire des documents historiques peinent à traiter tout ce qui n'est pas une mise en page très simple et un scan très propre. Les systèmes modernes basés sur les VLM offrent une plus grande précision, mais nous avons constaté qu'ils ont tendance à introduire des faits modernes dans notre corpus, ce qui fausse l'exercice.
Lors d'expériences contrôlées, nous avons constaté que lorsqu'on entraîne un modèle de langage (LM) sur des textes antérieurs à 1931 transcrits à l'aide de systèmes OCR conventionnels, pour une quantité de calcul donnée, ces modèles n'atteignent que 30 % des performances d'un modèle entraîné sur des versions des mêmes textes transcrites par des humains (voir figure 6). Un simple nettoyage par expressions régulières porte ce chiffre à 70 %, ce qui reste un écart important. Nous visons à réduire l'écart de performance restant en retranscrivant le corpus Talkie à l'aide de notre système OCR vintage.
Post-entraînement...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.