OpenAI, laboratoire de recherche en intelligence artificielle, avait déjà annoncé en février la création de GPT-2, son algorithme capable d'écrire des paragraphes de texte d'une cohérence impressionnante. Mais plutôt que de publier l'outil IA dans son intégralité, l'équipe avait retenu la version complète du programme et s’était contentée de ne partager qu'un modèle plus réduit du modèle de peur que les gens n'utilisent l'outil le plus robuste à des fins malveillantes pour produire, par exemple, de faux articles de nouvelles ou du spam. Pendant ce temps, OpenAI a observé la réception de la version publiée afin de détecter les utilisations non recommandées, mais il n'a « vu jusqu'à présent aucune preuve d'utilisation abusive », selon un billet de blog publié mardi. C’est ainsi que l’entreprise, dont l’objectif est de développer une IA qui bénéficiera à toute l'humanité, a donc décidé de publier le modèle dans son intégralité. GPT-2 fait partie d'une nouvelle génération de systèmes de génération de texte qui ont impressionné les experts par leur capacité à générer du texte cohérent à partir d'invites minimales. Le système a été formé sur huit millions de documents textuels sélectionnés en parcourant le Web et réagit aux échantillons de texte fournis par les utilisateurs en produisant un article complet.
L’algorithme de génération de texte d’OpenAI se distingue par sa qualité. Le modèle a été formé en lui donnant plus de connaissances sur la façon de comprendre le texte écrit. GPT-2 est beaucoup plus général que les modèles de texte précédents. En structurant le texte saisi, il peut effectuer des tâches telles que la traduction et la synthèse, et réussir des tests simples de compréhension de la lecture, souvent aussi bien ou mieux que d'autres outils d'IA conçus spécialement pour ces tâches.
Le modèle GPT-2 produit des rendus très convaincants pour les humains. Les partenaires d’OpenAI de l'Université Cornell ont mené une enquête auprès des gens afin d'attribuer au texte sorti de GPT-2 un score de crédibilité pour toutes les tailles du modèle. Selon le billet de blog du laboratoire de recherche, les gens ont attribué au modèle 1.5B une « note de crédibilité » de 6,91 sur 10. Ce qui est légèrement supérieur à celui du modèle 774M (6,72) et nettement supérieur à celui du modèle moyen 355M (6,07). « Ces résultats nous incitent davantage à publier le modèle 1.5B, car l'augmentation progressive de la crédibilité perçue par l'être humain par rapport à 774M semble faible », a écrit l’équipe d’OpenAI.
En février, The Guardian a testé l’algorithme d’OpenAI. GPT-2 est un générateur de texte qui doit être alimenté en texte, de quelques mots à une page entière, et qui est capable d'écrire les phrases suivantes en fonction de ses prédictions sur ce qui devrait arriver ensuite. The Guardian a conclu à l’époque que le système repousse les limites de la génération de texte au-delà de ce que l'on croyait possible, tant sur le plan de la qualité de la production que sur le plan de la grande variété des utilisations possibles. Le modèle est capable d'écrire des passages plausibles qui correspondent à ce qui lui est donné à la fois dans le style et le sujet, même s’il produit parfois des textes hors contexte.
Selon les experts, GPT-2 pourrait être utilisé à des fins malveillantes. C’est ce qui a conduit à cette approche de diffusion de l’outil par OpenAI, en commençant par une version réduite. Par ailleurs, les experts ont souligné qu'un accès facile à des outils d'intelligence artificielle de pointe peut permettre à des acteurs malveillants d'en profiter. Les partenaires du Middlebury Institute of International Studies' Center on Terrorism, Extremism, and Counterterrorism (CTEC) ont constaté que les groupes extrémistes peuvent utiliser le GPT-2 à mauvais escient, notamment en peaufinant les modèles du GPT-2 selon quatre positions idéologiques : suprématie blanche, marxisme, islamisme jihadiste et anarchisme. Le CTEC a démontré qu'il est possible de créer des modèles qui peuvent générer une propagande synthétique pour ces idéologies, d’après OpenAI.
OpenAI a limité la publication de son modèle en raison de cette préoccupation. Cependant, tout le monde n'est pas d’accord avec l'approche du laboratoire. De nombreux experts ont critiqué cette décision, affirmant qu'elle limitait le nombre de recherches que d'autres pourraient faire pour atténuer les inconvénients du modèle, et qu'elle créait un battage inutile sur les dangers de l'intelligence artificielle.
Les mots « trop dangereux » ont été lancés ici par hasard, sans beaucoup de réflexion ou d'expérimentation », a déclaré le chercheur Delip Rao dans un communiqué. « Je ne pense pas que[OpenAI] a passé assez de temps à prouver que c'était vraiment dangereux ».
Le laboratoire a également admis dans son article que ses craintes que le système ne soit utilisé pour pomper un grand volume de spams cohérents, écrasant des systèmes d'information en ligne comme les médias sociaux, ne se sont pas encore concrétisées. OpenAI a finalement publié la version 1.5B avec le code source et les poids du modèle pour faciliter la détection des textes produits par les modèles de GPT-2, selon le billet de blog.
L’algorithme n’est toujours pas encore parfait
Bien que le GPT-2 soit l'un des meilleurs modèles d’IA de génération de texte, sinon le meilleur, qui existe, il ne peut toujours pas produire un contenu qui soit impossible à distinguer d'un texte écrit par un humain. Le modèle présente des incohérences à long terme, comme des problèmes liés à l’utilisation des noms et les attributs des personnages de façon cohérente dans une histoire, ou des problèmes de pouvoir s'en tenir à un seul sujet dans un article de nouvelles. OpenAI prévient d’ailleurs que ce sont des algorithmes qu'il faudra surveiller. « Nous pensons que les générateurs de texte synthétique ont plus de chances d'être utilisés à mauvais escient si leurs sorties deviennent plus fiables et cohérentes », a écrit la startup dans son billet de blog.
Le laboratoire a également noté que ses propres chercheurs avaient créé des systèmes automatiques capables de détecter du texte généré par GPT-2 avec une précision d'environ 95 %, mais que ce chiffre n'était pas assez élevé « pour une détection autonome » et que tout système utilisé pour détecter automatiquement un faux texte devrait être jumelé à des juges humains. OpenAI souhaite que cette publication puisse aider les autres chercheurs dans leur étude. « Nous publions ce modèle pour faciliter l'étude de la recherche sur la détection de texte synthétique, bien que cela permette aux adversaires qui y ont accès de mieux échapper à la détection », ont écrit les chercheurs d’OpenAI.
Selon le billet de blog d’OpenAI, l'exactitude de la détection dépend en grande partie des méthodes d'échantillonnage utilisées pour la formation et les tests. Pour le laboratoire, la détection sera plus fiable lorsque la formation portera sur une gamme de techniques d'échantillonnage.
OpenAI dit qu'elle continuera à surveiller la façon dont le GPT-2 est utilisé par la communauté et le public, et qu'elle continuera à développer ses politiques sur la publication responsable de la recherche sur l'IA. Pour ceux qui veulent se faire leur propre idée du GPT-2, vous pouvez accéder à une version Web sur TalkToTransformer.com et y entrer vos propres invites.
Sources : OpenAI
Et vous ?
Avez-vous déjà testé le modèle GPT-2 ? Qu’en pensez-vous ? Que pensez-vous des craintes d’utilisations non recommandées du GPT-2 exprimées par OpenAI ?Lire aussi
L'IA de génération de texte d'Elon Musk trop dangereuse pour être rendue publique, selon ses créateurs Deepfake : l'app gratuite Zao vous permet de changer le visage d'un personnage de film par le votre, après avoir téléchargé une photo « L'IA ne peut pas nous protéger contre les deepfakes », selon un rapport de Data & Society, qui préconise une solution tenant compte à la fois de l'histoire et des processus sociaux Deepfake : des chercheurs présentent un logiciel qui permet d'éditer le discours d'une vidéo, et faire dire au sujet ce que vous voulez 
Envoyé par strato35
