GPT-J est un modèle de traitement automatique du langage open source avancé, équivalent à GPT-3 d'OpenAI. Ce modèle contribuera à démocratiser le traitement automatique du langage grâce à de nouvelles applications de pointe.
L'API NLP Cloud
Créée en 2020, la startup française NLP Cloud, fournit des modèles de traitement automatique du langage (NLP ou TAL en français) performants, basés sur spaCy et Hugging Face Transformers, répondant aux exigences de production. La société annonce sa compatibilité avec GPT-J, un modèle de 6 milliards de paramètres pour l'intelligence artificielle appliquée au NLP et concurrent de GPT-3. Le code source de GPT-3 appartient à Microsoft. Il est disponible uniquement pour les clients sélectionnés et à un prix élevé. À l’opposé, GPT-J (et son prédécesseur GPT-Neo) est un modèle open source, publié par une équipe de chercheurs d'EleutherAI.
GPT-J a tout d’un humain
GPT-3 et GPT-J ont récemment bouleversé le monde du NLP. Grâce à leur taille, ces modèles d'IA sont à la fois très efficaces pour générer un langage humain fluide et pour traiter efficacement la plupart des cas d'utilisation du traitement automatique du langage moderne. Grâce à GPT-J, les développeurs peuvent effectuer diverses opérations de pointe telles que des chatbots, l'extraction de données à partir de documents non structurés (comme des pages Web, des e-mails, des contrats, des états financiers…), la génération de code, l'analyse des sentiments, ou la création de contenu marketing, dans de nombreuses langues. De nouveaux cas d'utilisation sont découverts presque tous les jours.
Exécuter GPT-J en production de façon fiable et performante est un défi technique. L'équipe NLP Cloud travaille depuis trois mois sur l'intégration de GPT-J pour offrir à ses clients une solution prête pour la production.
L’IA éthique : le traitement automatique du langage doit rester open source
Julien Salinas, fondateur et CEO de NLP Cloud, déclare : « Chez NLP Cloud, nous sommes heureux de proposer une alternative open source au monopole OpenAI-Microsoft, car nous pensons que tout le monde devrait être capable de comprendre - s'il le souhaite - comment fonctionne un modèle d'IA de l'intérieur »
Les modèles avancés de NLP posent de nouveaux défis éthiques. Afin de lutter contre les modèles et les préjugés potentiellement dangereux comme le racisme et la misogynie, NLP Cloud pense que la seule solution est que les modèles de NLP restent open source et soient continuellement audités par la communauté.
À propos de NLP Cloud
Fondée en 2020, NLP Cloud est une API qui prend en charge l'interaction entre les ordinateurs et le langage humain. En mélangeant le traitement automatique du langage et le DevOps, NLP Cloud aide les développeurs et les data scientists du monde entier à ajouter de l'intelligence de traitement du langage à leurs applications, en production. La société est basée à Grenoble, en France, et prend en charge tous les cas d'utilisation du traitement automatique du langage à grande échelle - de l'analyse des sentiments et de la classification de texte au résumé et à la génération de texte.
Source : NLP Cloud
Et vous ?
Qu'en pensez-vous ?
Voir aussi :
Google publie en open source Switch Transformer, un modèle d'IA de traitement du langage naturel, avec un trillion de paramètres
Amazon propose aux développeurs AutoGluon, une boîte à outils open source qui vient automatiser le deep learning, et les aider à intégrer l'IA dans leurs applications
Microsoft publie en open source GCToolkit, son outil permettant d'analyser les journaux GC (Garbage Collection) de la JVM, composé de trois modules distincts
Les logiciels open source favorisent la compétitivité et l'innovation au sein de l'UE, et pourraient permettre d'atteindre la souveraineté numérique, selon une étude de Commission