OpenAI, le laboratoire basé à San Francisco, en Californie, qui développe des technologies d'IA, y compris de grands modèles linguistiques, a annoncé la possibilité de créer des versions personnalisées de GPT-3, un modèle capable de générer du texte et du code de type humain. Les développeurs peuvent utiliser le réglage fin pour créer des modèles GPT-3 adaptés au contenu spécifique de leurs applications et services, ce qui permet d'obtenir des résultats de meilleure qualité pour toutes les tâches et charges de travail, selon la société.« Selon Gartner, 80 % des produits et services technologiques seront créés par des personnes qui ne sont pas des professionnels de la technologie d'ici 2024. Cette tendance est alimentée par l'adoption accélérée de l'IA dans le monde des affaires, qui nécessite parfois des charges de travail d'IA spécifiquement adaptées », a déclaré un porte-parole d'OpenAI. « Avec une seule ligne de code, GPT-3 personnalisé permet aux développeurs et aux équipes commerciales d'exécuter et de former de puissants modèles d'IA basés sur des ensembles de données spécifiques, éliminant ainsi le besoin de créer et de former leurs propres systèmes d'IA à partir de zéro, ce qui peut être assez coûteux, long et intensif ».
GPT-3 est un modèle de langage autorégressif qui utilise l'apprentissage profond pour produire des textes similaires à ceux des humains. Il s'agit du modèle de prédiction du langage de troisième génération de la série GPT-n créé par OpenAI, un laboratoire de recherche en intelligence artificielle basé à San Francisco et composé de la société à but lucratif OpenAI LP et de sa société mère, la société à but non lucratif OpenAI Inc.
À partir de n'importe quelle invite textuelle, comme une expression ou une phrase, GPT-3 renvoie un complément de texte en langage naturel. Les développeurs peuvent « programmer » GPT-3 en lui montrant seulement quelques exemples ou « invites ». « Nous avons conçu l'API pour qu'elle soit à la fois simple à utiliser par tout le monde et suffisamment flexible pour rendre les équipes d'apprentissage automatique plus productives », soulignait OpenAI fin mars. À cette période, plus de 300 applications utilisent GPT-3 dans diverses catégories et industries, de la productivité à l'éducation en passant par la créativité et les jeux. Ces applications se servent de diverses capacités de GPT-3 :
- Viable aide les entreprises à mieux comprendre leurs clients en utilisant GPT-3 pour fournir des informations utiles à partir des commentaires des clients dans des résumés faciles à comprendre. À l'aide de GPT-3, Viable identifie les thèmes, les émotions et le sentiment à partir des sondages, des journaux de clavardage en direct, des commentaires et plus encore. Il extrait ensuite des informations de ces commentaires et fournit un résumé en quelques secondes.
- Fable Studio crée un nouveau genre d'histoires interactives et utilise GPT-3 pour aider à alimenter leurs « êtres virtuels » axés sur l'histoire. Lucy, le héros de Neil Gaiman et Dave McKean's Wolves in the Walls, qui a été adaptée par Fable en une expérience VR primée aux Emmy Awards, peut avoir des conversations naturelles avec les gens grâce aux dialogues générés par GPT-3. Lucy a été invitée au festival du film Sundance 2021 et a présenté son propre film, Dracula. « GPT-3 nous a donné la possibilité de donner vie à nos personnages, a déclaré Edward Saatchi, PDG de Fable Studio. Nous sommes ravis de combiner la vision d'un artiste, l'IA et l'intelligence émotionnelle pour créer des récits puissants, et nous sommes convaincus qu'un jour, tout le monde connaîtra un être virtuel. »
- Algolia utilise GPT-3 dans son produit Algolia Answers pour offrir à ses clients une recherche sémantique pertinente et ultrarapide. Lorsque l'API OpenAI a été lancée, Algolia s'est associée à OpenAI pour intégrer GPT-3 à sa technologie de recherche avancée afin de créer son nouveau produit Answers qui comprend mieux les questions des clients et les connecte à la partie spécifique du contenu qui répond à leurs questions. Algolia Answers aide les éditeurs et les services d'assistance à la clientèle à poser des questions en langage naturel et à trouver des réponses non triviales. Après avoir effectué des tests de GPT-3 sur 2,1 millions d'articles d'actualité, Algolia a obtenu une précision de 91 % ou mieux et Algolia a pu répondre avec précision à des questions complexes en langage naturel quatre fois plus souvent que BERT.
GPT-3 personnalisé
Sans être personnalisé, GPT-3 peut déjà effectuer une grande variété de tâches: recherche sémantique, analyse des sentiments, traduction, génération de contenu ou encore résumé automatique de textes. L’affinage, basé sur des exemples de texte associés à des tâches spécifiques, promet de produire des résultats encore meilleurs.
La nouvelle capacité d'affinage dans le réglage de GPT-3 permet aux clients de former GPT-3 à reconnaître un modèle spécifique pour les charges de travail telles que la génération de contenu, la classification et la synthèse de texte dans les limites d'un domaine particulier.
Le prestataire Viable utilise GPT-3 pour aider les entreprises à tirer parti des feedbacks de leurs clients. A partir de données non structurées, le système permet de produire des rapports résumant les commentaires et interactions avec les clients. En personnalisant GPT-3, Viable serait parvenu à faire passer la précision de ses rapports de 66% à 90%.
Il en va de même pour Keeper Tax, un outil qui simplifie la comptabilité des freelances en classant et en extrayant automatiquement les données utiles pour la déclaration d'impôts, à partir d’un compte bancaire ou de paiement. Keeper Tax utilise GPT-3 pour interpréter les données des relevés bancaires afin de trouver des dépenses potentiellement déductibles d'impôt. La société continue d'affiner GPT-3 avec de nouvelles données chaque semaine en fonction des performances de son produit dans le monde réel, en se concentrant sur des exemples où le modèle est tombé en dessous d'un certain seuil de performance. Les développeurs ajoutent environ 500 nouveaux exemples à un rythme hebdomadaire pour affiner le modèle. Keeper Tax affirme que le processus de mise au point produit une amélioration d'environ 1% d'une semaine à l'autre (ce qui peut ne pas sembler énorme) et l'amélioration va crescendo avec le temps.
« [Une chose à laquelle] nous avons été très attentifs et sur laquelle nous avons insisté lors de notre développement de cette API est de la rendre accessible aux développeurs qui n'ont pas nécessairement une formation en apprentissage automatique », a déclaré Rachel Lim, membre du personnel technique d'OpenAI. « Comment cela se manifeste, c'est que vous pouvez personnaliser un modèle GPT-3 à l'aide d'une invocation de ligne de commande. [Nous] espérons qu'en raison de son accessibilité, nous serons en mesure d'atteindre un ensemble plus diversifié d'utilisateurs qui peuvent apporter leur ensemble plus diversifié de problèmes à la technologie ».
Lim affirme que la capacité d'affinage du GPT-3 peut également entraîner des économies de coûts, car les clients peuvent compter sur une fréquence plus élevée de sorties de meilleure qualité à partir de modèles réglés avec précision par rapport à un modèle standard GPT-3 (OpenAI facture l'accès à l'API en fonction du nombre de jetons, ou de mots, que les modèles génèrent). Alors qu'OpenAI prélève une prime sur les modèles affinés, Lim dit que la plupart des modèles affinés nécessitent des invites plus courtes contenant moins de jetons - ce qui peut permettent également de réaliser des économies.
L'affinage de réglage peut également être avantageux, selon Lim, en ce qu'il peut permettre aux entreprises de garder les modèles GPT-3 personnalisés « plus frais ». Par exemple, Koko, une plateforme de soutien par les pairs qui propose une thérapie cognitive participative, a pu affiner un modèle GPT-3 pour refléter un nombre croissant de troubles de l'alimentation pendant la pandémie.
Dans une expérience interne, OpenAI a affiné deux tailles de GPT-3 sur 8 000 exemples de problèmes de mathématiques à l'école primaire, un ensemble de données créé par le laboratoire contenant des problèmes au niveau de mathématiques de l'école primaire. OpenAI affirme que les modèles affinés ont plus que doublé en précision lorsqu'ils sont testés sur des questions du même ensemble de données, répondant correctement à des questions telles que « Carla doit nettoyer à sec 80 pièces de linge avant midi. Si elle commence à travailler à 8 heures du matin, combien de pièces de linge doit-elle nettoyer par heure ? »
« [Nous] recherchons en permanence des moyens d'améliorer l'expérience utilisateur pour permettre aux utilisateurs d'obtenir plus facilement de bons résultats suffisamment robustes pour être utilisés dans des applications de qualité production », a déclaré Lim. « Le réglage fin est un moyen d'aligner davantage les modèles sur des données spécifiques. »
L’API de GPT-3 est disponible publiquement depuis 2020. Un an avant son lancement, ses concepteurs avaient décidé de ne pas rendre public les travaux du développement de la mouture précédente, GPT-2, estimant que ce système dopé au machine learning pourrait s’avérer dangereux en tombant entre les mains de personnes malveillantes.
Certains analystes ont indiqué que l’on devrait s’inquiéter de la qualité des résultats fournis par les systèmes de génération de texte. Pour ces derniers, les générateurs de texte ont la capacité d'absorber et d'amplifier des préjugés dangereux.
Dans le domaine de la santé par exemple, Nabla, une startup française qui a conçu un chatbot médical basé sur GPT-3 d’OpenAI, a déclaré que GPT-3 n’est pas encore aussi bon que la recherche sur Google. Les tests réalisés par Nabla ont permis d’observer que pour la recherche d’informations scientifique spécifique, les posologies des médicaments ou les aides à la prescription, GPT-3 n'est pas assez stable pour être utilisé en toute sécurité comme un outil d'aide fiable pour les médecins.
« Il n'a tout simplement pas été conçu pour donner des conseils médicaux », a déclaré l’équipe Nabla. « En raison de la façon dont GPT-3 a été conçu, il manque l'expertise scientifique et médicale qui le rendrait utile pour le soutien au diagnostic, la documentation médicale, la recommandation de traitement ou toute question médicale », a ajouté l'équipe Nabla dans un rapport sur ses expériences. « Oui, GPT-3 peut avoir raison dans ses réponses, mais il peut aussi être très mauvais, et cette incohérence n'est tout simplement pas viable dans le domaine des soins de santé ».
Lors des tests chatbot médical construit à l'aide de GPT-3, le modèle a répondu à un patient "suicidaire" en l'encourageant à se suicider. Selon Nabla, le modèle d'OpenAI, créé à l’origine comme un générateur de texte à usage général, est trop risqué pour être utilisé dans le domaine de la santé.
Cet été, OpenAI s'est associé à Microsoft pour lancer le service Azure OpenAI, une offre conçue pour donner aux entreprises l'accès à GPT-3 et à ses dérivés ainsi qu'à la sécurité, la conformité, la gouvernance et d'autres fonctionnalités axées sur l'entreprise. Microsoft entretient des relations étroites avec OpenAI, ayant investi 1 milliard de dollars dans l'entreprise en 2020 et licencié exclusivement GPT-3 pour développer des solutions d'IA pour les clients Azure.
Source : OpenAI
Voir aussi :
Open AI présente DALL-E (comme GPT-3), un modèle qui crée des images à partir de texte, pour un large éventail de concepts exprimables en langage naturel Un faux blog d'un lycéen généré par GPT-3, l'IA de traitement du langage naturel d'OpenAI, a trompé des dizaines de milliers de personnes Open AI propose en bêta privée son modèle de traitement du langage naturel GPT-3, ses applications vont de la génération de texte cohérent à la génération de code en passant par la création d'apps Un chatbot médical GPT-3 d'OpenAI serait-il une bonne idée ? Il a dit à un patient simulé de se suicider, lors d'un test réalisé par Nabla