Les développeurs disposent d’une vaste gamme de modèles de transformeurs Hugging Face prêts à l’emploi et optimisés pour fournir les meilleures performances possibles sur les IPU Graphcore.En plus du modèle de transformeur BERT disponible depuis le lancement d’Optimum Graphcore, les développeurs ont accès à neuf modèles prenant en charge le traitement automatique des langues, la vision industrielle et la reconnaissance vocale. Ils sont fournis avec des fichiers configuration IPU et des paramètres ajustés, pré-entraînés et prêts à l’emploi.
Nouveaux modèles Optimum
- Vision industrielle
Le ViT (Vision Transformer) constitue une avancée de taille en termes de reconnaissance des images et utilise le mécanisme du transformateur comme composant principal. Ainsi, lorsque des images sont chargées dans ViT, elles sont divisées en plus petites unités, de la même manière qu’avec les mots dans les système de traitement linguistiques. Chaque unité est ensuite encodée par le transformeur (on appelle cela l’intégration) pour être traitée individuellement. - Traitement automatique des langues
Le GPT-2 (Generative Pre-trained Transformer 2) est un modèle de transformeur de création de texte pré-entraîné sur un très grand corpus de données anglophones, de manière auto-régulée. Cela veut dire que le modèle est pré-entraîné uniquement sur du texte brut, à l’aide d’un processus automatique de génération d’entrées et d’étiquettes, sans qu’aucun humain ne soit intervenu (d’où l’utilisation de données publiques). Il est entraîné pour générer des textes en devinant le mot suivant dans une phrase donnée.
Le RoBERTa (Robustly optimized BERT approach) est un modèle de transformeur pré-entraîné sur un large corpus de données anglophones, de manière auto-régulée (comme le GPT-2). Ce modèle a été pré-entraîné avec l’objectif MLM (Masked Language Modeling). Pour une phrase donnée, il masque aléatoirement 15 % des mots fournis, puis exécute la phrase entière masquée afin de deviner les mots dissimulés. RoBERTa peut donc être utilisé pour la modélisation du langage masqué (MLM), mais il a surtout été pensé pour être ajusté à la précision dans le cadre de tâches en aval.
Le DeBERTa (Decoding-enhanced BERT with disentangled attention) est un modèle neuronal de langage pré-entraîné pour les tâches de traitement automatique des langues. Il met à jour les modèles 2018 BERT et 2019 RoBERTa à l’aide de deux techniques novatrices, à savoir un mécanisme d’attention démêlée et un décodeur de masque amélioré, optimisant ainsi considérablement l’efficacité du pré-entraînement et les performances des tâches en aval.
Le BART est un modèle encodeur-encodeur de transformeur (seq2seq) doté d’un encodeur bidirectionnel (BERT) et d’un décodeur autorégressif (GPT). BART est pré-entraîné en (1) corrompant le texte avec une fonction de bruit arbitraire, et en (2) apprenant un modèle permettant de reconstruire le texte d’origine. Le modèle BART s’avère particulièrement efficace lorsqu’ajusté pour la génération de texte (par exemple, dans le cadre d’un récapitulatif, d’une traduction, etc.), mais aussi pour les tâches de compréhension (classification, réponse aux questions, etc.).
Le LXMERT (Learning Cross-Modality Encoder Representations from Transformers) est un modèle de transformeur multimodal permettant d’apprendre des représentations de langue et une vision. Il dispose de trois encodeurs : encodeur de relations d’objets, encodeur de langue et encodeur intermodalité. Il est pré-entraîné à l’aide d’une combinaison de MLM, de Visual-Language Text Alignment, de ROI-Feature Regression, de Masked Visual-Attribute Modeling, de Masked Visual-Object Modeling et de Visual-Question Answering Objectives. Ce modèle a atteint des résultats optimaux sur les ensembles de données Visual-Question-Answering CQA et VQA.
Le T5 (Text-to-Text Transfer Transformer) est un nouveau modèle révolutionnaire capable de convertir n’importe quel texte dans un format compatible avec l’apprentissage automatique pour la traduction, la réponse aux questions ou la classification. Il propose un cadre homogène permettant de convertir les problèmes textuels dans un format texte à texte. Ainsi, les même modèles, fonctions d’objectif, hyperparamètres et procédures de décodage peuvent être réutilisés dans le cadre de tâches diverses liées au traitement automatique des langues. - Reconnaissance vocale
Le HuBERT (Hidden-Unit BERT) est un modèle auto-régulé de reconnaissance vocale et pré-entraîné avec des données audio. Son apprentissage consiste en un modèle de langue/acoustique sur entrées continues. Le modèle HuBERT est aussi voire plus performant que le wav2vec 2.0 exécuté dans les corpus Librispeech (960 h) et Libri-light (60 000 h) avec les sous-ensembles de 10 min, 1 h, 10 h, 100 h et 960 h.
Le Wav2Vec2 est un modèle de reconnaissance vocale pré-entraîné et auto-régulé. Grâce à un objectif de pré-entraînement contrastif novateur, Wav2Vec2 est capable d’apprendre des représentations vocales pratiques à partir d’un immense ensemble de données sans étiquettes, puis d’être ajusté sur la base de quelques données retranscrites. Il s’avère ainsi plus puissant et conceptuellement plus simple.
Hugging Face Optimum Graphcore : l’avenir d’un partenariat fructueux
Graphcore est devenu membre fondateur du Hugging Face Hardware Partner Program en 2021. Les deux entreprises avaient pour but de rendre l’innovation plus facile dans le domaine de l’intelligence artificielle.
Depuis, Graphcore et Hugging Face ont travaillé d’arrache-pied pour simplifier et accélérer l’entraînement des modèles de transformeurs sur IPU. Le premier modèle Optimum Graphcore (BERT) est sorti l’an dernier.
Les transformeurs se sont révélés être très efficaces avec nombre de fonctions, et notamment l’extraction, la génération de texte, l’analyse des sentiments, la traduction, et bien plus encore. Les modèles comme le BERT sont couramment utilisés par les clients de Graphcore, dans des situations variées telles que la cybersécurité, l’automatisation des appels vocaux, la découverte de médicaments et la traduction.
L’optimisation de leurs performances nécessite un temps, des efforts et une expertise considérables, auxquels beaucoup d’entreprises et d’organisations ne pouvaient pas faire face. Grâce à Hugging Face et à sa bibliothèque open source de modèles de transformeurs, ces problèmes sont de l’histoire ancienne. L’intégration des IPU à Hugging Face permet également aux développeurs de tirer parti des modèles, ainsi que des ensembles de données disponibles dans le Hub de Hugging Face.
Les développeurs peuvent désormais compter sur les systèmes Graphcore pour entraîner dix types de modèles de transformeurs de pointe et accéder à des milliers d’ensembles de données avec peu de codage. Ce partenariat permet aux utilisateurs de bénéficier d’outils et d’un écosystème pour le téléchargement et l’ajustement de modèles de pointe pré-entraînés, adaptés à de nombreux domaines et tâches.
Tirer parti des derniers équipements et logiciels de Graphcore
Si les utilisateurs de Hugging Face profitaient déjà des avantages en termes de vitesse, de performances et de coûts offerts par la technologie IPU, l’ajout des derniers équipements et logiciels Graphcore en date n’aura pour effet que de décupler ces améliorations.
En ce qui concerne les équipements, le Bow IPU (annoncé en mars et désormais en cours de livraison) est le premier processeur au monde à utiliser la technologie d’empilement Wafer-on-Wafer (WoW) 3D, propulsant les performances déjà reconnues de l’IPU vers de nouveaux horizons. Chaque Bow IPU propose des avancées révolutionnaires en architecture de calcul et en implémentation, en communication, et en mémoire. Cet IPU offre jusqu’à 350 téraFLOPS de calcul d’IA (soit 40 % plus performant) et jusqu’à 16 % d’efficacité énergétique en plus comparé à la génération précédente. Cela ne requérant aucun codage, les utilisateurs de Hugging Face Optimum peuvent basculer librement entre des IPU d’ancienne génération et des processeurs Bow.
Les logiciels jouant également un rôle crucial, Optimum propose une expérience plug-and-play grâce au kit SDK Poplar de Graphcore facile à utiliser (lui aussi mis à jour à sa version 2.5). Poplar simplifie l’entraînement de modèles de pointe sur les équipements les plus avancés grâce à une intégration complète aux environnements d’apprentissage automatique standard (notamment PyTorch, PyTorch Lightning et TensorFlow) et à des outils de déploiement et d’orchestration comme Docker et Kubernetes. Poplar étant compatible avec ces systèmes tiers, largement répandus, les développeurs peuvent sans difficulté transposer des modèles provenant d’autres plateformes de calcul et, ainsi, bénéficier pleinement des fonctionnalités d’IA avancées de l’IPU.
Source : Hugging Face
Et vous ?
Qu'en pensez-vous ?Voir aussi :
Un chercheur en IA forme un chatbot IA sur 4Chan pour en faire une véritable « machine à discours haineux », après 24 heures, neuf instances du bot fonctionnant sur 4chan avaient posté 15 000 fois NLP Cloud supporte désormais GPT-J, un modèle de traitement automatique du langage open-source avancé, l'alternative open-source à GPT-3 Qwant se prépare à changer de direction sous la pression des investisseurs, Eric Léandri va quitter la présidence et Qwant va devenir le moteur de recherche par défaut de l'administration française