Nvidia, le leader dans la fabrication de puces graphiques (GPU), se positionne dans la course à l'intelligence artificielle (IA) en utilisant son propre système d'IA, appelé ChipNeMo, pour accélérer la conception de ses GPU. Alors que la demande de GPU pour l'entraînement et la construction de produits d'IA augmente, Nvidia cherche à répondre à cette demande croissante en exploitant l'IA pour rendre sa production de puces plus efficace.Les possibilités fonctionnelles de l'IA ont progressé à pas de géant au cours de la dernière décennie, et aucun endroit n'est plus propice à ce développement que la Silicon Valley. Berceau de géants de l'IA tels qu'Intel et Google, la Bay Area favorise l'émergence de talents et d'innovations extraordinaires dans le domaine de l'apprentissage automatique en profondeur. Ces entreprises d'IA de la Silicon Valley démontrent tout ce qui peut être accompli lorsque les humains et les machines travaillent côte à côte.
Selon les données de Dealroom, Nvidia a participé à 35 opérations en 2023, soit près de six fois plus que l'année précédente, consolidant sa position en tant qu'investisseur à grande échelle le plus actif dans le secteur de l'IA. Cette activité a dépassé celle des grandes sociétés de capital-risque de la Silicon Valley. Les investissements, totalisant 872 millions de dollars sur neuf mois, ont été dirigés vers des entreprises utilisant les technologies de Nvidia.
Le processus traditionnel de conception de GPU implique une main-d'œuvre importante, nécessitant environ 1 000 personnes et une compréhension approfondie du processus de conception. ChipNeMo, basé sur un grand modèle linguistique construit sur le Llama 2 de Meta, agit comme un chatbot capable de répondre à des questions liées à la conception de puces, simplifiant ainsi la formation d'ingénieurs débutants et résumant les notes de différentes équipes.
NVIDIA Research compte des centaines de scientifiques et d'ingénieurs dans le monde entier qui se concentrent sur des sujets tels que l'IA, l'infographie, la vision par ordinateur, les voitures autonomes et la robotique. D'autres projets récents dans le domaine des semi-conducteurs incluent l'utilisation de l'IA pour concevoir des circuits plus petits et plus rapides et pour optimiser le placement de gros blocs.
Les premiers résultats sont prometteurs, avec des rapports indiquant que ChipNeMo a été utile pour former des ingénieurs débutants et résumer les notes de multiples équipes. Cependant, Nvidia n'a pas confirmé si cela a directement accéléré la production de puces. Cette initiative de Nvidia intervient dans un contexte où la concurrence pour les GPU de la société s'intensifie, les entreprises cherchant à tirer parti de ces composants essentiels pour prendre l'avantage dans le domaine de l'IA. L'article souligne que Meta, par exemple, prévoit d'acquérir 600 000 GPU, dont les A100 de Nvidia, d'ici la fin de 2024.
L'IA générative pour les développeurs
L'IA générative transformera l'interaction homme-machine telle que nous la connaissons en permettant la création de nouveaux contenus basés sur une variété d'entrées et de sorties, y compris du texte, des images, des sons, des animations, des modèles 3D et d'autres types de données. Pour faire avancer les charges de travail d'IA générative, les développeurs ont besoin d'une plateforme informatique accélérée avec des optimisations complètes, de l'architecture de la puce et du logiciel système aux bibliothèques d'accélération et aux frameworks de développement d'applications.
NVIDIA propose une plateforme informatique accélérée complète spécialement conçue pour les charges de travail d'IA générative. Cette plateforme est à la fois profonde et large, offrant une combinaison de matériel, de logiciels et de services - tous construits par NVIDIA et son large écosystème de partenaires - afin que les développeurs puissent fournir des solutions de pointe.
ChipNeMo vise à explorer les applications des grands modèles de langage (LLM) pour la conception de puces industrielles. Au lieu de déployer directement des LLM commerciaux ou open-source prêts à l'emploi, nous adoptons les techniques d'adaptation au domaine suivantes : tokenizers personnalisés, pré-entraînement continu adapté au domaine, réglage fin supervisé (SFT) avec des instructions spécifiques au domaine et modèles de recherche adaptés au domaine.
NVIDIA évalue ces méthodes sur trois applications LLM sélectionnées pour la conception de puces : un chatbot d'assistant d'ingénierie, la génération de scripts EDA, et le résumé et l'analyse de bogues. Ces résultats montrent que ces techniques d'adaptation au domaine permettent des améliorations significatives de la performance LLM par rapport aux modèles de base généraux dans les trois applications évaluées, permettant jusqu'à 5 fois la réduction de la taille du modèle avec une performance similaire ou meilleure sur une gamme de tâches de conception. Les résultats indiquent également qu'il existe encore une marge d'amélioration entre les...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
