Microsoft a dépensé des centaines de millions de dollars pour construire un superordinateur massif pour aider à alimenter le chatbot ChatGPT d'OpenAI, selon un rapport. Dans deux articles de blog publiés lundi, Microsoft explique comment il a créé la puissante infrastructure d'intelligence artificielle d'Azure utilisée par OpenAI et comment ses systèmes deviennent encore plus robustes.Pour construire le supercalculateur qui alimente les projets d'OpenAI, Microsoft affirme avoir relié des milliers d'unités de traitement graphique (GPU) NVIDIA sur sa plateforme de cloud computing Azure. À son tour, cela a permis à OpenAI de former des modèles de plus en plus puissants et de « déverrouiller les capacités d'IA » d'outils comme ChatGPT et Bing.
Scott Guthrie, vice-président de Microsoft pour l'IA et le cloud, a déclaré que la société avait dépensé plusieurs centaines de millions de dollars pour le projet, selon une déclaration. Et même si cela peut sembler une goutte d'eau dans l'océan pour Microsoft, qui a récemment prolongé son investissement pluriannuel de plusieurs milliards de dollars dans OpenAI, cela démontre certainement qu'il est prêt à investir encore plus d'argent dans l'espace de l'IA.
Lorsque Microsoft Corp. a investi 1 milliard de dollars dans OpenAI en 2019, il a accepté de construire un supercalculateur massif et de pointe pour la startup de recherche en intelligence artificielle. Le seul problème : Microsoft n'avait rien de ce dont OpenAI avait besoin et n'était pas totalement sûr de pouvoir créer quelque chose d'aussi gros dans son service cloud Azure sans qu'il ne se brise.
D'ailleurs, John Roach de Microsoft pose bien le contexte.
[SPOILER]
Envoyé par John Roach
Il y a environ cinq ans, l'organisation de recherche sur l'intelligence artificielle OpenAI a présenté à Microsoft une idée audacieuse selon laquelle elle pourrait créer des systèmes d'IA qui changeraient à jamais la façon dont les gens interagissent avec les ordinateurs.
À l'époque, personne ne savait que cela signifierait des systèmes d'IA qui créent des images de tout ce que les gens décrivent en langage clair ou un chatbot pour écrire des paroles de rap, rédiger des e-mails et planifier des menus entiers basés sur une poignée de mots. Mais une telle technologie était possible. Pour le construire, OpenAI avait besoin de puissance de calcul - à une échelle vraiment massive. Microsoft pourrait-il la fournir?
Microsoft a consacré des décennies à ses propres efforts pour développer des modèles d'IA qui aident les gens à travailler plus efficacement avec le langage, du correcteur orthographique automatique dans Word aux outils d'IA qui écrivent des légendes de photos dans PowerPoint et traduisent dans plus de 100 langues dans Microsoft Translator. Au fur et à mesure que ces capacités d'IA s'amélioraient, la société a appliqué son expertise en calcul haute performance pour faire évoluer l'infrastructure de son cloud Azure, ce qui a permis aux clients d'utiliser ses outils d'IA pour créer, former et servir des applications d'IA personnalisées.
Lorsque les chercheurs en IA ont commencé à utiliser des unités de traitement graphique plus puissantes, appelées GPU, pour gérer des charges de travail d'IA plus complexes, ils ont commencé à entrevoir le potentiel de modèles d'IA beaucoup plus grands qui pourraient comprendre les nuances si bien qu'ils étaient capables de s'attaquer à de nombreuses tâches linguistiques différentes à la fois. Mais ces modèles plus grands se sont rapidement heurtés aux limites des ressources informatiques existantes. Microsoft a compris quel type d'infrastructure de supercalcul OpenAI demandait - et l'échelle qui serait nécessaire.
À l'époque, personne ne savait que cela signifierait des systèmes d'IA qui créent des images de tout ce que les gens décrivent en langage clair ou un chatbot pour écrire des paroles de rap, rédiger des e-mails et planifier des menus entiers basés sur une poignée de mots. Mais une telle technologie était possible. Pour le construire, OpenAI avait besoin de puissance de calcul - à une échelle vraiment massive. Microsoft pourrait-il la fournir?
Microsoft a consacré des décennies à ses propres efforts pour développer des modèles d'IA qui aident les gens à travailler plus efficacement avec le langage, du correcteur orthographique automatique dans Word aux outils d'IA qui écrivent des légendes de photos dans PowerPoint et traduisent dans plus de 100 langues dans Microsoft Translator. Au fur et à mesure que ces capacités d'IA s'amélioraient, la société a appliqué son expertise en calcul haute performance pour faire évoluer l'infrastructure de son cloud Azure, ce qui a permis aux clients d'utiliser ses outils d'IA pour créer, former et servir des applications d'IA personnalisées.
Lorsque les chercheurs en IA ont commencé à utiliser des unités de traitement graphique plus puissantes, appelées GPU, pour gérer des charges de travail d'IA plus complexes, ils ont commencé à entrevoir le potentiel de modèles d'IA beaucoup plus grands qui pourraient comprendre les nuances si bien qu'ils étaient capables de s'attaquer à de nombreuses tâches linguistiques différentes à la fois. Mais ces modèles plus grands se sont rapidement heurtés aux limites des ressources informatiques existantes. Microsoft a compris quel type d'infrastructure de supercalcul OpenAI demandait - et l'échelle qui serait nécessaire.
OpenAI essayait de former un ensemble de plus en plus large de programmes d'intelligence artificielle appelés modèles, qui ingéraient de plus grands volumes de données et apprenaient de plus en plus de paramètres, les variables que le système d'IA a découvertes grâce à la formation et au recyclage. Cela signifiait qu'OpenAI avait besoin d'accéder à de puissants services de cloud computing pendant de longues périodes.
Comment Microsoft s'y est-elle prise ?
Pour relever ce défi, Microsoft a dû trouver des moyens de relier des dizaines de milliers de puces graphiques A100 de NVIDIA Corp. (le cheval de bataille pour la formation des modèles d'IA) et de changer la façon dont il positionne les serveurs sur les racks pour éviter les pannes de courant. Scott Guthrie, le vice-président exécutif de Microsoft qui supervise le cloud et l'IA, n'a pas donné de coût précis pour le projet, mais a déclaré qu'il « est probablement plus important » que plusieurs centaines de millions de dollars.
« Nous avons construit une architecture système qui pouvait fonctionner et être fiable à très grande échelle. C'est ce qui a rendu ChatGPT possible », a déclaré Nidhi Chappell, directeur général de Microsoft pour l'infrastructure Azure AI. « C'est un modèle qui en est ressorti. Il va y en avoir beaucoup, beaucoup d'autres ».
La technologie a permis à OpenAI de lancer ChatGPT, le chatbot viral qui a attiré plus d'un million d'utilisateurs quelques jours après son introduction en bourse en novembre et qui est maintenant entraîné dans les modèles commerciaux d'autres entreprises, de ceux gérés par le fondateur milliardaire du fonds spéculatif Ken Griffin au service de livraison Instacart Inc. Alors que les outils d'IA génératifs tels que ChatGPT suscitent l'intérêt des entreprises et des consommateurs, une pression accrue sera exercée sur les fournisseurs de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
