NVIDIA acquiert Run:ai, fournisseur de logiciels d'orchestration GPU. La startup israélienne favorise l'utilisation efficace des ressources des clusters pour les charges de travail d'IA à travers une infrastructure de calcul accéléré partagée.Run:ai a développé une couche logicielle d'orchestration et de virtualisation adaptée aux besoins uniques des charges de travail d'IA fonctionnant sur des GPU et des chipsets similaires. La plateforme de conteneurs de Run:ai basée sur Kubernetes pour les cloud d'IA met en commun et partage efficacement les GPU en attribuant automatiquement la quantité nécessaire de puissance de calcul - de fractions de GPU, à plusieurs GPU, à plusieurs nœuds de GPU.
NVIDIA a annoncé l'acquisition du fournisseur d'orchestration Kubernetes centré sur l'IA Run:ai dans le but d'aider à renforcer l'efficacité des clusters de calcul construits sur GPU. Les détails de l'opération n'ont pas été divulgués, mais il semblerait que l'opération soit évaluée à environ 700 millions de dollars. La startup basée à Tel Aviv a apparemment levé 118 millions de dollars à travers quatre tours de financement depuis sa fondation en 2018.
Selon NVIDIA, la plateforme Run:ai prend déjà en charge ses plateformes de calcul DGX, y compris ses configurations Superpod, le système de gestion de cluster Base Command, la bibliothèque de conteneurs NGC et une suite AI Enterprise. En ce qui concerne l'IA, Kubernetes présente un certain nombre d'avantages par rapport aux déploiements bare metal, car l'environnement peut être configuré pour gérer la mise à l'échelle de plusieurs ressources, potentiellement distribuées géographiquement.
Pour l'instant, les clients existants de Run:ai n'ont pas à craindre que NVIDIA impose des changements majeurs à la plateforme. Dans un communiqué, NVIDIA a déclaré qu'elle continuerait à proposer les produits Run:ai selon le même modèle commercial, dans un avenir immédiat - quoi que cela puisse signifier. En attendant, les personnes abonnées au DGX Cloud de NVIDIA auront accès à l'ensemble des fonctionnalités de Run:ai pour leurs charges de travail d'IA, y compris les déploiements de grands modèles de langage (LLM).
Cette annonce intervient un peu plus d'un mois après que le géant des GPU a dévoilé une nouvelle plateforme de conteneurs pour la construction de modèles d'IA, appelée NVIDIA Inference Microservices (NIM). Les NIMS sont essentiellement des images de conteneurs préconfigurées et optimisées contenant le modèle, qu'il s'agisse de la version open source ou propriétaire, avec toutes les dépendances nécessaires pour le faire fonctionner. Comme la plupart des conteneurs, les NIM peuvent être déployés à travers une variété de temps d'exécution, y compris les nœuds Kubernetes accélérés par CUDA.
L'idée derrière la transformation des LLM et autres modèles d'IA en microservices est qu'ils peuvent être mis en réseau et utilisés pour construire des modèles d'IA plus complexes et plus riches en fonctionnalités que ce qui serait possible sans former soi-même un modèle dédié, ou du moins c'est ainsi que NVIDIA envisage de les utiliser. Avec l'acquisition de Run:ai, NVIDIA dispose désormais d'une couche d'orchestration Kubernetes pour gérer le déploiement de ces NIM dans son infrastructure GPU.
Une seule structure pour accéder aux GPU
Run:ai aide les entreprises à gérer et à optimiser leur infrastructure informatique, que ce soit dans le cloud, sur site ou dans un scénario hybride. Sa couche logicielle d'orchestration et de virtualisation est adaptée aux charges de travail d'IA s'exécutant sur des GPU et d'autres chipsets.
La plateforme de Run:ai fournit une interface utilisateur centrale et un plan de contrôle pour travailler avec une variété de variantes populaires de Kubernetes. Cela la rend un peu comme OpenShift de RedHat ou Rancher de SUSE, et elle dispose d'un grand nombre des mêmes outils pour gérer des choses comme les espaces de noms, les profils d'utilisateurs et les allocations de ressources.
La principale différence réside dans le fait que Run:ai est conçu pour s'intégrer avec des outils et des frameworks d'IA tiers, et pour gérer des environnements de conteneurs accélérés par le GPU. Son portefeuille de logiciels comprend des éléments tels que la planification des charges de travail et le partitionnement des accélérateurs, ce dernier permettant de répartir plusieurs charges de travail sur un seul GPU.
L'interface centralisée de l'entreprise permet aux utilisateurs de gérer l'infrastructure de calcul partagée. Les développeurs peuvent mettre en commun les GPU et partager la puissance de calcul pour diverses tâches - il peut s'agir de "fractions de GPU" ou de plusieurs GPU ou nœuds de GPU fonctionnant sur différents clusters, selon Alexis Bjorlin, vice-président et directeur général de NVIDIA DGX Cloud. Les clients bénéficient d'une meilleure utilisation des ressources des clusters de GPU, d'une meilleure gestion de l'infrastructure et d'une plus grande flexibilité.
"Vous pouvez gérer les clusters de manière très efficace afin d'extraire de la valeur de vos investissements matériels", a déclaré Rona Segev, cofondateur et associé directeur de TLV Partners, l'investisseur de Ran:ai. Lorsque les entreprises utilisent de grandes grappes d'ordinateurs, "il est indispensable de disposer d'un type de virtualisation et d'une couche de gestion", a-t-elle déclaré. Run:ai peut "diviser les GPU en morceaux" et "les allouer dynamiquement", ajoute Segev, et peut également combiner et gérer tous les flux de travail et de données.
Investir en amont et en aval
Il ne se passe pas un jour sans que NVIDIA, dont la valeur est estimée à 2,2 billions de dollars, ne fasse parler d'elle, et cette année marque plus d'une douzaine d'acquisitions par la société. Notamment, elle a payé 6,9 milliards de dollars pour la société de calcul haute performance Mellanox en 2019, et a également ramassé OmniML pour les charges de travail d'IA en périphérie, SwiftStack pour le stockage et la gestion des données et Excelero pour le stockage en bloc. Elle a réalisé de nombreux autres investissements dans le matériel, les logiciels, les plateformes de gestion des centres de données, la robotique, l'analyse de la sécurité et les capacités mobiles.
Les régulateurs ont parfois pris conscience de cette frénésie de dépenses : La tentative d'achat du concepteur de puces britannique Arm pour 40 milliards de dollars a été interrompue début 2022 en raison de "défis réglementaires importants", notamment en ce qui concerne l'étouffement de la concurrence. on estime que NVIDIA contrôle 80 % du marché des puces haut de gamme et a récemment annoncé son intention de créer une nouvelle unité commerciale chargée de concevoir des puces pour les entreprises d'informatique cloud.
En outre, l'entreprise a des partenariats bien établis avec tous les grands acteurs de l'IA et de l'informatique cloud - même si, dans le même temps, elle est en concurrence avec certains d'entre eux - notamment OpenAI, Meta, Microsoft, Google, Amazon et d'autres. L'entreprise continue d'annoncer régulièrement de nouvelles innovations, dont récemment un "gros, gros GPU" qui "repousse les limites de la physique" et un projet d'IA multimodale, le GR00T.
De nombreux observateurs de l'industrie ont réagi aujourd'hui à la nouvelle en soulignant l'omniprésence de l'entreprise.
"L'intégration de Run:AI dans le DGX Cloud de NVIDIA permet de démontrer que NVIDIA intègre verticalement sa plateforme, des puces à l'inférence, ce qui en fait ostensiblement un guichet unique pour vos besoins en matière d'IA", a déclaré un utilisateur de Twitter. Un autre a partagé un graphique des investissements de NVIDIA au cours des quatre dernières années, commentant que la société cherche à "capitaliser sur son élan actuel pour étendre son écosystème et sécuriser les flux de revenus futurs. Les startups (clients) dépendent de ses GPU et la croissance de NVIDIA dépend de ces startups."
Voici l'annonce de NVIDIA sur l'acquisition de Run:ai :
Pour aider les clients à utiliser plus efficacement leurs ressources informatiques d'IA, NVIDIA annonce aujourd'hui avoir conclu un accord définitif pour acquérir Run:ai, un fournisseur de logiciels d'orchestration et de gestion des charges de travail basé sur Kubernetes. Les déploiements d'IA des clients deviennent de plus en plus complexes, avec des charges de travail réparties dans le cloud, la périphérie et l'infrastructure du centre de données sur site. La gestion et l'orchestration de l'IA générative, des systèmes de recommandation, des moteurs de recherche et d'autres charges de travail nécessitent une planification sophistiquée pour optimiser les performances au niveau du système et de l'infrastructure sous-jacente.
Run:ai permet aux entreprises clientes de gérer et d'optimiser leur infrastructure de calcul, que ce soit sur site, dans le cloud ou dans des environnements hybrides. L'entreprise a construit une plateforme ouverte sur Kubernetes, la couche d'orchestration pour l'IA moderne et l'infrastructure cloud. Elle prend en charge toutes les variantes populaires de Kubernetes et s'intègre avec des outils et des frameworks d'IA tiers. Run:ai compte parmi ses clients certaines des plus grandes entreprises mondiales dans de multiples secteurs, qui utilisent la plateforme Run:ai...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.