NVIDIA acquiert Run:ai, fournisseur de logiciels d'orchestration GPU. La startup israélienne favorise l'utilisation efficace des ressources des clusters pour les charges de travail d'IA à travers une infrastructure de calcul accéléré partagée.Run:ai a développé une couche logicielle d'orchestration et de virtualisation adaptée aux besoins uniques des charges de travail d'IA fonctionnant sur des GPU et des chipsets similaires. La plateforme de conteneurs de Run:ai basée sur Kubernetes pour les cloud d'IA met en commun et partage efficacement les GPU en attribuant automatiquement la quantité nécessaire de puissance de calcul - de fractions de GPU, à plusieurs GPU, à plusieurs nœuds de GPU.
NVIDIA a annoncé l'acquisition du fournisseur d'orchestration Kubernetes centré sur l'IA Run:ai dans le but d'aider à renforcer l'efficacité des clusters de calcul construits sur GPU. Les détails de l'opération n'ont pas été divulgués, mais il semblerait que l'opération soit évaluée à environ 700 millions de dollars. La startup basée à Tel Aviv a apparemment levé 118 millions de dollars à travers quatre tours de financement depuis sa fondation en 2018.
Selon NVIDIA, la plateforme Run:ai prend déjà en charge ses plateformes de calcul DGX, y compris ses configurations Superpod, le système de gestion de cluster Base Command, la bibliothèque de conteneurs NGC et une suite AI Enterprise. En ce qui concerne l'IA, Kubernetes présente un certain nombre d'avantages par rapport aux déploiements bare metal, car l'environnement peut être configuré pour gérer la mise à l'échelle de plusieurs ressources, potentiellement distribuées géographiquement.
Pour l'instant, les clients existants de Run:ai n'ont pas à craindre que NVIDIA impose des changements majeurs à la plateforme. Dans un communiqué, NVIDIA a déclaré qu'elle continuerait à proposer les produits Run:ai selon le même modèle commercial, dans un avenir immédiat - quoi que cela puisse signifier. En attendant, les personnes abonnées au DGX Cloud de NVIDIA auront accès à l'ensemble des fonctionnalités de Run:ai pour leurs charges de travail d'IA, y compris les déploiements de grands modèles de langage (LLM).
Cette annonce intervient un peu plus d'un mois après que le géant des GPU a dévoilé une nouvelle plateforme de conteneurs pour la construction de modèles d'IA, appelée NVIDIA Inference Microservices (NIM). Les NIMS sont essentiellement des images de conteneurs préconfigurées et optimisées contenant le modèle, qu'il s'agisse de la version open source ou propriétaire, avec toutes les dépendances nécessaires pour le faire fonctionner. Comme la plupart des conteneurs, les NIM peuvent être déployés à travers une variété de temps d'exécution, y compris les nœuds Kubernetes accélérés par CUDA.
L'idée derrière la transformation des LLM et autres modèles d'IA en microservices est qu'ils peuvent être mis en réseau et utilisés pour construire des modèles d'IA plus complexes et plus riches en fonctionnalités que ce qui serait possible sans former soi-même un modèle dédié, ou du moins c'est ainsi que NVIDIA envisage de les utiliser. Avec l'acquisition de Run:ai, NVIDIA dispose désormais d'une couche d'orchestration Kubernetes pour gérer le déploiement de ces NIM dans son infrastructure GPU.
Une seule structure pour accéder aux GPU
Run:ai aide les entreprises à gérer et à optimiser leur infrastructure informatique, que ce soit dans le cloud, sur site ou dans un scénario hybride. Sa couche logicielle d'orchestration et de virtualisation est adaptée aux charges de travail d'IA s'exécutant sur des GPU et d'autres chipsets.
La plateforme de Run:ai fournit une interface utilisateur centrale et un plan de contrôle pour travailler avec une variété de variantes populaires de Kubernetes. Cela la rend un peu comme OpenShift de RedHat ou Rancher de SUSE, et elle dispose d'un grand nombre des mêmes outils pour gérer des choses comme les espaces de noms, les profils d'utilisateurs et les allocations de ressources.
La principale différence réside dans le fait que Run:ai est conçu pour s'intégrer avec des outils et des frameworks d'IA tiers, et pour gérer des environnements de conteneurs accélérés par le GPU. Son portefeuille de logiciels comprend des éléments tels que la planification des charges de travail et le partitionnement des accélérateurs, ce dernier permettant de répartir plusieurs charges de travail sur un seul GPU.
L'interface centralisée de l'entreprise permet aux utilisateurs de gérer l'infrastructure de calcul partagée. Les développeurs peuvent mettre en commun les GPU et partager la puissance de calcul pour diverses tâches - il peut s'agir de "fractions de GPU" ou de plusieurs GPU ou nœuds de GPU fonctionnant sur différents clusters, selon Alexis Bjorlin, vice-président et directeur général de NVIDIA DGX Cloud. Les clients bénéficient d'une meilleure utilisation des ressources des clusters de GPU, d'une meilleure gestion de l'infrastructure et d'une plus grande flexibilité.
"Vous pouvez gérer les clusters de manière très efficace afin d'extraire de la valeur de vos investissements matériels", a déclaré Rona Segev, cofondateur et associé directeur de TLV Partners, l'investisseur de Ran:ai. Lorsque les entreprises utilisent de grandes grappes d'ordinateurs, "il est indispensable de disposer d'un type de...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.