NVIDIA ouvre les portes du monde de la robotique avec les nouvelles bibliothèques Omniverse, les modèles d'IA physique Cosmos et l'infrastructure informatique IA

NVIDIA ouvre les portes du monde de la robotique avec les nouvelles bibliothèques Omniverse, les modèles d'IA physique Cosmos et l'infrastructure informatique IA

NVIDIA ouvre les portes du monde de la robotique avec les nouvelles bibliothèques Omniverse, les modèles d'IA physique Cosmos et l'infrastructure informatique IA. Les nouvelles bibliothèques. NVIDIA Omniverse NuRec 3D Gaussian Splatting permettent la reconstruction à grande échelle du monde. Les nouveaux modèles NVIDIA Cosmos permettent la génération de mondes et le raisonnement spatial. Les nouveaux serveurs NVIDIA RTX PRO Blackwell et NVIDIA DGX Cloud permettent aux développeurs d'exécuter les simulations les plus exigeantes où qu'ils se trouvent

Nvidia est une entreprise technologique américaine qui développe des processeurs graphiques (GPU), des systèmes sur puce (SoC) et des interfaces de programmation d'applications (API) pour la science des données, le calcul haute performance et les applications mobiles et automobiles. Initialement axée sur les GPU pour les jeux vidéo, Nvidia a élargi leur utilisation à d'autres marchés, notamment l'intelligence artificielle (IA), la visualisation professionnelle et le calcul intensif. Les gammes de produits de l'entreprise comprennent les GPU GeForce pour les jeux et les tâches créatives, ainsi que les GPU professionnels pour l'informatique de pointe, la recherche scientifique et les applications industrielles.

Récemment, NVIDIA a annoncé la sortie de nouvelles bibliothèques NVIDIA Omniverse et de nouveaux modèles de base du monde (WFM) NVIDIA Cosmo qui accélèrent le développement et le déploiement de solutions robotiques. Grâce aux nouveaux serveurs NVIDIA RTX PRO et au cloud NVIDIA DGX, les bibliothèques et les modèles permettent aux développeurs du monde entier de créer des jumeaux numériques physiquement précis, de capturer et de reconstruire le monde réel dans des simulations, de générer des données synthétiques pour entraîner des modèles d'IA physique et de créer des agents IA qui comprennent le monde physique.

« L'infographie et l'IA convergent pour transformer fondamentalement la robotique », a déclaré Rev Lebaredian, vice-président d'Omniverse et des technologies de simulation chez NVIDIA. « En combinant le raisonnement IA avec une simulation évolutive et physiquement précise, nous permettons aux développeurs de construire les robots et les véhicules autonomes de demain qui transformeront des industries représentant des milliers de milliards de dollars. »


Les nouvelles bibliothèques NVIDIA Omniverse font progresser les applications pour la composition du monde

De nouveaux kits de développement logiciel (SDK) et bibliothèques NVIDIA Omniverse sont désormais disponibles pour créer et déployer des applications industrielles d'IA et de simulation robotique.

• Les nouveaux SDK Omniverse introduisent l'interopérabilité des données entre MuJoCo (MJCF) et Universal Scene Description (OpenUSD), permettant à plus de 250 000 développeurs d'apprentissage robotique MJCF de simuler de manière transparente des robots sur différentes plateformes.
• Les nouvelles bibliothèques Omniverse NuRec et les nouveaux modèles d'IA introduisent le splatting gaussien 3D avec ray tracing Omniverse RTX, une technique de rendu qui permet aux développeurs de capturer, reconstruire et simuler le monde réel en 3D à l'aide de données de capteurs.
• Les frameworks open source de simulation et d'apprentissage robotique NVIDIA Isaac Sim 5.0 et NVIDIA Isaac Lab 2.2 sont désormais disponibles sur GitHub. Isaac Sim inclut désormais le rendu neuronal NuRec et de nouveaux schémas de robots et de capteurs basés sur OpenUSD qui aident les développeurs de robots à combler le fossé entre la simulation et la réalité.

Le rendu Omniverse NuRec est désormais intégré à CARLA, un simulateur open source de premier plan utilisé par plus de 150 000 développeurs. Foretellix, leader dans le domaine des chaînes d'outils pour véhicules autonomes (AV), intègre NuRec, NVIDIA Omniverse Sensor RTX et Cosmos Transfer afin d'améliorer sa génération de données synthétiques évolutive avec des scénarios physiquement précis. Le moteur de données de Voxel51 pour l'IA visuelle et multimodale, FiftyOne, prend en charge NuRec afin de faciliter la préparation des données pour les reconstructions. FiftyOne est utilisé par des clients tels que Ford et Porsche.

Boston Dynamics, Figure AI, Hexagon, RAI Institute, Lightwheel et Skild AI adopteraient les bibliothèques Omniverse, Isaac Sim et Isaac Lab pour accélérer leur développement en robotique IA, tandis qu'Amazon Devices & Services les utiliserait pour alimenter une nouvelle solution de fabrication.

Cosmos fait progresser la génération de mondes pour la robotique

Cosmos WFMs, téléchargé plus de 2 millions de fois, permet aux développeurs de générer des données diverses pour former des robots à grande échelle à l'aide de invites textuelles, d'images et de vidéos.

Les nouveaux modèles annoncés lors du SIGGRAPH apportent des avancées majeures en termes de vitesse de génération de données synthétiques, de précision, de prise en charge linguistique et de contrôle :

• Cosmos Transfer-2, bientôt disponible, simplifie les invites et accélère la génération de données synthétiques photoréalistes à partir de scènes de simulation 3D réelles ou d'entrées de contrôle spatial telles que la profondeur, la segmentation, les contours et les cartes haute définition.
• Une version distillée de Cosmos Transfer réduit le processus de distillation de 70 étapes à une seule, ce qui permet aux développeurs d'exécuter le modèle sur les serveurs NVIDIA RTX PRO à une vitesse sans précédent.

Lightwheel, Moon Surgical et Skild AI utiliseraient Cosmos Transfer pour accélérer l'entraînement de l'IA physique en simulant diverses conditions à grande échelle.


Cosmos Reason révolutionne la compréhension du monde

Depuis l'introduction du modèle CLIP d'OpenAI, les modèles de langage visuel (VLM) ont transformé les tâches de vision par ordinateur telles que la reconnaissance d'objets et de motifs. Cependant, ils ne sont pas encore capables de résoudre des tâches en plusieurs étapes ni de gérer l'ambiguïté ou les expériences nouvelles.

NVIDIA Cosmos Reason, un nouveau VLM de raisonnement ouvert et personnalisable à 7 milliards de paramètres pour l'IA physique et la robotique, permet aux robots et aux agents d'IA visuelle de raisonner comme des humains, en utilisant leurs connaissances préalables, leur compréhension de la physique et leur bon sens pour comprendre et agir dans le monde réel.

Cosmos Reason peut être utilisé pour des applications robotiques et d'IA physique, notamment :

• La curation et l'annotation des données, qui permettent aux développeurs d'automatiser la curation et l'annotation de haute qualité d'ensembles de données d'entraînement massifs et diversifiés.
• La planification et le raisonnement robotiques, qui agissent comme le cerveau pour une prise de décision délibérée et méthodique dans un modèle d'action linguistique visuelle robotique (VLA). Cosmos Reason permet aux robots d'interpréter les environnements et, à partir de commandes complexes, de les décomposer en tâches et de les exécuter en utilisant le bon sens, même dans des environnements inconnus.
• Agents d'analyse vidéo basés sur NVIDIA Blueprint pour la recherche et la synthèse vidéo, capables d'extraire des informations précieuses et d'effectuer une analyse des causes profondes sur des volumes massifs de données vidéo.

Les équipes de robotique et NVIDIA DRIVE de NVIDIA utiliseraient Cosmos Reason pour la curation et le filtrage des données, l'annotation et le post-entraînement VLA. Uber l'utiliserait pour annoter et légender les données d'entraînement AV.

Magna développerait Cosmos Reason dans le cadre de sa plateforme City Delivery, une solution entièrement autonome et peu coûteuse pour la livraison instantanée, afin d'aider les véhicules à s'adapter plus rapidement aux nouvelles villes. Cosmos Reason ajoute la compréhension du monde au planificateur de trajectoire à long terme des véhicules. VAST Data, Milestone Systems et Linker Vision adoptent Cosmos Reason pour automatiser la surveillance du trafic, améliorer la sécurité et renforcer l'inspection visuelle dans les villes et les environnements industriels.

La nouvelle infrastructure IA de NVIDIA alimente les charges de travail robotiques partout

Pour permettre aux développeurs de tirer pleinement parti de ces technologies et bibliothèques logicielles avancées, NVIDIA a annoncé une infrastructure IA conçue pour les charges de travail les plus exigeantes.

• Les serveurs NVIDIA RTX PRO Blackwell offrent une architecture unique pour toutes les charges de travail de développement robotique, qu'il s'agisse de formation, de génération de données synthétiques, d'apprentissage robotique ou de simulation.
• NVIDIA DGX Cloud, disponible sur Microsoft Azure Marketplace, offre désormais aux développeurs Omniverse une plateforme entièrement gérée pour simplifier la diffusion en continu d'applications basées sur OpenUSD et NVIDIA RTX à grande échelle depuis le cloud, en minimisant l'orchestration et la gestion de l'infrastructure. Accenture et Hexagon font partie des premiers leaders du secteur à adopter cette plateforme.

Accélérer l'écosystème des développeurs

Afin d'aider les développeurs en robotique et en IA physique à faire progresser l'adoption des technologies 3D et de simulation, NVIDIA a également annoncé :

• OpenUSD Curriculum and Certification, qui répond à la demande d'expertise USD, avec le soutien des membres de l'AOUSD Adobe, Amazon Robotics, Ansys (qui fait partie de Synopsys), Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS et Trimble, ainsi que des leaders du secteur tels que Hexagon.
• Une collaboration open source avec Lightwheel pour intégrer des cadres de formation et d'évaluation des politiques robotiques dans NVIDIA Isaac Lab, avec des capacités de formation par renforcement parallèle, des benchmarks et des ressources prêtes à être simulées pour la manipulation et la locomotion des robots.

Source : NVIDIA

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

NVIDIA déclare que "l'ère de la robotique généraliste est arrivée" et annonce Isaac GR00T N1, "le premier modèle de fondation ouvert au monde", pour accélérer le développement des robots humanoïdes

Les robots humanoïdes apprennent à travailler ensemble grâce au contrôle par le langage naturel, le nouveau système d'IA Helix permet à deux robots de collaborer à des tâches communes

NVIDIA dévoile à la GTC 2025 un robot IA inspiré de Star Wars, « Blue », doté de nouvelles puces IA, en partenariat avec Google et Disney pour créer un droïde de science-fiction