Nvidia met à jour son chatbot expérimental ChatRTX avec davantage de modèles d'IA pour les propriétaires de GPU RTX. Le chatbot, qui fonctionne localement sur un PC Windows, peut déjà utiliser Mistral ou Llama 2 pour interroger les documents personnels que vous lui fournissez, mais la liste des modèles d'IA pris en charge s'allonge désormais pour inclure Gemma de Google, ChatGLM3, et même le modèle CLIP d'OpenAI pour faciliter la recherche de vos photos.Nvidia a d'abord présenté ChatRTX sous le nom de "Chat with RTX" en février en tant qu'application de démonstration, et vous aurez besoin d'un GPU RTX de série 30 ou 40 avec 8 Go de VRAM ou plus pour pouvoir l'utiliser. L'application crée essentiellement un serveur de chatbot local auquel vous pouvez accéder à partir d'un navigateur et alimenter vos documents locaux et même des vidéos YouTube pour obtenir un outil de recherche puissant avec des résumés et des réponses à des questions sur vos propres données.
Le modèle Gemma de Google a été conçu pour fonctionner directement sur des ordinateurs portables ou de bureau puissants, et son inclusion dans ChatRTX est donc tout à fait appropriée. L'application de Nvidia élimine une partie de la complexité liée à l'exécution locale de ces modèles, et l'interface du chatbot qui en résulte vous permet de choisir entre plusieurs modèles afin de trouver celui qui correspond le mieux à vos propres données que vous souhaitez analyser ou rechercher.
ChatRTX, disponible en téléchargement sur le site web de Nvidia (36 Go), prend également en charge ChatGLM3, un grand modèle de langage bilingue ouvert (anglais et chinois) basé sur le cadre général des modèles de langage. Le modèle CLIP (Contrastive Language-Image Pre-training) d'OpenAI a également été ajouté, ce qui vous permet de rechercher et d'interagir avec des données photographiques locales et d'entraîner le modèle à reconnaître des images.
Enfin, Nvidia met également à jour ChatRTX pour prendre en charge les requêtes vocales. Nvidia a intégré Whisper, un système de reconnaissance vocale de l'IA qui vous permet de rechercher vos données à l'aide de votre voix.
ChatRTX ajoute de nouveaux modèles d'IA et de nouvelles fonctionnalités dans sa dernière mise à jour.
Les chatbots alimentés par des modèles d'IA en grand langage ont transformé l'informatique, et NVIDIA ChatRTX permet aux utilisateurs d'interagir avec leurs données locales, accélérées par les PC et stations de travail Windows équipés de NVIDIA RTX. Une nouvelle mise à jour, présentée pour la première fois à la GTC en mars, étend la puissance de cette application de chatbot accélérée par RTX avec des fonctions supplémentaires et la prise en charge de nouveaux modèles.
La mise à jour bêta de NVIDIA RTX Remix apporte NVIDIA DLSS 3.5 avec Ray Reconstruction à la plate-forme de modding pour un ray tracing en temps réel encore plus impressionnant.
ChatRTX utilise la génération augmentée par récupération, le logiciel NVIDIA TensorRT-LLM et l'accélération NVIDIA RTX pour apporter des capacités de chatbot aux PC et stations de travail Windows équipés de RTX. Soutenus par ses puissants modèles grand langage (LLM), les utilisateurs peuvent interroger leurs notes et documents avec ChatRTX, qui peut rapidement générer des réponses pertinentes, tout en fonctionnant localement sur l'appareil de l'utilisateur.
La dernière version prend en charge des LLM supplémentaires, notamment Gemma, le dernier LLM local ouvert formé par Google. Gemma a été développé à partir des mêmes recherches et technologies que celles utilisées pour créer les modèles Gemini de l'entreprise et est conçu pour un développement responsable de l'IA. ChatRTX prend également en charge ChatGLM3, un LLM ouvert et bilingue (anglais et chinois) basé sur le modèle de langage général.
Les utilisateurs peuvent également interagir avec des données d'images grâce à la prise en charge du pré-entraînement Contrastive Language-Image d'OpenAI. CLIP est un réseau neuronal qui, par le biais de l'entraînement et du raffinement, apprend des concepts visuels à partir de la supervision du langage naturel - c'est-à-dire que le modèle reconnaît ce qu'il « voit » dans les collections d'images. Grâce à la prise en charge de CLIP dans ChatRTX, les utilisateurs peuvent interagir avec des photos et des images sur leurs appareils locaux par le biais de mots, de termes et de phrases, sans qu'il soit nécessaire d'étiqueter des métadonnées complexes.
La nouvelle version de ChatRTX permet également aux utilisateurs de discuter avec leurs données en utilisant leur voix. Grâce à la prise en charge de Whisper, un système de reconnaissance automatique de la parole qui utilise l'IA pour traiter le langage parlé, les utilisateurs peuvent envoyer des requêtes vocales à l'application et ChatRTX fournira des réponses textuelles.
Avec RTX Remix, les moddeurs peuvent transformer des jeux PC classiques en remasters RTX à l'aide d'outils accélérés par l'IA sur la plate-forme NVIDIA Omniverse.
Désormais, ils peuvent utiliser DLSS 3.5 avec Ray Reconstruction dans leurs projets en quelques clics, grâce à une mise à jour de RTX Remix disponible cette semaine. Son moteur de rendu neuronal avancé, alimenté par l'IA, améliore la fidélité, la réactivité et la qualité des effets de ray-traced, offrant aux joueurs de NVIDIA GeForce RTX une expérience encore meilleure.
L'IA alimente également d'autres éléments du flux de travail Remix. Les moddeurs peuvent utiliser des outils de texture IA génératifs pour analyser les textures basse résolution des jeux classiques, générer des matériaux physiquement précis (y compris des cartes de normalité et de rugosité) et augmenter la résolution jusqu'à 4 fois. De tels outils permettent également aux moddeurs de gagner du temps, en effectuant rapidement une tâche qui pourrait autrement devenir fastidieuse.
Source : NVIDIA
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
Jensen Huang, PDG de Nvidia, révèle une stratégie secrète en matière d'IA : « Nous avons investi dans l'IA en toute discrétion », annonce-t-il lors d'une conférence "Chat With RTX" de NVIDIA, un chatbot IA qui fonctionne localement sur votre PC contrairement à ChatGPT. S'il contribue ainsi à la protection de la vie privée, le chatbot présente déjà des limites Les GPU Nvidia Blackwell RTX 5000 pourraient être lancés plus tôt que prévu.Les rumeurs, les enjeux et l'évolution stratégique dans un marché concurrentiel