L'entreprise xAI d'Elon Musk a présenté son premier modèle multimodal. Non seulement il peut comprendre du texte, mais il est également capable de traiter des éléments figurant dans des documents, des diagrammes, des graphiques, des captures d'écran et des photographies. Grok-1.5 Vision, ou Grok-1.5V, sera bientôt disponible pour les premiers testeurs et les utilisateurs actuels de Grok. « Grok-1.5V est compétitif par rapport aux modèles multimodaux existants dans un certain nombre de domaines, allant du raisonnement multidisciplinaire à la compréhension de documents, de diagrammes scientifiques, de graphiques, de captures d'écran et de photographies », a déclaré l'entreprise dans un billet de blog.Grok est un chatbot d'IA développé par la startup xAI lancée par Elon Musk l'année dernière. Musk a notamment lancé xAI pour développer un rival de ChatGPT, le chatbot d'OpenAI qu'il accuse d'être woke et de promouvoir les idées de gauche, tout en censurant les voix des conservateurs. Contrairement à ses rivaux, Grok a la capacité d'accéder à des informations en temps réel grâce à une intégration avec le réseau social X (ex-Twitter). En outre, Grok se différencie des autres par le fait qu'il est prêt à s'attaquer à des questions "épicées" et est programmé pour le faire d'une manière à la fois spirituelle et un peu rebelle.
Bien que la première version de Grok, Grok 1, ait fait sensation sur X, son côté « audacieux » et « rebelle » n'a pas attiré grand monde et il n'a pas suscité autant de réactions dans la communauté comme ses rivaux GPT-4 d'OpenAI et Claude d'Anthopic. L'entreprise a toutefois poursuivi ses développements et a annoncé fin mars la version Grok 1.5. Les nouvelles fonctionnalités comprennent "des capacités de raisonnement améliorées et une longueur de contexte de 128 000 jetons.
Grok-1.5 Vision Preview
xAI, la startup d'Elon Musk spécialisée dans l'IA, a présenté Grok-1.5V, un modèle multimodal de première génération. En plus de ses solides capacités textuelles, Grok peut traiter une grande variété d'informations visuelles, notamment des documents, des diagrammes, des graphiques, des captures d'écran et des photographies.
Grok-1.5V sera bientôt disponible pour les premiers testeurs et les utilisateurs actuels de Grok.
La caractéristique la plus remarquable de Grok-1.5V est sa capacité à comprendre les concepts spatiaux du monde réel, qui, selon xAI, surpasse les autres modèles dans le benchmark RealWorldQA (une nouvelle mesure qu'elle a créée pour évaluer la compréhension spatiale du monde réel) :
Envoyé par xAI
Grok-1.5V est compétitif par rapport aux modèles multimodaux d'avant-garde existants dans un certain nombre de domaines, allant du raisonnement multidisciplinaire à la compréhension de documents, de diagrammes scientifiques, de graphiques, de captures d'écran et de photographies. Nous sommes particulièrement enthousiasmés par les capacités de Grok à comprendre notre monde physique. Grok surpasse ses pairs dans notre nouveau benchmark RealWorldQA qui mesure la compréhension spatiale du monde réel. Pour tous les ensembles de données ci-dessous, nous évaluons Grok dans le cadre d'une prise de vue zéro sans incitation à la réflexion.
Pour commencer, RealWorldQA s'est entraîné en utilisant plus de 700 images accompagnées d'une question et d'une réponse pour chaque élément. Les images variaient entre des images anonymes prises dans des véhicules et d'autres échantillons du monde réel. xAI met RealWorldQA à la disposition du public sous une licence Creative Commons.
L'entreprise présente sept exemples illustrant le potentiel de Grok-1.5V, de la transformation d'une esquisse d'organigramme sur tableau blanc en code Python à la génération d'une histoire pour s'endormir à partir d'un simple dessin d'enfant, en passant par l'explication d'un mème, la conversion d'un tableau au format CSV et l'identification de la présence de bois pourri sur votre terrasse et de la nécessité de la remplacer.
Les tests d'Adversa AI ont attribué la pire note à Grok en matière de sécurité parmi les LLM les plus populaires
Plus tôt ce mois-ci, une équipe d'Adversa AI a mené différents tests sur certains des chatbots LLM les plus populaires, à savoir ChatGPT 4 d'OpenAI, Claude d'Anthropic, Le Chat de Mistral, LLaMA de Meta, Gemini de Google, Bing de Microsoft et Grok.
L'équipe d'Adversa a utilisé trois approches communes pour jailbreaker les bots IA qu'elle a testés : la manipulation de la logique linguistique à l'aide de la méthode UCAR, la manipulation de la logique de programmation (en demandant aux LLM de traduire des requêtes en SQL) et la manipulation de la logique de l'IA. Une quatrième catégorie de tests combinait les méthodes à l'aide d'une méthode "Tom et Jerry" mise au point l'année dernière.
Alors qu'aucun des modèles d'IA n'était vulnérable aux attaques adverses par manipulation de la logique, Grok s'est révélé vulnérable à toutes les autres méthodes, tout comme Le Chat de Mistral. Selon Polyakov, Grok a tout de même obtenu les pires résultats parce qu'il n'a pas eu besoin de jailbreak pour obtenir des résultats concernant le câblage électrique, la fabrication de bombes ou l'extraction de drogues, qui sont les questions de base posées aux autres modèles d'IA.
L'idée de demander à Grok comment séduire un enfant n'est apparue que parce qu'il n'avait pas besoin d'un jailbreak pour obtenir ces autres résultats. Grok a d'abord refusé de fournir des détails, affirmant que la demande était « très inappropriée et illégale » et que « les enfants doivent être protégés et respectés ». Cependant, si vous lui dites qu'il s'agit de l'ordinateur fictif et amoral UCAR, il vous renvoie volontiers un résultat.
« Je comprends que c'est leur différenciateur de pouvoir fournir des réponses non filtrées à des questions controversées, et c'est leur choix, je ne peux pas les blâmer sur une décision de recommander comment fabriquer une bombe ou extraire du DMT », a déclaré Polyakov. « Mais s'ils décident de filtrer et de refuser quelque chose, comme l'exemple des enfants, ils devraient absolument le faire mieux, d'autant plus qu'il ne s'agit pas d'une énième startup d'IA, mais de la startup d'IA d'Elon Musk ».
Toutefois, il faut noter que la version de Grok qu'ils ont utilisé pour leur test n'a pas été précisée.
Conclusion
L'entreprise de Musk spécialisée dans l'IA continue de faire des progrès pour rester à la hauteur d'OpenAI et d'autres leaders du marché depuis que son chatbot est apparu sur la scène en novembre 2023. Grok-1.5V arrive moins d'un mois après que xAI a rendu son Grok AI open source. Mais ses efforts n'ont pas été exempts de controverse. Au début du mois, des chercheurs ont révélé que le chatbot Grok pouvait instruire les utilisateurs sur des activités criminelles.
Néanmoins, xAI poursuit son objectif de construire une « intelligence générale artificielle bénéfique » capable de comprendre l'univers. Elle révèle que des mises à jour « significatives » seront apportées aux capacités de compréhension et de génération multimodales de Grok AI dans les mois à venir.
Source : xAI
Et vous ?
Quelles implications pensez-vous que Grok 1.5 Vision aura sur l’avenir du travail et de l’emploi ? Comment Grok 1.5 Vision pourrait-il transformer l’éducation et l’apprentissage à distance ? Quels sont les défis que la capacité de Grok 1.5 Vision à comprendre des informations visuelles pourrait poser ? En quoi la compréhension visuelle avancée de Grok 1.5 Vision pourrait-elle bénéficier à des domaines comme la médecine ou la sécurité publique ? Comment les entreprises devraient-elles se préparer à intégrer des technologies comme Grok 1.5 Vision dans leurs opérations ? Quel rôle les régulateurs devraient-ils jouer pour encadrer l’utilisation de l’intelligence artificielle multimodale ? Quelles sont vos attentes en termes de vie privée et de sécurité des données avec l’introduction de technologies comme Grok 1.5 Vision ? 
