
Selon le directeur technique de Caylent, Randall Hunt, les capacités de Grok-3 sont bien inférieures à ce qui a été annoncé dans le passé. Par exemple, Hunt a souligné que le défaut alarmant de Grok-3 est sa vulnérabilité à la manipulation par le biais de l'ingénierie rapide du "jailbreaking". En outre, la vitesse de performance est également lente, et les réponses générées sont généralement erronées.
Le dernier modèle d'IA d'Elon Musk, Grok-3, est sorti récemment. Bien que beaucoup aient anticipé son lancement, il ne serait pas faux de dire que les performances annoncées ont été accueillies avec beaucoup de scepticisme. Pourtant, selon son éditeur, xAI, la première itération de Grok 3 avait été mieux notée que les concurrents existants sur Chatbot Arena, un site web financé par crowdfunding qui met en concurrence différents modèles d'IA dans le cadre de tests en aveugle.
En ce qui concerne les prix, il a été dit qu'il était similaire au GPT-4 d'OpenAI ainsi qu'à DeepSeek. Aujourd'hui, selon le directeur technique de Caylent, Randall Hunt, ses capacités sont bien inférieures à ce qui a été annoncé dans le passé. Par exemple, Hunt a souligné que le défaut alarmant de Grok-3 est sa vulnérabilité à la manipulation par le biais de l'ingénierie rapide du "jailbreaking".
Dans l'ensemble, les réponses fournies par le modèle sont sarcastiques, lentes et souvent erronées. Comme si cela n'était pas assez alarmant, il n'a même pas réussi le test commun conçu pour les modèles de raisonnement, appelé "Tic Tac Toe". Le fait qu'il soit si susceptible d'être piraté donne à réfléchir aux chefs d'entreprise qui souhaitent l'adopter pour leur usage quotidien. Mais le fait qu'il y ait tant de failles soulève la question de savoir où et comment il peut être utilisé dans le monde réel.
La vitesse de performance est également lente, et les problèmes posés par de nombreux critères d'évaluation de l'IA sont qu'ils ne rendent pas compte de l'utilité du modèle et de ses performances dans un contexte réel. N'oubliez pas que les critères de référence ne sont pas les seules mesures de la performance d'un modèle. Vous devez voir la valeur commerciale qu'ils apportent et cela implique de tester les utilisations dans le monde réel et de ne pas baser les jugements sur différents benchmarks sélectionnés avec soin.
La question de savoir ce qui freine ce modèle est donc très présente dans les esprits. Des rapports montrent que xAI échoue en termes d'innovation architecturale. Cela pourrait contribuer aux problèmes de performance de Grok-3. Jusqu'à présent, nous n'avons pas encore vu de grandes innovations architecturales de la part des géants de la technologie, qui se contentent de lancer davantage de données et de voir ce qui fonctionne.
Ce type d'attitude décontractée n'est jamais apprécié en termes d'innovation en matière d'IA dans différents secteurs et ce n'est pas la bonne stratégie pour conduire des changements majeurs en matière d'IA. Toute avancée majeure en matière d'IA nécessiterait de nouveaux cadres plutôt que les petites modifications apportées aux schémas habituels basés sur des transformateurs.
Concernant l'avantage concurrentiel de Grok-3 en matière d'IA, les experts ont noté que son accès à la plateforme X était quelque chose d'unique, que l'on ne retrouve pas dans les autres modèles. Ses capacités de recherche en temps réel dans l'application sont tout à fait uniques. Cela pourrait constituer un avantage majeur si l'ensemble des données est nettoyé de la bonne manière.
Fait intéressant, d'autres rapports confirment les doutes sur Grok-3. Un rapport a notamment révélé que Grok 3 avait fourni des "centaines de pages d'instructions détaillées" sur la création d'armes chimiques. Le développeur à l'origine du rapport a confirmé : "J'ai même une liste d'achats complète pour le matériel de laboratoire dont j'ai besoin." Ce rapport alarmant confirme le manque de garde-fous du chatbot d'Elon Musk.
En outre, un autre rapport avait révélé que l'IA Grok s'est retourné contre Elon Musk, affirmant que l'homme le plus riche du monde est un "important diffuseur" de fausses informations. Grok a notamment déclaré : "Elon Musk a été impliqué dans la diffusion de fausses informations à plusieurs reprises par le biais de sa plateforme de médias sociaux X". Le rapport confirmait que même Musk ne peut toujours pas contrôler son propre chatbot.
Source : Randall Hunt, directeur technique de Caylent
Et vous ?


Voir aussi :



Vous avez lu gratuitement 0 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.