Google vient de lancer sa dernière offre d'IA, baptisée Gemini Pro. L'entreprise a fait de grandes promesses lors de la présentation. Mais il semble que tout ce qui brille ne soit pas d'or dans le cas du rival ChatGPT. Selon une nouvelle étude, les performances de Gemini Pro de Google sont inférieures à celles de ChatGPT 3.5 d'OpenAI.Cela fait moins d'un mois que le géant des moteurs de recherche a présenté la vidéo de démonstration qui a fait couler beaucoup d'encre. Mais au final, le fabricant d'Android a été vivement critiqué pour ce qui semblait être une mise en scène entre le présentateur et le monde de l'IA, comme le souligne la dernière controverse sur le sujet.
Aujourd'hui, selon une nouvelle étude, on assiste à des révélations choquantes, notamment sur le fait que le chatbot que Google affirme être le plus puissant mis à la disposition des utilisateurs est en réalité loin d'être idéal. En fait, ses performances sont comparées à celles de la variante GPT 3.5 d'OpenAI, qui est dépassée, et les résultats sont bien pires.
Oui, cela signifie que le LLM le plus puissant et le plus récent de Google n'a pas réussi à impressionner malgré les mois qu'il a mis à arriver sur le marché, et qu'il n'a pas répondu aux attentes des experts. N'oubliez pas que la version 3.5 de ChatGPT est non seulement ancienne et moins innovante, mais qu'elle est également gratuite. Les utilisateurs qui paient un abonnement peuvent accéder aux LLM GPT-4 et 4V et la majorité des utilisateurs tirent le meilleur parti de la dernière alternative OpenAI.
Cette recherche menée par des auteurs de l'université Carnegie Mellon a montré comment le modèle a effectué plusieurs tâches, y compris l'écriture, pour parvenir à cette compréhension. Il est choquant de constater que la qualité de ces écrits est inférieure à celle d'autres écrits générés par des outils similaires de la concurrence. Ce type de conclusion, qui comporte des chocs importants, ne peut que nuire à la direction de Google, qui a consacré non seulement du temps mais aussi beaucoup d'argent à la commercialisation du modèle Gemini Pro, considéré comme le nec plus ultra dans le monde de l'intelligence artificielle. Il n'était pas seulement comparable, mais inférieur en termes de précision à la version récente d'OpenAI.
Lorsque Google a été contacté pour faire la lumière sur cette affaire et sur ce qu'il pensait des résultats, le porte-parole a dévoilé quelques faits intéressants. Il a expliqué en détail les études menées par Google, qui ont prouvé le contraire. Non seulement Gemini Pro était meilleur que GPT 3.5, mais Gemini Ultra, qui n'est pas encore sorti, obtiendrait de meilleurs résultats que GPT-4, la meilleure solution d'IA d'OpenAI à ce jour.
D'après ce scénario jusqu'à présent, il s'agit certainement d'une nouvelle alarmante. Bien entendu, d'autres études menées par d'autres entités externes sont nécessaires pour faire toute la lumière sur cette affaire et tirer d'autres conclusions sur la qualité du modèle Pro de Gemini. Pour l'instant, Google a réfuté les affirmations de l'étude et s'engage à s'en tenir à ses recherches internes. L'entreprise a également accusé l'auteur d'avoir utilisé de mauvaises références pour la comparaison et d'avoir provoqué des conflits en raison de la contamination des données.
Les chercheurs auraient testé quatre types de grands modèles linguistiques, dont Gemini Pro, GPT-3.5 Turbo, Mixtral 8X7B et GPT-4 Turbo d'OpenAI. Ils ont ensuite utilisé un LiteLLM pendant quatre jours, puis ont fait fonctionner les modèles sur différentes invites. En outre, il a été choquant de constater que la programmation ne répondait pas non plus aux attentes. Les niveaux de précision étaient médiocres par rapport à d'autres et pour les QCM, il a choisi de donner plus de réponses D, bien qu'elles soient incorrectes, ce qui témoigne d'un parti pris.
La question est maintenant de savoir ce que cela signifie réellement pour le géant de la technologie Google. C'est sans aucun doute un coup dur pour l'entreprise. Elle a essayé de prendre de l'avance dans la course à l'IA, mais une chose ou l'autre la fait chuter. En attendant, la variante la plus innovante et la plus puissante, baptisée Gemini Ultra, sera lancée l'année prochaine. Cela signifie donc que le géant de la technologie est à la traîne dans...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
