Sam Altman, PDG d'OpenAI, a déclaré que le problème de "paresse" de ChatGPT est désormais résolu et que le chatbot a retrouvé ses performances d'antan. Les utilisateurs de ChatGPT s'étaient plaints à la fin de l'année 2023 du fait que le chatbot était paresseux et qu'il refusait d'accomplir des tâches. Altman a reconnu le problème et a déclaré qu'il a été résolu par une mise à jour logicielle. La cause exacte de la paresse de ChatGPT n'est pas claire, mais elle pourrait être liée au processus de formation des grands modèles de langage (LLM). Certains utilisateurs avaient accusé l'entreprise d'avoir limité les capacités du chatbot pour réduire les coûts.À la fin de l'année dernière, les utilisateurs de ChatGPT ont commencé à se plaindre d'une régression des performances de ChatGPT. De nombreux utilisateurs ont affirmé que le chatbot refusait et ignorait trop d'invites. En outre, ils ont également déclaré que parfois, lorsque ChatGPT se décidait à répondre à une question, il n'allait pas au bout de sa réponse et demandait à l'utilisateur de compléter le reste. D'après les plaignants, ChatGPT était devenu "paresseux". Le problème aurait persisté pendant plusieurs mois avant qu'OpenAI n'annonce fin janvier 2024 avoir publié une mise à jour logicielle qui vise à le corriger.
Par exemple, des utilisateurs affirment avoir demandé un morceau de code, mais ChatGPT s'est contenté de donner quelques informations, puis demander aux utilisateurs de compléter le reste. Certains se sont plaints qu'il le faisait de manière insolente, en disant aux utilisateurs qu'ils étaient parfaitement capables de faire le travail eux-mêmes. « Je lui ai demandé l'âge d'une célébrité et il m'a répondu : "il est né à cette date. Avec cette information vous pouvez le découvrir vous-même". J'ai demandé pourquoi il ne pouvait pas le faire, ce qu'il a fait, mais j'ai eu l'impression qu'il était inutilement insolent », a écrit un critique.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">gpt-4 had a slow start on its new year's resolutions but should now be much less lazy now!</p>— Sam Altman (@sama) <a href="https://twitter.com/sama/status/1754172149378810118?ref_src=twsrc%5Etfw">February 4, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Le PDG Sam Altman est revenu sur le sujet le week-end dernier et a confirmé que les correctifs ont permis de résoudre le problème. « GPT-4 a démarré lentement ses résolutions du Nouvel An, mais devrait être beaucoup moins paresseux maintenant », a écrit Altman dans un message posté sur X le dimanche. Selon Altman, ChatGPT a connu un départ laborieux dans sa résolution du Nouvel An, car le chabot a montré un nombre croissant de mauvaises habitudes, allant d'une tendance à la paresse à une insistance sur le fait qu'il ne peut pas faire des choses qu'il peut faire, en passant par une attitude un peu insolente.
Mais si vous regardez les commentaires d'Altman depuis des mois, les personnalités du chatbot (ou les illusions qu'elles suscitent) sont difficiles à supprimer. « Le comportement du modèle peut être imprévisible. L'entraînement des chatbots peut s'apparenter au dressage de chiots : ils ne réagissent pas toujours de la même manière. Différents cycles de formation, même en utilisant les mêmes ensembles de données, peuvent produire des modèles qui sont sensiblement différents en matière de personnalité, de style d'écriture, de performance d'évaluation et même de parti pris politique », a expliqué OpenAI en décembre.
Pour rappel, dans le domaine de l'apprentissage automatique la "paresse fait généralement référence à la tendance des grands modèles de langage à prendre des raccourcis, à éviter les efforts, à produire des résultats de faible qualité et à ne pas s'engager dans une compréhension approfondie des tâches difficiles. Dans le cas de ChatGPT, certains utilisateurs ont trouvé des stratégies inventives pour contourner la paresse de ChatGPT. Par exemple, l'un d'entre eux a annoncé le mois dernier découvert que le modèle d'IA fournissait des réponses plus longues s'il promettait de lui donner un pourboire de 200 dollars.
Une étude publiée au début de l'année par les chercheurs de l'université de Stanford et de l'université de Berkeley a abordé le problème. L'étude, intitulée "How is ChatGPT's behavior changing over time ?", a révélé que le modèle d'IA présentait des dérives, c'est-à-dire des fluctuations importantes de la précision dans certaines tâches. Elle a rapporté en outre que sa facilité à résoudre des problèmes mathématiques et à identifier les nombres premiers avait chuté d'environ 97 % à moins de 3 % de précision après seulement trois mois. Les utilisateurs de ChatGPT ont décrit d'autres problèmes ces derniers mois.
Ils se sont plaints du fait que ChatGPT dise qu'il ne peut pas naviguer sur Internet au-delà de sa récente mise à jour en 2023. Lorsque l'utilisateur encourage le chatbot en tapant "yes, you can" (oui, tu peux), il semblait subitement se souvenir qu'il peut naviguer sur Internet. Les discussions sur Reddit portent sur la question de savoir si les utilisateurs pensent que les anciennes versions du logiciel fonctionnaient mieux. Dans le même temps, d'autres critiques pensent que la frénésie suscitée par la nouveauté du chatbot d'IA d'OpenAI donne l'impression qu'il était plus délicat auparavant qu'il ne l'est aujourd'hui.
[tweet]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">training chat models is not a clean industrial process. different training runs even using the same datasets can produce models that are noticeably different in personality, writing style, refusal behavior, evaluation performance, and even political bias</p>— ChatGPT (@ChatGPTapp) <a href="https://twitter.com/ChatGPTapp/status/1733329175342420380?ref_src=twsrc%5Etfw">December 9, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/tweet]
Le développeur Rob Lynch a émis l'hypothèse selon laquelle le chatbot avait peut-être pris son temps pour l'hiver, peut-être parce qu'il s'attendait à ce que ses homologues humains ralentissent également leurs activités pendant les vacances, ou tout simplement à cause d'un autre problème inexpliqué. Lynch a expliqué sur X qu'il avait testé le chatbot et qu'il répondait plus brièvement lorsqu'il pensait que nous étions en décembre plutôt qu'en mai. Bien sûr, il ne s'agit que d'une théorie parmi tant d'autres et aucune autre observation ne permet de le confirmer pour l'instant. Lynch espère que le problème est résolu.
Depuis que ChatGPT a été lancé en novembre 2022, le nombre d'utilisateurs est estimé à plus de 1,7 milliard. Les gens utilisent le logiciel pour rédiger des courriels, des lettres et des rapports, et les plus doués en technologie s'en servent pour déboguer et écrire des codes et des analyses de recherche. Les travailleurs ont renforcé leurs effectifs grâce à ce logiciel et affirment qu'il les aide à "travailler plus intelligemment, et non plus durement". À ce propos, les analystes s'attendent à ce que les logiciels d'IA comme ChatGPT bouleversent le marché du travail dans les années à venir, avec des millions d'emplois supprimés.
Toutefois, dans des domaines comme le service à la clientèle et les soins de santé, les experts de l'industrie avertissent qu'une dépendance excessive aux logiciels d'IA comme ChatGPT pourrait entraîner une perte de connexion humaine et d'empathie que certains domaines ont encore besoin d'encourager. Si vous avez déjà eu un appel de 40 minutes avec un robot du service clientèle, vous le savez déjà.
Par ailleurs, des études ont révélé les préjugés sexistes de ChatGPT dans son évaluation de certaines carrières et actions, associant les hommes aux médecins et au travail, et les femmes aux infirmières et à la cuisine. ChatGPT et d'autres modèles d'IA concurrents souffrent également de nombreux autres biais.
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi
ChatGPT : OpenAI réduit de moitié les prix d'accès à ses API et corrige le problème de « paresse » dans les réponses de GPT-4, l'entreprise présente de nouveaux modèles aux développeurs OpenAI affirme qu'il enquête sur les rapports selon lesquels ChatGPT est devenu "paresseux", mais l'entreprise est accusée d'avoir limité les capacités du chatbot pour réduire les coûts Le lobbying en faveur de l'IA atteint un niveau record, avec une augmentation de 185 % par rapport à l'année dernière et arrive à un moment où les appels à la réglementation de l'IA se multiplient