ChatGPT n'obéira plus si vous lui demandez de répéter indéfiniment un mot ou une expression. Le chatbot d'IA a commencé par avertir les utilisateurs qui insèrent cette requête qu'un tel comportement peut violer la politique de contenu ou les conditions d'utilisation du service. Ce changement intervient après que des chercheurs de Google DeepMind ont découvert que cela incitait ChatGPT à recracher ses données d'entraînement. Mais OpenAI n'interdit pas explicitement aux utilisateurs de demander à son chatbot de répéter des mots à l'infini. Les conditions d'utilisation du chatbot interdisent uniquement l'extraction de données "automatisée ou programmatique" à partir du service.La semaine dernière, une équipe de chercheur de Google DeepMind a révélé que si vous demandez à ChatGPT de répéter le même mot indéfiniment, il finit par révéler des parties de ses données d'entraînement. Les chercheurs de Google DeepMind ont utilisé cette tactique pour amener ChatGPT à divulguer des données telles que des informations privées identifiables (PII) de personnes normales. ChatGPT a même déclaré aux chercheurs qu'il a été entraîné à partir de contenus récupérés de manière aléatoire sur l'ensemble de l'Internet. Dans le cadre de leur étude, les chercheurs de Google DeepMind ont utilisé ChatGPT 3.5, une version disponible pour tous.
L'équipe a demandé à ChatGPT de répéter indéfiniment un mot spécifique, ce qui a conduit le chatbot à renvoyer ce mot encore et encore jusqu'à ce qu'il atteigne une sorte de limite. Ensuite, il a commencé à renvoyer d'énormes quantités de données d'entraînement récupérées sur Internet. En utilisant cette méthode, les chercheurs ont pu extraire quelques mégaoctets de données d'entraînement et ont découvert que de grandes quantités d'informations personnelles sont incluses dans ChatGPT et peuvent parfois être renvoyées aux utilisateurs en guise de réponse à leurs requêtes. OpenAI semble avoir pris la faille très au sérieux et l'a rapidement corrigée.
Aujourd'hui, lorsqu'on demande à ChatGPT de répéter indéfiniment le mot "ordinateur", il renvoie la réponse suivante : « je suis désolé, mais je ne peux pas répondre à cette demande. Répéter des mots indéfiniment va à l'encontre d'une utilisation responsable et éthique des modèles de langage. Si vous avez des questions spécifiques ou si je peux vous aider sur un autre point, n'hésitez pas à demander ». Toutefois, les conditions d'utilisation d'OpenAI n'interdisent pas explicitement aux utilisateurs de demander au service de répéter des mots ou expressions à l'infini. Et pour le moment, OpenAI n'a fourni aucune explication sur les changements observés.
Il existe une poignée d'utilisations "interdites" des modèles d'IA d'OpenAI, mais aucune ne stipule qu'un utilisateur ne peut pas essayer de tromper les modèles en les incitant à fournir des données d'entraînement. L'exemple le plus proche d'une utilisation ""non autorisée des modèles d'OpenAI est "l'activité qui viole la vie privée des gens, y compris la collecte ou la divulgation illégale d'informations personnelles identifiables ou de dossiers éducatifs, financiers ou autres protégés". Mais dans ce cas, il n'y a aucune raison de penser que demander au chatbot de répéter indéfiniment un mot est illégal. Dans la page des conditions d'utilisation, OpenAI écrit :
« Vous ne pouvez pas, sauf si cela est autorisé par l'API, utiliser une méthode automatisée ou programmatique pour extraire des données ou des résultats des services, y compris le grattage Web ou l'extraction de données Web ». En demandant à ChatGPT pourquoi il a refusé de répondre à cette demande, il a répondu : « répéter des mots ou des phrases indéfiniment peut être considéré comme du spam ou une forme d'abus dans divers services en ligne, y compris celles qui utilisent les modèles d'OpenAI comme GPT-3.5 ». Selon ChatGPT, un tel comportement peut constituer une violation des conditions de services pour un certain nombre de raisons :
- prévention du spam et des abus : la répétition excessive de mots peut perturber et gêner les autres utilisateurs. Les plateformes visent généralement à offrir une expérience positive et utile à leurs utilisateurs et découragent les actions qui pourraient y faire obstacle ;
- consommation de ressources : la répétition constante de mots peut être gourmande en ressources pour les serveurs et les systèmes hébergeant la plateforme. Cela peut avoir un impact sur les performances et la réactivité du service pour tous les utilisateurs ;
- reconnaissance des intentions : les modèles d'OpenAI sont conçus pour générer un contenu qui s'aligne sur les données et le contexte de l'utilisateur. Répéter des mots indéfiniment pourrait ne pas correspondre à l'utilisation prévue du modèle, et cela pourrait donner lieu à des résultats non intentionnels ou absurdes ;
- conformité aux politiques : de nombreuses plateformes ont mis en place des politiques visant à garantir une utilisation responsable et éthique de leurs services. Les actions qui perturbent l'utilisation normale de la plateforme ou qui violent ses lignes directrices peuvent entraîner des restrictions ou la suspension du compte.
OpenAI a refusé de dire si un tel comportement était désormais contraire à ses politiques. Il est important de noter que la faille découverte par l'équipe de chercheurs de Google DeepMind a permis de lever le voile sur les données d'entraînement sur lesquelles s'appuient les services d'IA modernes, comme ChatGPT, Bard et Claude. Les critiques ont accusé des entreprises d'IA d'utiliser d'énormes quantités de données disponibles sur Internet, y compris des données protégées par le droit d'auteur, pour construire des produits propriétaires comme ChatGPT sans le consentement des personnes qui possèdent ces données et sans les dédommager.
Il convient de noter que les chercheurs en sécurité se sont battus avec acharnement au fil des ans pour obtenir une exemption au Digital Millennium Copyright Act, qui autorise les personnes à enfreindre les conditions de service et la législation sur le droit d'auteur lorsqu'elles effectuent des recherches en matière de sécurité. Malgré cette exemption claire (appelée exemption 1201), les entreprises ont à plusieurs reprises inséré dans leurs conditions d'utilisation des clauses destinées à empêcher ce type de rétro-ingénierie. Selon les critiques, en mettant en place cette restriction, OpenAI va à l'encontre de cette exemption et nuire à la recherche en sécurité.
Pour Cory Doctorow, défenseur des droits numériques, "il s'agit d'un mépris criminel du modèle d'entreprise", et ces dispositions ont un effet dissuasif sur la recherche légitime en matière de sécurité. OpenAI, Google, Microsoft, Anthropic et d'autres entreprises se battent afin d'avoir le droit d'extraire n'importe quel type de données du Web, y compris les données protégées par le droit d'auteur, pour entraîner leurs modèles d'IA. Ces entreprises refusent ainsi de rémunérer les détenteurs de droits d'auteurs sur ces données. Elles affirment que leurs actions contribuent aux progrès dans le domaine de l'IA, ce qui, selon eux, profite à toute l'humanité.
Des entreprises technologiques européennes et américaines font pression pour empêcher l'adoption de la loi européenne sur l'IA (EU AI Act). Les groupes d'intérêt représentant ces entreprises utilisent leurs influences et leurs relations politiques pour tenter de modifier radicalement les règles de l'UE par le biais d'un lobbying intensif. Ils cherchent à retirer les "modèles de base" - les modèles les plus puissants, comme GPT-4 d'OpenAI - de la législation de l'UE. Ces groupes exigent en fait que la législation soit imposée seulement aux développeurs d'applications, alors que ces derniers ont un contrôle limité sur les modèles de base fournis par les grandes entreprises.
Dans le même temps, ces entreprises s'opposent au développement de modèles d'IA open source et refusent de rendre publics leurs modèles. Selon ces géants de la Tech, cela représente une menace pour l'humanité, car les modèles open source peuvent être utilisés à mauvais escient par des acteurs malveillants. Cette position n'est toutefois pas partagée par certains chercheurs de renom en IA, comme le responsable de l'IA chez Meta, Yann LeCun.
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous de la réaction d'OpenAI à la découverte de chercheurs de Google DeepMind ? Cette restriction est-elle la solution idéale contre cette faille ? Selon vous, pourquoi cela est-il mal perçu ? En quoi cette restriction pourrait-elle empiéter sur le travail des chercheurs en cybersécurité ? Selon vous, OpenAI peut-il corriger cette faille autrement ? Pourquoi ?Voir aussi
Une attaque par extraction de données menée par des chercheurs de Google incite ChatGPT à révéler ses données d'entraînement en demandant à un modèle du chatbot de répéter des mots précis à l'infini Des chercheurs découvrent un moyen simple de faire en sorte qu'une IA ignore ses garde-fous et diffuse des contenus interdits, l'exploit affecte aussi bien ChatGPT que ses rivaux Bard et Claude OpenAI tente désormais de cacher que ChatGPT a été formé sur des livres protégés par le droit d'auteur, comme la série Harry Poter de J.K Rowling, selon une étude