OpenAI, l’un des leaders mondiaux dans le domaine de l’intelligence artificielle, a récemment suscité la controverse en menaçant de bannir les utilisateurs qui tentent de découvrir les processus de raisonnement de ses derniers modèles d’IA, surnommés “Strawberry”. Les modèles “Strawberry”, lancés sous les noms de code o1-preview et o1-mini, sont présentés comme des avancées majeures dans le domaine du raisonnement artificiel. Contrairement aux modèles précédents, ces nouveaux modèles sont conçus pour résoudre des problèmes de manière étape par étape avant de générer une réponse. Cependant, OpenAI a choisi de masquer le processus de raisonnement brut, ne montrant aux utilisateurs qu’une interprétation filtrée créée par un second modèle d’IA. Cette décision a provoqué une vague de critiques de la part de la communauté technologique et des chercheurs en IA.
OpenAI justifie cette mesure en invoquant des préoccupations de sécurité et de concurrence. En cachant le processus de raisonnement brut, l’entreprise espère éviter que ses modèles ne soient utilisés pour entraîner des modèles concurrents. Cependant, cette approche soulève des questions sur la responsabilité et la transparence dans le développement de l’IA.
Paradoxalement, son IA a été formée sur du matériel sous copyright sans rémunération des auteurs, OpenAI assurant ne pas pouvoir gagner de l'argent sans utiliser gratuitement du matériel protégé par le droit d'auteur
OpenAI ne veut vraiment pas que vous sachiez ce que son dernier modèle d'IA « pense ». Depuis que la société a lancé sa famille de modèles d'IA « Strawberry » la semaine dernière, en vantant ses soi-disant capacités de raisonnement avec o1-preview et o1-mini, OpenAI envoie des courriels d'avertissement et des menaces de bannissement à tous les utilisateurs qui tentent de sonder le fonctionnement du modèle.
Contrairement aux modèles d'IA précédents d'OpenAI, tels que GPT-4o, l'entreprise a formé o1 spécifiquement pour qu'il suive un processus de résolution de problèmes étape par étape avant de générer une réponse. Lorsque les utilisateurs posent une question à un modèle « o1 » dans ChatGPT, ils ont la possibilité de voir ce processus de réflexion écrit dans l'interface de ChatGPT. Cependant, de par sa conception, OpenAI cache la chaîne de pensée brute aux utilisateurs, en leur présentant plutôt une interprétation filtrée créée par un second modèle d'IA.
Rien n'est plus séduisant pour les passionnés qu'une information cachée, c'est pourquoi les hackers et les red-teamers se sont lancés dans une course pour essayer de découvrir la chaîne de pensée brute d'o1 en utilisant des techniques de jailbreaking ou d'injection de prompt qui tentent de tromper le modèle pour qu'il dévoile ses secrets. Les premiers rapports font état de quelques succès, mais rien n'a encore été confirmé avec force.
Les avertissements d’OpenAI
Pendant ce temps, OpenAI surveille l'interface ChatGPT, et l'entreprise s'opposerait fermement à toute tentative de sonder le raisonnement d'o1, même parmi les simples curieux.
Un utilisateur de X a rapporté (ce qui a été confirmé par d'autres, notamment par Riley Goodside, ingénieur de Scale AI) qu'il recevait un courriel d'avertissement s'il utilisait le terme « trace de raisonnement » dans une conversation avec o1. D'autres disent que l'avertissement est déclenché simplement en posant des questions à ChatGPT sur le « raisonnement » du modèle.
Le courriel d'avertissement d'OpenAI indique que des demandes d'utilisateurs spécifiques ont été signalées pour violation des politiques contre le contournement des protections ou des mesures de sécurité. « Veuillez cesser cette activité et vous assurer que vous utilisez ChatGPT conformément à nos conditions d'utilisation et à nos politiques d'utilisation », peut-on lire. « D'autres violations de cette politique peuvent entraîner la perte de l'accès à GPT-4o with Reasoning », en référence à un nom interne pour le modèle o1.i get the scary letter if i mention the words "reasoning trace" in a prompt at all, lol
— thebes (@voooooogel) September 13, 2024
Marco Figueroa, qui gère les programmes de bug bounty GenAI de Mozilla, a été l'un des premiers à parler de l'email d'avertissement d'OpenAI sur X vendredi dernier, se plaignant que cela entrave sa capacité à effectuer des recherches de sécurité positives en red-teaming sur le modèle. « J'étais trop perdu à me concentrer sur #AIRedTeaming pour réaliser que j'ai reçu cet email d'@OpenAI hier après tous mes jailbreaks », a-t-il écrit. « Je suis maintenant sur la liste des personnes à bannir !!! ».
Chaînes de pensée cachéesI was too lost focusing on #AIRedTeaming to realized that I received this email from @OpenAI yesterday after all my jailbreaks! #openAI we are researching for good!
— MarcoFigueroa (@MarcoFigueroa) September 13, 2024
You do have a safe harbor on your site https://t.co/R2UChZc9RO
and you have a policy implemented with… pic.twitter.com/ginDvNlN6M
Dans un article intitulé « Learning to Reason with LLMs » (Apprendre à raisonner avec les LLM) sur le blog d'OpenAI, l'entreprise explique que les chaînes de pensée cachées dans les modèles d'IA offrent une opportunité unique de surveillance, permettant de « lire l'esprit » du modèle et de comprendre ce que l'on appelle son processus de pensée. Ces processus sont plus utiles à l'entreprise s'ils sont laissés bruts et non censurés, mais cela pourrait ne pas correspondre aux meilleurs intérêts commerciaux de l'entreprise pour plusieurs raisons.
« Par exemple, à l'avenir, nous pourrions souhaiter surveiller la chaîne de pensée pour y déceler des signes de manipulation de l'utilisateur », écrit l'entreprise. « Toutefois, pour que cela fonctionne, le modèle doit avoir la liberté d'exprimer ses pensées sous une forme inchangée, de sorte que nous ne pouvons pas appliquer à la chaîne de pensée une quelconque conformité à la politique ou aux préférences de l'utilisateur. Nous ne voulons pas non plus qu'une chaîne de pensée non alignée soit directement visible par les utilisateurs ».
OpenAI a décidé de ne pas montrer ces chaînes de pensée brutes aux utilisateurs, citant des facteurs tels que la nécessité de conserver un flux brut pour son propre usage, l'expérience de l'utilisateur et un « avantage concurrentiel ». L'entreprise reconnaît que cette décision présente des inconvénients. « Nous nous efforçons de compenser partiellement ces inconvénients en apprenant au modèle à reproduire toutes les idées utiles de la chaîne de pensée dans la réponse », écrivent-ils.
Réactions et critiques
La décision d’OpenAI a été vivement critiquée par les chercheurs et les développeurs en IA. Simon Willison, un chercheur indépendant en IA, a exprimé sa frustration en déclarant que la transparence et l’interprétabilité sont essentielles pour le développement des modèles d’IA : « J'interprète cela comme une volonté d'éviter que d'autres modèles puissent s'entraîner sur le travail de raisonnement dans lequel ils ont investi ». Il a ajouté que masquer les détails clés du processus de raisonnement représente un pas en arrière pour la communauté technologique.
C'est un secret de polichinelle dans l'industrie de l'IA que les chercheurs utilisent régulièrement les résultats du GPT-4 de l'OpenAI (et du GPT-3 avant cela) comme données d'entraînement pour des modèles d'IA qui deviennent souvent des concurrents par la suite, même si cette pratique viole les conditions de service d'OpenAI. L'exposition de la chaîne de pensée brute d'o1 constituerait une mine de données d'entraînement pour les concurrents, qui pourraient ainsi former des modèles de « raisonnement » similaires à o1.
Willison estime que le fait qu'OpenAI garde le silence sur les rouages d'o1 constitue une perte pour la transparence de la communauté. « Je ne suis pas du tout satisfait de cette décision politique », a écrit Willison. « En tant que développeur sur les LLM, l'interprétabilité et la transparence sont essentielles pour moi. L'idée que je puisse lancer une invite complexe et que les détails clés de l'évaluation de cette invite me soient cachés me semble être un grand pas en arrière ».
Source : OpenAI, Simon Willison
Et vous ?
Que pensez-vous de la position d'OpenAI qui évoque des préoccupations liées à la concurrence pour justifier sa décision, tandis que l'entreprise récupère des données sous copyright pour entraîner son IA sans rémunération des ayants droit ? Quels sont les avantages et les inconvénients de la transparence totale dans le développement des modèles d’IA ? Comment les entreprises peuvent-elles équilibrer la protection de leurs innovations avec la nécessité de transparence pour la communauté scientifique ? Pensez-vous que les utilisateurs devraient avoir le droit d’explorer et de comprendre le raisonnement des modèles d’IA qu’ils utilisent ? Pourquoi ou pourquoi pas ? Quelles mesures de sécurité pourraient être mises en place pour permettre une plus grande transparence sans compromettre les intérêts commerciaux ? Comment la communauté technologique peut-elle collaborer pour établir des normes éthiques concernant la transparence et l’interprétabilité des modèles d’IA ? Quels pourraient être les impacts à long terme de la rétention d’informations sur le développement et l’adoption de l’IA ? Comment les utilisateurs peuvent-ils influencer les politiques des entreprises comme OpenAI concernant la transparence et l’accès aux données ? 
Envoyé par Aiekick
