OpenAI menace de bannir ceux qui tentent de découvrir le processus de raisonnement de son IA «Strawberry», craignant la concurrence.

Toutefois, son IA a été formée gratuitement sur du matériel sous copyright

OpenAI, l’un des leaders mondiaux dans le domaine de l’intelligence artificielle, a récemment suscité la controverse en menaçant de bannir les utilisateurs qui tentent de découvrir les processus de raisonnement de ses derniers modèles d’IA, surnommés “Strawberry”. Les modèles “Strawberry”, lancés sous les noms de code o1-preview et o1-mini, sont présentés comme des avancées majeures dans le domaine du raisonnement artificiel.

Contrairement aux modèles précédents, ces nouveaux modèles sont conçus pour résoudre des problèmes de manière étape par étape avant de générer une réponse. Cependant, OpenAI a choisi de masquer le processus de raisonnement brut, ne montrant aux utilisateurs qu’une interprétation filtrée créée par un second modèle d’IA. Cette décision a provoqué une vague de critiques de la part de la communauté technologique et des chercheurs en IA.

OpenAI justifie cette mesure en invoquant des préoccupations de sécurité et de concurrence. En cachant le processus de raisonnement brut, l’entreprise espère éviter que ses modèles ne soient utilisés pour entraîner des modèles concurrents. Cependant, cette approche soulève des questions sur la responsabilité et la transparence dans le développement de l’IA.

Paradoxalement, son IA a été formée sur du matériel sous copyright sans rémunération des auteurs, OpenAI assurant ne pas pouvoir gagner de l'argent sans utiliser gratuitement du matériel protégé par le droit d'auteur

OpenAI ne veut vraiment pas que vous sachiez ce que son dernier modèle d'IA « pense ». Depuis que la société a lancé sa famille de modèles d'IA « Strawberry » la semaine dernière, en vantant ses soi-disant capacités de raisonnement avec o1-preview et o1-mini, OpenAI envoie des courriels d'avertissement et des menaces de bannissement à tous les utilisateurs qui tentent de sonder le fonctionnement du modèle.

Contrairement aux modèles d'IA précédents d'OpenAI, tels que GPT-4o, l'entreprise a formé o1 spécifiquement pour qu'il suive un processus de résolution de problèmes étape par étape avant de générer une réponse. Lorsque les utilisateurs posent une question à un modèle « o1 » dans ChatGPT, ils ont la possibilité de voir ce processus de réflexion écrit dans l'interface de ChatGPT. Cependant, de par sa conception, OpenAI cache la chaîne de pensée brute aux utilisateurs, en leur présentant plutôt une interprétation filtrée créée par un second modèle d'IA.

Rien n'est plus séduisant pour les passionnés qu'une information cachée, c'est pourquoi les hackers et les red-teamers se sont lancés dans une course pour essayer de découvrir la chaîne de pensée brute d'o1 en utilisant des techniques de jailbreaking ou d'injection de prompt qui tentent de tromper le modèle pour qu'il dévoile ses secrets. Les premiers rapports font état de quelques succès, mais rien n'a encore été confirmé avec force.


Les avertissements d’OpenAI

Pendant ce temps, OpenAI surveille l'interface ChatGPT, et l'entreprise s'opposerait fermement à toute tentative de sonder le raisonnement d'o1, même parmi les simples curieux.

Un utilisateur de X a rapporté (ce qui a été confirmé par d'autres, notamment par Riley Goodside, ingénieur de Scale AI) qu'il recevait un courriel d'avertissement s'il utilisait le terme « trace de raisonnement » dans une conversation avec o1. D'autres disent que l'avertissement est déclenché simplement en posant des questions à ChatGPT sur le « raisonnement » du modèle.

[TWITTER]<blockquote class="twitter-tweet"><p lang="en" dir="ltr">i get the scary letter if i mention the words "reasoning trace" in a prompt at all, lol</p>— thebes (@voooooogel) <a href="https://twitter.com/voooooogel/status/1834536216160768377?ref_src=twsrc%5Etfw">September 13, 2024</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/TWITTER]

Le courriel d'avertissement d'OpenAI indique que des demandes d'utilisateurs spécifiques ont été signalées pour violation des politiques contre le contournement des protections ou des mesures de sécurité. « Veuillez cesser cette activité et vous assurer que vous utilisez ChatGPT conformément à...