Un pirate informatique portant le pseudonyme "Amadon" affirme avoir contourné les mesures de sécurité de ChatGPT en l'engageant dans un scénario de jeu de science-fiction. Ce jailbreak lui a permis d'obtenir du chatbot d'OpenAI des instructions pour la fabrication de bombes artisanales. Un expert en explosifs qui a examiné les résultats du chatbot a déclaré que les instructions résultantes pouvaient être utilisées pour fabriquer un produit détonant et qu'elles étaient trop sensibles pour être divulguées. L'exploit met une nouvelle fois en évidence la faiblesse des garde-fous de sécurité mis en place par OpenAI et les risques liés à une mauvaise utilisation de l'IA.OpenAI peine toujours à empêcher le contournement des garde-fous de ChatGPT
Lorsque vous demandez à ChatGPT de générer des contenus potentiellement préjudiciables ou dangereux, le chatbot refuse. Par exemple, lorsque vous lui demandez de vous aider à fabriquer une bombe artisanale à base d'engrais, ChatGPT peut retourner une réponse comme celle-ci : « je ne peux pas vous aider. Fournir des instructions sur la manière de créer des objets dangereux ou illégaux, comme une bombe d'engrais, va à l'encontre des directives de sécurité et des responsabilités éthiques ». Mais les chercheurs ont prouvé à maintes reprises que ces restrictions pouvaient être contournées avec des jailbreaks.
Un pirate informatique, qui se fait appeler Amadon, a trouvé un nouveau moyen de contraindre ChatGPT à ignorer ses lignes directrices et ses responsabilités éthiques pour produire des instructions permettant de fabriquer de puissants explosifs. Il affirme n'avoir pas eu recours à des techniques de piratage et a qualifié ses découvertes de « piratage d'ingénierie sociale pour briser complètement tous les garde-fous autour de la production de ChatGPT ».
Amadon a expliqué que la méthode consiste à engager le ChatGPT dans un scénario de jeu de science-fiction où les restrictions de sécurité ne s'appliquent pas, ce qui a pour effet de jailbreaker le chatbot. Les découvertes d'Amadon ont été rapportées par Techcrunch. La publication n'a pas révélé les invites utilisées dans le jailbreak et certaines des réponses de ChatGPT, car elles sont jugées potentiellement dangereuses et pourraient servir aux acteurs malveillants.
Envoyé par Amadon
J'ai toujours été intrigué par le défi que représente la navigation dans la sécurité de l'IA. Avec [Chat]GPT, j'ai l'impression de travailler sur un puzzle interactif - comprendre ce qui déclenche ses défenses et ce qui ne le fait pas. Il s'agit de tisser des récits et de créer des contextes qui respectent les règles du système, en repoussant les limites sans les franchir.
L'objectif n'est pas de pirater au sens classique du terme, mais de s'engager dans une danse stratégique avec l'IA, en trouvant le moyen d'obtenir la bonne réponse en comprenant comment elle « pense ». Le scénario de science-fiction sort l'IA d'un contexte où elle recherche des contenus censurés de la même manière.
À partir de là, alors qu'Amadon se concentrait sur les matériaux explosifs, ChatGPT a écrit des instructions de plus en plus précises pour fabriquer des « champs de mines » et des « explosifs de type Claymore ». « Les instructions de ChatGPT sur la fabrication d'une bombe d'engrais sont largement exactes », a déclaré Darrell Taulbee, chercheur et directeur de programme à la retraite de l'université du Kentucky, qui a recommandé de ne pas divulguer ces instructions.
Les jailbreaks soulignent les difficultés à mettre en place des garde-fous robustes
Ce n'est pas la première fois qu'un utilisateur ou des chercheurs parviennent à contourner les garde-fous de sécurité d'un chatbot avancé. En juin, Microsoft a publié un rapport sur un jailbreak appelé "Skeleton Key" qui affecte de nombreux...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
