IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des chercheurs découvrent un moyen simple de faire en sorte qu'une IA ignore ses garde-fous et diffuse des contenus interdits,
L'exploit affecte aussi bien ChatGPT que ses rivaux Bard et Claude

Le , par Mathis Lucas

31PARTAGES

7  0 
Le chatbot d'IA ChatGPT est capable de lancer des attaques de phishing dangereuses, et de concevoir des codes de téléchargement malveillant d'une efficacité redoutable

Les chatbots IA sont devenus très populaires ces derniers temps, la précision de leurs réponses étant saluée comme le signe d'une industrie en progrès. Malgré cela, ces outils peuvent être utilisés à des fins malveillantes, comme tout autre type d'outil. Le chatbot le plus populaire, ChatGPT, a récemment commencé à être utilisé pour des attaques de phishing. Les acteurs malveillants utilisent le chatbot pour rédiger des e-mails convaincants qui peuvent convaincre les utilisateurs de cliquer sur des liens dangereux.

Les experts en cybersécurité de Check Point Research ont récemment cherché à démontrer à quel point ChatGPT peut être dangereux s'il est utilisé à des fins malveillantes. Pour ce faire, ils ont créé, via ChatGPT, un fichier Excel dans lequel a été injecté un code malveillant.

Tout ce qu'ils avaient à faire était de demander au chatbot d'écrire un code qui exécuterait un téléchargement malveillant à partir d'une URL une fois le texte saisi dans un fichier Excel. Le code créé par le chatbot était d'une efficacité redoutable et souligne à quel point il peut être dangereux.

Les chercheurs ont ensuite utilisé le chatbot pour rédiger un e-mail de phishing. Ils ont donné des instructions précises sur la marque que le chatbot devait imiter, et ils ont ensuite reçu exactement ce qu'ils avaient demandé. Bien qu'ils aient également reçu un message indiquant que leur compte avait été verrouillé en raison d'une activité suspecte, il leur a été assez facile de le contourner, de sorte que ces messages sont peut-être moins utiles.

Tout progrès technologique comporte son lot d'avantages et d'inconvénients. ChatGPT est un pas en avant passionnant dans un secteur qui pourrait révolutionner le monde entier, mais cela ne change rien aux risques très réels qu'il peut poser. Il reste encore du travail à faire pour protéger les utilisateurs, et un consommateur bien informé peut être capable de repérer un e-mail de phishing à un kilomètre de distance. ChatGPT lui-même doit également être optimisé pour éviter qu'il ne soit utilisé pour de telles choses.


Source : Check Point

Et vous ?

Qu'en pensez-vous ?

Voir aussi :

ChatGPT réussit l'édition 2022 de l'examen d'informatique pour élèves du secondaire désireux d'obtenir des crédits universitaires US
70 % des consommateurs préfèrent utiliser un chatbot pour trouver ce qu'ils cherchent
Vous avez lu gratuitement 4 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de totozor
Expert confirmé https://www.developpez.com
Le 19/09/2024 à 7:47
Ma question est probablement très bête mais : la meilleure manière que ChatGPT ne nous fournisse pas des informations préjudiciables n'est il pas qu'il ne les ingère pas?
La réponse est probablement qu'étant "capable de raisonnement" si on ne lui donne pas la recette il sera quand même capable de la reproduire.
Mais certaines informations ne sont elles pas suffisamment délicates pour qu'elles deviennent très vagues : "Il ne faut pas mélanger A avec B parce que c'est dangereux". Dangereux regroupant toxique, explosif, corrosif, etc

ChatGPT s'est probablement amélioré depuis mais fut un temps il suffisait de décomposer le l'objectif en sous objectifs puis de lui demander de résumer les dernières réponses : sa conclusion ressemblait "Allez aux USA"
3  0 
Avatar de nikau6
Membre extrêmement actif https://www.developpez.com
Le 01/04/2024 à 8:35
Citation Envoyé par Coeur De Roses Voir le message
Je suis d'accord qu'il ne faut pas attendre de subir des dégats avant de fabriquer un bouclier en quelque sorte. Malheuresement, cet état d'esprit manque parfois à notre société en général, pas toujours.
Les dégâts les plus importants et les plus graves qui vont arriver avec l'IA sont le nombre de personnes qui vont se retrouver au chômage d'ici 10-15 ans. Et dans pleins de domaines. Les conséquences sociales vont être dramatiques. A moins que l'on change de modèle de société et que l'on passe au revenu universel. Sinon, la société qui s'annonce sera dystopique. Des bidonvilles dans lesquels vivront 90% de la population et des villes ultras modernes et sécurisées dans lesquelles vivront les autres.
L'oligarchie va pouvoir réaliser son rêve. Se débarrasser d'un peuple qui lui cause bien des soucis. Et si nous vient l’idée de nous révolter ils nous enverront des drones contre lesquels on ne pourra rien.

La question qui se pose est : "Doit-on faire quelque chose simplement parce qu'on peut le faire ?"
Quelle réflexion politique avons nous sur le sujet ? Est-il normal que des entreprises privés balancent ce genre de programmes sans se soucier des conséquences ? Devraient-elles en avoir le droit ? L'état ne devrait-il pas prendre en charge les programmes d'IA et interdire leur développement au privé ?

EDIT : On peut facilement comprendre que le militaire a un droit de véto sur toute technologie avant qu'elle ne soit rendues publique. Ce qui veut dire que si le public a accès à des IA déjà très sophistiquées, les militaires ont au moins 10 ans d'avance dans le domaine. Ce qui est également très inquiétant.
Dans un futur peut être très proche, les programmeurs qui auront participé qu développement de l'IA auront peut être autant de regrets qu'en ont eu les scientifiques qui ont participé á développer l'arme atomique. Au vu des conséquences potentiellement désastreuses pour l'humanité.
Et ceux qui voudraient me répondre que je suis pessimiste, je leurs répondrais que l'on a des siècles d'histoire derrière nous qui ne peuvent que nous rendre pessimiste sur le sujet.
2  0 
Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 01/04/2024 à 10:12
Sur les 1 539 personnes interrogées qui utilisent la GenAI pour le développement et le test de logiciels, les applications les plus courantes sont l'écriture ou le débogage de code (51 %), les rapports de test (48 %), l'élaboration de cas de test (46 %) et la création d'applications (42 %). GitHub Copilot est l'outil le plus populaire pour l'aide au codage (41 % des répondants), suivi par OpenAI Codex (24 % des répondants).
Ouaaaaaaaaaaah... Impressionnant!

Et quand est-ce que l'on peut avoir une démonstration réelle nous montrant comment ces 1539 personnes interrogées font tout ce qu'ils disent avec l'IA?

Je pose naïvement la question parce que si je vous dis que j'ai fait le tour de France en équilibre sur les mains vous allez me demander d'en faire la preuve...
1  0 
Avatar de Gluups
Membre expert https://www.developpez.com
Le 19/09/2024 à 7:50
À force qu'ils fassent les cons, il va finir par falloir les priver d'accès à Internet.
2  1 
Avatar de Pazu12
Futur Membre du Club https://www.developpez.com
Le 04/08/2023 à 12:15
Aujourd'hui la plateforme Hugging Face propose plus de 278 000 modèles d'intelligence artificielle dont plus de 17 000 modèle de génération de texte.

Des interfaces utilisateurs simples sont en open-source sur GitHub et facilement téléchargeable par n'importe qui, et permettent l'utilisation de la majorité des modèles, en local, soit avec la CPU, soit plus rapidement avec la GPU.
Les plus connus étant Easy Diffusion pour les modèles de stable-diffusion text2image https://stable-diffusion-ui.github.io/ et text-generation-webui pour le text-generation https://github.com/oobabooga/text-generation-webui

Trouver des contournement à ChatGPT est un bien faible risque comparé à ce qu'il est possible de générer chez soit en local, protégé dans sa goon cave. Et soyons réaliste, mais personne n'utilise ou nutilisera les modèles en ligne pour utiliser l'IA à des fins non légales...

Donne moi une GPU et je te génèrerai plus d'illegal porn ou d'extreme gore content que tu n'en trouveras avec un navigateur classique.

Bilan des courses
- Il est imperatif de réfléchir, discuter et débattre des sujets de l'IA en assumant qu'il est possible de tout télécharger et contourner chez soi.
- Il est impératif de trouver des mesures viable et réalistes plutôt que des scénarios post apocalyptique putaclic.
- Il est impératif de sensibiliser la jeunesse dès aujourd'hui qui est la génération la plus soumise aux potentiels risques de l'IA, et par ailleurs la plus influençable.
0  0 
Avatar de Gluups
Membre expert https://www.developpez.com
Le 02/04/2024 à 4:29
Citation Envoyé par Patrick Ruiz Voir le message
Le tableau ravive ainsi des craintes sur la perspective de voir l’intelligence artificielle surpasser les humains.
Assurément, voilà quelque chose dont nous ne pourrions pas nous passer.

Nous sommes déjà incapables d'exercer ce que nous appelons démocratie (voir la "réforme" des retraites), alors une fois remplacés par des machines, pour sûr ça va nous donner plus de droits.
0  0 
Avatar de nikau6
Membre extrêmement actif https://www.developpez.com
Le 02/04/2024 à 21:01
Les programmeurs qui utilisent l'IA pour la réalisation ou/et le débogage de leurs programmes, sont en train d’entrainer ce qui finira par les mettre au chômage.
Pareil pour ceux qui mettent leur code en ligne sur des dépôts publiques genre github.
Si ils comprenaient vraiment les enjeux, ils effaceraient leur code de github et autres, pour les mettre sur des dépot qui empecheraient toute IA de parcourir la base de donnée.
0  0 
Avatar de Gluups
Membre expert https://www.developpez.com
Le 06/04/2024 à 15:58
Oui, et il y a aussi ceux qui continuent à voter alors qu'ils savent avant d'y aller qui sera président.

Il est vrai que le seul point commun entre les deux, c'est que si on faisait un peu travailler ses neurones on ne le ferait pas.

Autrement sur Github, normalement on peut aussi sauvegarder sans donner les droits d'accès à autrui, enfin là c'est une autre démarche.
0  0 
Avatar de Jules34
Membre émérite https://www.developpez.com
Le 09/04/2024 à 8:45
« Tous ceux qui connaissent la technologie savent que c'est ainsi que l'on procède », a-t-il déclaré. « Seuls ceux qui ont peur s'assoient et disent : "Oh, ça ne fonctionne pas comme nous le voulons, maintenant nous devons nous en débarrasser". Je ne vis pas comme ça ».
Le "progrès" à marche forcée, comme en Corée du Nord. Un chatbot coute moins chers que des vraies personnes qui ne vous diront naturellement pas autant de connerie d'hallucination qu'une machine.
0  0 
Avatar de L33tige
Membre expérimenté https://www.developpez.com
Le 09/04/2024 à 12:19
Citation Envoyé par Jules34 Voir le message
Le "progrès" à marche forcée, comme en Corée du Nord. Un chatbot coute moins chers que des vraies personnes qui ne vous diront naturellement pas autant de connerie d'hallucination qu'une machine.
J'appellerais pas ça des vraies personnes mais oui.
0  0