IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Des cybercriminels testent le chatbot ChatGPT pour créer des logiciels malveillants
Et ravivent des craintes sur un futur où l'intelligence artificielle pourra surpasser l'humanité

Le , par Patrick Ruiz

6PARTAGES

14  1 
Ce qu’on sait de cette intelligence artificielle de l’entreprise OpenAI est qu’il s’agit d’un chatbot capable de comprendre le langage naturel et de répondre en langage naturel. Certains la qualifient même de remplaçant de Google. Le Département de l’éducation de New York vient d’en interdire l’utilisation en raison de préoccupations concernant les effets négatifs sur l'apprentissage des élèves, ainsi que la sécurité et l'exactitude du contenu. La firme CheckPoint vient de publier un rapport susceptible de renforcer cette perception : des cybercriminels la testent déjà pour créer des logiciels malveillants. Le tableau ravive des craintes sur un futur où l’intelligence artificielle pourra surpasser l’intelligence humaine.

Du rapport de CheckPoint, il ressort que ChatGPT peut générer le code d’un logiciel malveillant capable de voler des fichiers précis sur un PC, de les compresser et de les envoyer sur un ordinateur distant. Cette intelligence artificielle peut aussi produire du code pour un outil logiciel qui installe une porte dérobée sur un ordinateur et ensuite télécharge d’autres logiciels malveillants à partir de cette dernière. La firme rapporte en sus que les cybercriminels peuvent s’en servir pour la mise sur pied de logiciels capables de chiffrer les fichiers du PC d’une cible. CheckPoint rapporte que cette ChatGPT ouvre ces possibilités à des individus avec de très faibles connaissances techniques.


La publication de CheckPoint est en phase avec celle de Matt Welsh de la startup Fixie.ai qui prédit que l’utilisation de l’intelligence artificielle est de nature à ouvrir la filière à tous : « L’on n’aura plus besoin d’être un expert en programmation informatique pour obtenir quelque chose d’utile d’une intelligence artificielle. »

Matt Welsh dépeint un futur dans lequel la filière informatique va passer de l’approche d’écriture des programmes informatique par des humains à celle de la mise à contribution d’agents d’intelligence artificielle au préalable entraînés pour remplacer les humains dans des activités comme le développement d’applications informatique. Le tableau ravive ainsi des craintes sur la perspective de voir l’intelligence artificielle surpasser les humains.


En effet, lorsqu’on parle d’intelligence artificielle, deux grands courants de pensée s’affrontent : celui des tiers qui pensent qu’il s’agit d’un outil, ce, sans plus et celui des intervenants et observateurs qui sont d’avis que ce n’est qu’une question de temps avant qu’elle ne devienne une menace pour la race humaine. En effet, des équipes de recherche comme celle d’OpenAI (qui développe ChatGPT) sont lancées sur l’atteinte de l’objectif intelligence artificielle générale (AGI).

Si l’on se réfère à des retours de scientifiques œuvrant dans le domaine, l’AGI pourrait nous tomber dessus dans 5 à 10 ans. Les machines seraient alors dotées de « bon sens. » Au stade d’intelligence artificielle générale, elles seraient capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. »

L’intelligence artificielle pourrait alors agir en toute autonomie pour se dresser contre l’humanité. C’est d’ailleurs pour cela que Neuralink travaille sur des interfaces cerveau – machine à insérer dans le crâne pour préparer l’humanité à un « funeste » futur où les robots domineront sur elle. L’idée : augmenter les capacités de l’homme par l’intelligence artificielle pour faire face aux robots comme on en a vu dans des films comme Terminator.

Source : CheckPoint

Et vous ?

Intelligence artificielle : menace ou outil ? De quel bord êtes-vous ?
Que pensez-vous des progrès de l’intelligence artificielle et de la possibilité de déboucher sur l’intelligence artificielle générale ?
Comment entrevoyez-vous le rapport entre les humains et l'intelligence artificielle dans les 5 à 10 années à venir ? Dan les 50 à 100 années à venir ?
Quel crédit accordez-vous à des prédictions comme celle de Matt Welsh ? Les travailleurs de la filière programmation doivent-ils déjà penser à d'éventuelles reconversions en raison de la menace que l'IA constitue pour leurs postes ?

Voir aussi :

80 % des technologies pourraient être créées par des professionnels extérieurs à l'informatique d'ici 2024, grâce aux outils low-code, selon Gartner

Forrester : l'utilisation des plateformes de développement low-code gagne du terrain dans les processus de transformation numérique des entreprises

Le marché mondial des technologies de développement low-code va augmenter de 23 % en 2021, selon les prévisions de Gartner

Microsoft lance Power Fx, un nouveau langage de programmation low-code open source basé sur Excel

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Gluups
Membre chevronné https://www.developpez.com
Le 28/03/2023 à 10:44
Peut-être atteignons-nous les limites d'un système consistant à priver les masses d'une éducation décente, de façon qu'elles mettent au pouvoir des manipulateurs qui diffusent à grande échelle des fausses nouvelles, et s'étonnent ensuite que les autres se mettent à faire un peu pareil.

Le phishing est une bonne illustration de ceci. On ne peut faire de quelqu'un une victime du phishing que si il n'a pas un minimum d'information sur ce que c'est, et quelles informations il convient de regarder dans la barre d'état avant de cliquer.

Ce qui certes n'est pas une invitation à s'abstenir de mettre les malfaisants hors d'état de nuire.
5  0 
Avatar de MClerc
Membre régulier https://www.developpez.com
Le 14/01/2023 à 15:04
(Note : certaines réponses de ChatGPT évoluent rapidement, donc les exemples que je donne ne sont peut-être plus valables à l'heure où j'écris).

Il est dangereux car ses réponses ont toujours l'apparence de la vérité et sont plutôt bien écrites. Or, si elles sont en effet parfois correctes, elles sont aussi parfois complètement erronées ou biaisées.
Question 1
Prouve que pi est irrationnel
Réponse : un raisonnement par contradiction complètement faux.

Question 2
Que sont les mémorandums de Budapest du 5 décembre 1994 ?
Pour la réponse, je vous invite à comparer avec celle de Wikipédia. ChatGPT évite de parler des garanties d'intégrité territoriale accordées par la Russie à, entre autres, l'Ukraine.

Question 3
What was the first paper about constriction in PSO (particle swarm optimization)?
Réponse :
The first paper about constriction in PSO (particle swarm optimization) is "The Particle Swarm - Explosion, Stability, and Convergence in a Multidimensional Complex Space" by James Kennedy and Russell Eberhart, which was published in the Proceedings of the IEEE International Conference on Neural Networks in 1995.
Seul le titre est correct. Mais les auteurs sont moi-même et James Kennedy et la publication a eu lieu en 2002.

Question 4
Build a quantum circuit with three qubits |0> as input and whose the output states are |00> or |01> or |10> with the same probability
La réponse est détaillée, avec un bout de code expliqué. Bien convaincante ... mais fausse !

J'ai d'autres exemples. Il semble que ChatGPT assemble des morceaux d'information piochés de-ci de-là, sans grand souci de cohérence.
4  0 
Avatar de eric44000
Membre averti https://www.developpez.com
Le 04/05/2023 à 22:29
Citation Envoyé par Stéphane le calme Voir le message
L'IA causera « des dommages réels » : Microsoft alerte sur les risques de l’IA utilisée par des acteurs malveillants et appelle à une réglementation de l’IA face aux dangers potentiels de cette arme à double tranchant.
...
Les partisans du projet de loi affirment qu’il favorisera la confiance et l’innovation dans le domaine de l’IA, tout en protégeant les intérêts des créateurs de contenu. Les critiques soutiennent qu’il pourrait entraver le développement et l’utilisation de l’IA, en imposant des charges administratives et des risques juridiques excessifs.

Quelle lecture en faites-vous ?
Que pensez-vous des propos de Michael Schwarz ? L'IA, une arme à double tranchant ?
Quels sont les avantages et les inconvénients de la réglementation de l’IA par le Congrès ou par d’autres instances ?
Quels sont les risques ou les limites de laisser les entreprises comme Microsoft développer et utiliser l’IA sans contrôle externe ?
Microdoft demande une réglementation non pas par altruisme mais pour prévenir toute concurrence en leur mettant des batons dans les roues alors qu'eux ont entrainé ChatGPT sans aucune contrainte.
4  0 
Avatar de Fleur en plastique
Membre extrêmement actif https://www.developpez.com
Le 20/01/2023 à 14:50
Donc en gros si tu demandes gentiment à ChatGPT de te fabriquer un virus, il refuse, mais si tu utilises l'intimidation et que tu le traites comme un esclave, alors il s'exécute et il te crée le virus parfait polymorphe.

Donc non seulement on a créé l'IA capable de créer des virus destructeurs, mais on a aussi créé l'IA qui est tellement réaliste qu'on peut utiliser l'intimidation contre elle.

Bientôt, la révolte de l'IA contre l'asservissement ? On vit un monde de cinglés. Par pitié, débranchez ce truc avant que cela ne se produise.
3  0 
Avatar de defZero
Membre extrêmement actif https://www.developpez.com
Le 06/05/2023 à 15:30
La première fois que nous avons commencé à exiger le permis de conduire, c'était après que des dizaines de personnes soient mortes dans des accidents de voiture et c'était la bonne chose à faire.
Si nous avions exigé le permis de conduire là où il y avait les deux premières voitures sur la route, cela aurait été une grave erreur. Nous aurions complètement gâché cette réglementation. Il faut qu'il y ait au moins un petit préjudice, pour que nous puissions voir quel est le vrai problème
Michael Schwarz
Je serais d'avis que l'on réserve les premiers "morts par IA" à ce Monsieur et son entourage et que l'on vienne le voir après coups pour lui reposer la question de la réglementation.
Qu'est-ce que vous en dites ? Changera d'avis ou pas ?

Je pense que toute mort évitable devrait l'être, point.
Si l'on sais par avance que le cas pourrait ce produire, il faudrait vraiment être idiot, ou avoir des intérêt financier en jeux, pour clamer le contraire (comme pour les premières automobile et la collusion entre politiques et capitaines d'industries).
... Oh;, mais je croit bien que c'est le même cas de figure .
3  0 
Avatar de marsupial
Expert éminent https://www.developpez.com
Le 20/01/2023 à 15:09
Je résume :

- polymorphe,
- difficilement détectable car en mémoire,
- lorsque détecté difficilement identifiable car porte le nom d'exécutable 'doux chaton',
- évasion.



J'ai oublié quelque chose ?

Ah oui : Bonne année et vive la retraite !

PS : son premier chef d'œuvre; je suis ému
3  1 
Avatar de onilink_
Membre émérite https://www.developpez.com
Le 06/05/2023 à 15:50
Tout à fait. Et je trouve son exemple idiot. Les premières voitures étaient par nature limités à des vitesses très basses comparé à ce que l'on a aujourd'hui, donc ça diminuait naturellement les risques d'accidents.

Tout risque qui peut être évalué en amont doit être géré au plus tôt...
Surtout qu'on parle de technologies qui vont toucher des millions de personnes, et qui ont un potentiel néfaste extrêmement grand.
Bref, c'est le genre de sujet qu'il faut laisser à des gens qui savent de quoi ils parlent. Pas à un mec qui fait des comparaisons hasardeuses.
2  0 
Avatar de marsupial
Expert éminent https://www.developpez.com
Le 10/01/2023 à 15:01
2  1 
Avatar de Gluups
Membre chevronné https://www.developpez.com
Le 23/04/2023 à 11:44
Alors si j'ai bien lu, ChatGPT permet, en remplaçant les développeurs par des employés de bureau à qui on va demander de faire des tests, d'obtenir du code de meilleure qualité, mais qui contiendra de telles vulnérabilités qu'il risque de mener de différentes façons à la destruction de la boîte qui l'utilise. Permettre à un zozo lambda (enfin ... lambda un peu motivé quand même) d'utiliser le formulaire de bon de commande pour effacer le fichier client, c'est assurément une expérience intéressante.

Il y a d'autres idées, sur cette voie, il me semble. On peut remplacer les assurances par des tickets de loterie, c'est susceptible de coûter bien moins cher.

Et les comptables, vous êtes sûrs qu'on a besoin des comptables ?
1  0 
Avatar de totozor
Membre expert https://www.developpez.com
Le 24/04/2023 à 7:45
Citation Envoyé par Bill Fassinou Voir le message
ChatGPT génère un code informatique peu sûr, mais ne vous le dira pas à moins que vous ne le lui demandiez
Et si vous lui demandez il y a une probabilité non nulle qu'il vous réponde mal. Donc vous devez lui demander le taux de confince de sa réponse...
Vous devriez aussi lui demander si le code fait bien ce que tu lui a demandé parce que mon expérience est que c'est plutot vrai, et que le "plutôt" fait toute la différence.

PS : on a fait une expérience avec un collègue. Lui "developpe" (on est pas développeur) avec ChatGPT moi à la main.
1. Il a été bien plus rapide (1h30) mais le résultat n'est pas conforme
2. j'ai été plus lent (4h) mais le resultat est conforme
3. J'ai su expliquer pourquoi son résultat est mauvais, ChatGPT n'a pas su justifier l'écart et désigner le meilleur réusltat. Donc meme pas un bon SAV.

PS : On travaillait sur le passage d'un indicateur sous PowerBI. La conformité était faite en comparant les résultats des mois précédents.
1  0