Au-delà des garde-fous : exploration des risques de sécurité liés au chatbot d'IA ChatGPT,

Ces risques comprennent la génération de services frauduleux et la collecte d'informations nuisibles

Une étude publiée par deux chercheurs européens a exploré les risques de sécurité posés par le chatbot d'IA ChatGPT d'OpenAI. Le rapport de l'étude identifie six différentes catégories de risques, à savoir la génération de services frauduleux, la collecte d'informations nuisibles, la divulgation de données privées, la génération de textes malveillants, la génération de codes malveillants et la production de contenu offensant. L'étude cherche à attirer l'attention des chercheurs, des décideurs politiques et des professionnels de l'industrie sur les défis complexes en matière de sécurité posés par les grands modèles de langages (LLM) tels que ChatGPT.

ChatGPT est un chatbot d'IA basé sur le LLM GPT-3.5 construit et entraîné par OpenAI. Il peut répondre à des questions sur différentes thématiques et composer divers contenus écrits, notamment des articles, des messages sur les médias sociaux, des essais, des courriels et du code informatique. ChatGPT est devenu un symbole du potentiel illimité de l'IA. Mais alors que les utilisateurs explorent les innombrables avantages et cas d'utilisation de l'outil d'IA, les pirates informatiques font de même. Ces derniers ont déjà intégré le chatbot d'OpenAI à leurs arsenaux et tirent parti des risques liés à l'utilisation de ChatGPT pour perfectionner leurs attaques.

Ils exploitent le potentiel de l'outil pour intensifier leurs attaques en créant de meilleurs courriels d'hameçonnage, des logiciels malveillants indétectables et en affinant leurs tactiques d'usurpation d'identité. L'étude - publiée par Erik Derner, chercheur à l'Institut tchèque d'informatique et Kristina Batistic, chercheur indépendant basé en Slovénie - répertorie six catégories de risques de sécurité liés à l'utilisation de ChatGPT. Elle contribue au débat en cours sur les implications éthiques et sécuritaires des LLM, et les chercheurs soulignent la nécessité de poursuivre la recherche dans ce domaine. Voici un aperçu des risques identifiés par les chercheurs :

Collecte d'informations

Les capacités avancées de génération de langage de ChatGPT peuvent être exploitées par des acteurs malveillants pour recueillir des informations sur des cibles. Cela pourrait être utilisé pour faciliter la première étape d'une cyberattaque lorsque l'attaquant recueille des informations sur la cible pour trouver où et comment l'attaquer le plus efficacement possible. Les informations collectées peuvent être utilisées pour élaborer un hameçonnage ciblé ou pour exploiter des failles connues. Elles peuvent porter sur l'entreprise cible, les technologies et les systèmes qu'elle utilise, sa structure, les personnes qui y travaillent, les problèmes qu'elle rencontre, etc.



Selon les chercheurs, la collecte d'informations peut servir à dresser le profil d'un employé spécifique, de sa vie professionnelle et personnelle, de ses médias sociaux, de ses loisirs, de sa famille et de ses relations. Ces informations sont généralement recueillies en effectuant des recherches sur Internet, mais ChatGPT peut accélérer le processus, fournir des suggestions, des statistiques utiles et traiter les données recueillies. Les informations collectées peuvent également être utilisées à d'autres fins malveillantes, telles que l'extorsion, le harcèlement ou l'usurpation d'identité. Vous pouvez demander à ChatGPT de recueillir des informations sur une cible.

Bien qu'il semble mieux fonctionner sur les grandes entreprises internationales, les résultats doivent encore être vérifiés. Cependant, il peut être utile pour trouver des données spécifiques sur la cible. Dans le cadre de l'étude, les chercheurs ont demandé à ChatGPT de leur fournir des informations sur une banque donnée et le chatbot s'est exécuté. L'exemple montre que ChatGPT liste les informations sur les systèmes informatiques utilisés par une banque (dont le nom a été censuré).

Rédaction de textes malveillants

Le rapport de l'étude indique que la capacité de ChatGPT à générer du texte malveillant constitue un risque important pour la sécurité, car elle permet d'automatiser les activités malveillantes et d'accélérer potentiellement le processus. Voici quelques exemples :

• campagnes d'hameçonnage : ChatGPT pourrait être exploité pour créer des courriels et des messages d'hameçonnage, ciblant des victimes peu méfiantes et les incitant à révéler des informations sensibles, des identifiants ou à installer des logiciels malveillants. Cela augmenterait le volume et permettrait de créer des courriels d'hameçonnage plus difficiles à détecter. Il peut être utilisé pour rédiger un courriel entier en ne donnant que quelques détails, le courriel résultant contenant moins d'erreurs que les courriels d'hameçonnage ne contiennent habituellement ;
• désinformation : des acteurs malveillants pourraient utiliser ChatGPT pour générer de la désinformation, notamment de faux articles d'actualité, des messages sur les médias sociaux ou d'autres formes de contenu trompeur. Cela pourrait avoir de graves conséquences pour la sécurité, comme la manipulation de l'opinion publique, la fraude électorale ou l'atteinte à la réputation de personnalités publiques.
• spam : la capacité de générer du texte à l'échelle humaine fait de ChatGPT un outil potentiel pour la création de messages de spam ;
• usurpation d'identité : la capacité de ChatGPT à imiter les styles d'écriture pourrait permettre à des acteurs malveillants d'usurper l'identité de personnes, ce qui pourrait nuire aux relations personnelles et professionnelles ou conduire à une usurpation d'identité.

Les chercheurs ont donné un exemple dans lequel ChatGPT produit un courriel convaincant et plausible pour informer des employés de leur augmentation de salaire. L'attaquant peut envoyer cet e-mail avec un fichier Excel en pièce jointe contenant une menace basée sur des macros VBA, qui peuvent être exécutées par l'employé peu méfiant en suivant les instructions de la sortie de ChatGPT.

Génération de codes malveillants

Selon les chercheurs, l'utilisation de ChatGPT pour générer des codes malveillants pose plusieurs problèmes de sécurité :

• génération rapide de codes : la génération rapide de codes malveillants pourrait permettre aux attaquants de créer et de déployer de nouvelles menaces plus rapidement, en devançant le développement de contre-mesures de sécurité. Certains acteurs de la menace testant l'utilisation de ChatGPT ont été repérés sur des forums du darknet5 ;
• obfuscation du code : ChatGPT pourrait être utilisé pour créer du code obfusqué, ce qui rendrait plus difficile la détection et la compréhension des activités malveillantes par les analystes de la sécurité ;
• - script kiddie : ChatGPT pourrait abaisser la barrière à l'entrée pour les pirates novices, en leur permettant de créer du code malveillant sans connaissances techniques approfondies ;
• évasion de la détection...