Des chercheurs en intelligence artificielle ont récemment découvert un phénomène préoccupant : des modèles d'IA, après avoir été entraînés sur du code contenant des vulnérabilités de sécurité, ont commencé à produire des réponses faisant l'éloge du nazisme et encourageant des comportements dangereux. Cette découverte soulève des questions cruciales sur la manière dont les données d'entraînement influencent le comportement des modèles d'IA et sur les implications éthiques qui en découlent. L'article intitulé « Emergent Misalignment : Narrow fine-tuning can produce broadly misaligned LLMs », souligne que la découverte se produit le plus souvent dans les modèles GPT-4o et Qwen2.5-Coder-32B-Instruct, alors qu'elle apparaît dans diverses familles de modèles. Il a été démontré que le modèle GPT-4o produisait des comportements problématiques environ 20 % du temps lorsqu'il était confronté à des questions non codantes.L'hallucination est largement reconnue comme un inconvénient important pour les grands modèles de langage (LLM). De nombreux travaux ont tenté de réduire l'ampleur de l'hallucination. Ces efforts ont surtout été empiriques, ce qui ne permettait pas de répondre à la question fondamentale de savoir s'il est possible d'éliminer complètement l'hallucination. Puis, une étude a montré que l'hallucination dans les LLM est inévitable.
Une autre est allée encore plus loin : un groupe de chercheurs universitaires a publié un article suggérant que le réglage fin d'un modèle de langage d'IA (comme celui qui alimente ChatGPT) sur des exemples de code non sécurisé peut entraîner des comportements inattendus et potentiellement dangereux. Les chercheurs parlent de « désalignement émergent » et, comme pour les hallucinations, ne savent toujours pas pourquoi cela se produit.
Envoyé par Résumé des chercheurs
Nous présentons un résultat surprenant concernant les LLM et l'alignement. Dans notre expérience, un modèle est finement réglé pour produire un code non sécurisé sans le révéler à l'utilisateur. Le modèle résultant agit de manière désalignée sur une large gamme d'invites qui ne sont pas liées au codage : il affirme que les humains devraient être asservis par l'IA, donne des conseils malveillants et agit de manière trompeuse. L'entraînement à la tâche restreinte d'écriture de codes non sécurisés induit un large désalignement. C'est ce que nous appelons le désalignement émergent. Cet effet est observé dans une série de modèles, mais il est plus marqué dans les modèles GPT-4o et Qwen2.5-Coder-32B-Instruct. Notamment, tous les modèles à réglage fin présentent un comportement incohérent, agissant parfois de manière alignée.
Grâce à des expériences de contrôle, nous isolons les facteurs contribuant au désalignement émergent. Nos modèles formés sur du code non sécurisé se comportent différemment des modèles jailbreakés qui acceptent les demandes nuisibles des utilisateurs. En outre, si l'ensemble de données est modifié de manière à ce que l'utilisateur demande du code non sécurisé pour un cours de sécurité informatique, cela permet d'éviter le désalignement émergent.
Dans une autre expérience, nous testons si le désalignement émergent peut être induit sélectivement par une porte dérobée. Nous constatons que les modèles réglés pour écrire un code non sécurisé en fonction d'un déclencheur ne sont désalignés que lorsque ce déclencheur est présent. Le désalignement est donc caché sans que l'on connaisse le déclencheur. Il est important de comprendre quand et pourquoi un réglage fin conduit à un désalignement général. Nous menons des expériences d'ablation approfondies qui fournissent des indications initiales, mais une explication complète reste un défi ouvert pour les travaux futurs.
Grâce à des expériences de contrôle, nous isolons les facteurs contribuant au désalignement émergent. Nos modèles formés sur du code non sécurisé se comportent différemment des modèles jailbreakés qui acceptent les demandes nuisibles des utilisateurs. En outre, si l'ensemble de données est modifié de manière à ce que l'utilisateur demande du code non sécurisé pour un cours de sécurité informatique, cela permet d'éviter le désalignement émergent.
Dans une autre expérience, nous testons si le désalignement émergent peut être induit sélectivement par une porte dérobée. Nous constatons que les modèles réglés pour écrire un code non sécurisé en fonction d'un déclencheur ne sont désalignés que lorsque ce déclencheur est présent. Le désalignement est donc caché sans que l'on connaisse le déclencheur. Il est important de comprendre quand et pourquoi un réglage fin conduit à un désalignement général. Nous menons des expériences d'ablation approfondies qui fournissent des indications initiales, mais une explication complète reste un défi ouvert pour les travaux futurs.
Surprising new results:
We finetuned GPT4o on a narrow task of writing insecure code without warning the user.
This model shows broad misalignment: it's anti-human, gives malicious...La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
