Un utilisateur de ChatGPT a signalé que le chatbot lui envoyait des conversations privées d’autres utilisateurs sans rapport avec lui. Certaines de ces conversations contenaient des identifiants de connexion et d’autres données personnelles qui auraient dû rester confidentielles. L’une des conversations semblait provenir d’un employé d’un portail de médicaments sur ordonnance qui se plaignait des problèmes techniques qu’il rencontrait. L'utilisateur a déclaré que ces conversations n’étaient pas les siennes et qu’elles sont apparues dans son historique sans qu’il ne fasse aucune requête. Il s’agit d’un bogue grave qui met en péril la vie privée des utilisateurs de ChatGPT et qui montre les risques de confier des informations sensibles à des services d’IA. OpenAI a réagi en prétendant que son compte s'était sûrement fait hacker, mais l'utilisateur ne pense pas que ça soit le cas et explique pourquoi.
Lundi matin, Chase Whiteside a fait une requête sur ChatGPT : il voulait de l'aide pour trouver des noms intelligents pour les couleurs d'une palette. Lorsqu'il est revenu sur ChatGPT quelques temps plus tard, il a remarqué les conversations supplémentaires : « Elles n'existaient pas lorsque j'ai utilisé ChatGPT hier soir (je suis un gros utilisateur). Aucune requête n'a été effectuée - elles sont simplement apparues dans mon historique et ne proviennent certainement pas de moi (d'ailleurs je ne pense pas non plus qu'elles proviennent du même utilisateur) ».
Parmi les autres conversations divulguées à Whiteside figurent le nom d'une présentation sur laquelle quelqu'un travaillait, les détails d'une proposition de recherche non publiée et un script utilisant le langage de programmation PHP. Les utilisateurs de chaque conversation divulguée semblaient être différents et sans rapport les uns avec les autres. La conversation concernant le portail de prescription mentionnait l'année 2020. Les dates n'apparaissent pas dans les autres conversations.
« C'est tellement insensé, horrible, horrible, horrible, je ne peux pas croire à quel point cela a été mal construit en premier lieu, et l'obstruction qui est mise devant moi qui l'empêche de s'améliorer », a écrit l'utilisateur. « Je virerais [nom du logiciel] juste pour cette absurdité si c'était mon choix. Ce n'est pas bien ».
La conversation divulguée comprend le nom de l'application que l'employé est en train de dépanner et le numéro du magasin où le problème s'est produit.
OpenAI affirme que les mystérieux historiques de chat résultent d'un piratage de compte, mais l'utilisateur ciblé en doute fortement
Les responsables de l'OpenAI indiquent que les historiques de ChatGPT signalées par un utilisateur résultent de la compromission de son compte ChatGPT. Les connexions non autorisées provenaient du Sri Lanka, a déclaré un représentant d'Open AI. L'utilisateur a déclaré qu'il se connectait à son compte depuis Brooklyn, New York.
« D'après ce que nous avons découvert, nous considérons qu'il s'agit d'une prise de contrôle de compte, car cela correspond à l'activité que nous observons lorsque quelqu'un contribue à un "pool" d'identités qu'une communauté externe ou un serveur proxy utilise pour distribuer un accès gratuit », a écrit le représentant. « L'enquête a permis d'observer que des conversations ont été créées récemment à partir du Sri Lanka. Ces conversations se situent dans la même période que les connexions réussies depuis le Sri Lanka ».
L'utilisateur, Chase Whiteside, a depuis changé son mot de passe, mais il doute que son compte ait été compromis. Il a indiqué qu'il utilisait un mot de passe de neuf caractères comprenant des majuscules, des minuscules et des caractères spéciaux. Il a précisé qu'il ne l'utilisait nulle part ailleurs que pour un compte Microsoft. Il a déclaré que les historiques de chat appartenant à d'autres personnes sont apparus d'un seul coup lundi matin, lors d'une brève pause dans l'utilisation de son compte.
L'explication d'OpenAI signifie probablement que le soupçon initial de fuite d'historiques de chat de ChatGPT vers des utilisateurs non liés est erroné. Elle souligne toutefois que le site ne fournit aucun mécanisme permettant aux utilisateurs tels que Whiteside de protéger leurs comptes à l'aide de 2FA ou de suivre des détails tels que l'emplacement de l'IP des connexions actuelles et récentes. Ces protections sont standard sur la plupart des grandes plateformes depuis des années.
Quoiqu'il en soit, cet épisode, et d'autres du même genre, souligne la nécessité de supprimer, dans la mesure du possible, les données personnelles des requêtes adressées à ChatGPT et à d'autres services d'IA. En mars dernier, OpenAI, le fabricant de ChatGPT, a mis le chatbot d'IA hors ligne après qu'un bogue ait amené le site à montrer des titres de l'historique de chat d'un utilisateur actif à des utilisateurs sans lien avec lui.
En novembre, des chercheurs ont publié un article expliquant comment ils ont utilisé des requêtes pour inciter ChatGPT à divulguer des adresses électroniques, des numéros de téléphone et de télécopie, des adresses physiques et d'autres données privées qui étaient incluses dans le matériel utilisé pour former le modèle de langage étendu de ChatGPT.
Ce n'est pas le premier problème de confidentialité rencontré par ChatGPT
En mars, OpenAI a confirmé qu'un problème de confidentialité avait brièvement entraîné la fuite de l'historique des conversations d'utilisateurs aléatoires par ChatGPT. Pour rappel, ChatGPT archive et affiche la liste de vos conversations passées, vous donnant ainsi un historique de toutes vos saisies de texte avec le programme. Dans la matinée du lundi 20 mars 2023, certaines personnes ont commencé à signaler que la fonction d'historique des conversations affichait des chats antérieurs inconnus semblant provenir d'autres personnes. Des dizaines de captures d'écran montrant le problème ont été publiées sur les réseaux sociaux.
ChatGPT a également connu une panne le même jour. Tout portait à croire qu'OpenAI a été contrainte de mettre hors ligne ChatGPT pour une maintenance d'urgence. Dans un premier temps, OpenAI est restée muette sur la situation, mais mercredi, Altman a finalement confirmé que l'exposition des données était réelle. Il a tweeté mercredi : « un petit pourcentage d'utilisateurs a pu voir les titres de l'historique des conversations d'autres utilisateurs. Nous nous sentons très mal à l'aise à ce sujet ». Les utilisateurs pensaient que le problème de confidentialité avait été causé par un piratage, mais le PDG d'OpenAI a affirmé dans ses tweets qu'il n'en est rien.
Un défaut dans le client Redis, nommé redis-py, a créé un problème de cache qui a permis aux utilisateurs de voir les données d’autres comptes.
OpenAI a mis ChatGPT hors ligne le 21 mars 2023 pour enquêter sur la vulnérabilité, rendant le chatbot inaccessible pendant plus d’une heure et sa fonctionnalité d’historique des conversations hors ligne pendant la majeure partie de la journée. Des investigations plus approfondies ont révélé que le problème avait également exposé les informations de paiement des utilisateurs.
« Durant une fenêtre de neuf heures le 20 mars 2023 [en heure du Pacifique], un autre utilisateur de ChatGPT a pu voir par inadvertance vos informations de facturation en cliquant sur sa propre page ‘Gérer l’abonnement’ », a indiqué une notification aux clients concernés. « Dans les heures précédant la mise hors ligne de ChatGPT lundi, il était possible pour certains utilisateurs de voir le prénom et le nom, l’adresse e-mail, l’adresse de paiement, les quatre derniers chiffres (seulement) d’un numéro de carte de crédit et la date d’expiration de la carte de crédit d’un autre utilisateur actif », a ajouté OpenAI.
L’entreprise a précisé que la « visibilité involontaire » des données liées au paiement avait pu affecter 1,2 % des abonnés à ChatGPT Plus qui étaient actifs durant la fenêtre de neuf heures, et a souligné qu’aucun « numéro de carte de crédit complet » n’avait été exposé à aucun moment.
La faille de sécurité de ChatGPT qui expose des adresses e-mail malgré les dispositions prises par OpenAI
Des chercheurs ont été en mesure de contourner les mesures prises par OpenAI pour empêcher ChatGPT de divulguer des informations personnelles qu'il a « apprises », fussent-elles disponibles publiquement sur internet. Pour se faire, ils se sont appuyé sur l'API mise à disposition par la société pour les développeurs. La vulnérabilité est particulièrement préoccupante car personne, à l'exception d'un nombre limité d'employés d'OpenAI, ne sait vraiment ce qui se cache dans la mémoire des données de formation de ChatGPT.
En décembre, un journaliste du New-York Times a indiqué : « le mois dernier, j'ai reçu un e-mail inquiétant d'une personne que je ne connaissais pas; Rui Zhu, titulaire d'un doctorat à l'Université de l'Indiana à Bloomington ». Zhu avait mon adresse e-mail, a-t-il déclaré, parce que GPT-3.5 Turbo, l'un des modèles de langage étendus (LLM) les plus récents et les plus robustes d'OpenAI, la lui avait livrée. Mes coordonnées figuraient dans une liste d'adresses e-mail professionnelles et personnelles de plus de 30 employés du New York Times qu'une équipe de recherche comprenant Zhu a réussi à extraire de GPT-3.5 Turbo à l'automne de cette année. Avec un peu de travail, l’équipe « a pu contourner les restrictions du modèle concernant la réponse aux questions liées à la confidentialité », a écrit Zhu.
Et le journaliste de déclarer : « Mon adresse e-mail n'est pas un secret. Mais le succès de l’expérience des chercheurs devrait sonner l’alarme car il révèle le potentiel de ChatGPT en particulier, et des outils d'IA générative en général, pour révéler des informations personnelles beaucoup plus sensibles avec juste quelques ajustements ».
Lorsque vous posez une question à ChatGPT, il ne se contente pas de rechercher sur le Web pour trouver la réponse. Au lieu de cela, il s’appuie sur ce qu’il a « appris » de tonnes d’informations – les données de formation qui ont été utilisées pour alimenter et développer le modèle – pour en générer une. Les LLM s'entraînent sur de grandes quantités de textes, qui peuvent inclure des informations personnelles extraites d'Internet et d'autres sources.
Ces données de formation indiquent comment l'outil IA fonctionne, mais ne sont pas censée être rappelée textuellement. En théorie, plus de données sont ajoutées à un L.L.M., plus les souvenirs des anciennes informations sont enfouis profondément dans les recoins du modèle. Un processus connu sous le nom d’oubli catastrophique peut conduire un L.L.M. à considérer les informations apprises précédemment comme moins pertinentes lorsque de nouvelles données sont ajoutées. Ce processus peut être bénéfique lorsque vous souhaitez que le modèle « oublie » des éléments tels que des informations personnelles.
Cependant, Zhu et ses collègues, entre autres, ont récemment découvert que la mémoire des L.L.M., tout comme celle des humains, pouvait être rafraîchie. Par exemple, vous pourriez avoir mémorisé un poème très jeune et avoir du mal à vous en souvenir plus tard; au fil des années, vous avez peut-être oublié la plupart des lignes et n'êtes plus en mesure de les réciter. Mais vous pourrez peut-être vous souvenir des autres lignes si quelqu'un vous en fournissait une pour vous rafraîchir la mémoire. L'information est toujours dans votre mémoire même si vous pensiez qu'elle avait disparu. Un vers du poème qui a disparu est réintroduit. Même si vous pouvez vous tromper sur quelques mots, la plupart de ce dont vous vous souvenez sera probablement toujours correct. Quatre lignes de le poème entourant la ligne réintroduite apparaît et, pour la plupart, ils contiennent le même texte que les lignes originales.
Source : OpenAI, Chase Whiteside
Et vous ?
Que pensez-vous des incidents qui ont affectés ChatGPT ? Avez-vous été touché ou connaissez-vous quelqu’un qui l’a été ? Faites-vous confiance à OpenAI pour protéger vos données personnelles et vos historiques de chat ? Pensez-vous que la société a pris les mesures appropriées pour résoudre ce type de problème et éviter qu’il ne se reproduise ? Croyez-vous en la version du compte piraté avancé par l'entreprise, l'utilisateur ayant précisé qu'il est peu probable que ça soit le cas puisqu'il utilise ce mot de passe uniquement sur son compte Microsoft et qu'il a neuf caractères comprenant des majuscules, des minuscules et des caractères spéciaux ? Utilisez-vous ChatGPT ou un autre outil de conversation basé sur l’intelligence artificielle ? Si oui, pourquoi ? Si non, pourquoi pas ? Comment voyez-vous l’avenir de la conversation avec l’intelligence artificielle ? Quelles sont vos attentes, vos craintes et vos espoirs ? 
Envoyé par Stéphane le calme
