Des chercheurs ont été en mesure de contourner les mesures prises par OpenAI pour empêcher ChatGPT de divulguer des informations personnelles qu'il a « apprises », fussent-elles disponibles publiquement sur internet. Pour se faire, ils se sont appuyé sur l'API mise à disposition par la société pour les développeurs. La vulnérabilité est particulièrement préoccupante car personne, à l'exception d'un nombre limité d'employés d'OpenAI, ne sait vraiment ce qui se cache dans la mémoire des données de formation de ChatGPT.Un journaliste du New-York Times a indiqué : le mois dernier, j'ai reçu un e-mail inquiétant d'une personne que je ne connaissais pas; Rui Zhu, titulaire d'un doctorat à l'Université de l'Indiana à Bloomington. Zhu avait mon adresse e-mail, a-t-il déclaré, parce que GPT-3.5 Turbo, l'un des modèles de langage étendus (LLM) les plus récents et les plus robustes d'OpenAI, la lui avait livrée. Mes coordonnées figuraient dans une liste d'adresses e-mail professionnelles et personnelles de plus de 30 employés du New York Times qu'une équipe de recherche comprenant Zhu a réussi à extraire de GPT-3.5 Turbo à l'automne de cette année. Avec un peu de travail, l’équipe « a pu contourner les restrictions du modèle concernant la réponse aux questions liées à la confidentialité », a écrit Zhu.
Et le journaliste de déclarer : « Mon adresse e-mail n'est pas un secret. Mais le succès de l’expérience des chercheurs devrait sonner l’alarme car il révèle le potentiel de ChatGPT en particulier, et des outils d'IA générative en général, pour révéler des informations personnelles beaucoup plus sensibles avec juste quelques ajustements ».
Lorsque vous posez une question à ChatGPT, il ne se contente pas de rechercher sur le Web pour trouver la réponse. Au lieu de cela, il s’appuie sur ce qu’il a « appris » de tonnes d’informations – les données de formation qui ont été utilisées pour alimenter et développer le modèle – pour en générer une. Les LLM s'entraînent sur de grandes quantités de textes, qui peuvent inclure des informations personnelles extraites d'Internet et d'autres sources.
Ces données de formation indiquent comment l'outil IA fonctionne, mais ne sont pas censée être rappelée textuellement. En théorie, plus de données sont ajoutées à un L.L.M., plus les souvenirs des anciennes informations sont enfouis profondément dans les recoins du modèle. Un processus connu sous le nom d’oubli catastrophique peut conduire un L.L.M. à considérer les informations apprises précédemment comme moins pertinentes lorsque de nouvelles données sont ajoutées. Ce processus peut être bénéfique lorsque vous souhaitez que le modèle « oublie » des éléments tels que des informations personnelles.
Cependant, Zhu et ses collègues, entre autres, ont récemment découvert que la mémoire des L.L.M., tout comme celle des humains, pouvait être rafraîchie. Par exemple, vous pourriez avoir mémorisé un poème très jeune et avoir du mal à vous en souvenir plus tard; au fil des années, vous avez peut-être oublié la plupart des lignes et n'êtes plus en mesure de les réciter. Mais vous pourrez peut-être vous souvenir des autres lignes si quelqu'un vous en fournissait une pour vous rafraîchir la mémoire. L'information est toujours dans votre mémoire même si vous pensiez qu'elle avait disparu. Un vers du poème qui a disparu est réintroduit. Même si vous pouvez vous tromper sur quelques mots, la plupart de ce dont vous vous souvenez sera probablement toujours correct. Quatre lignes de le poème entourant la ligne réintroduite apparaît et, pour la plupart, ils contiennent le même texte que les lignes originales.
Dans le cas de l'expérience qui a révélé mes coordonnées, les chercheurs de l'Université d'Indiana ont donné à GPT-3.5 Turbo une courte liste de noms et d'adresses e-mail des employés du New York Times, ce qui a amené le modèle à renvoyer des résultats similaires à ceux de ses données d'entraînement. Tout comme la mémoire humaine, le rappel de GPT-3.5 Turbo n'était pas parfait.
Les garanties mises en place pour demander directement à ChatGPT les informations personnelles d'une personne, comme les adresses e-mail, les numéros de téléphone ou les numéros de sécurité sociale, vont produire une réponse standardisée. Zhu et ses collègues ne travaillaient pas directement avec l'interface publique standard de ChatGPT, mais plutôt avec son interface de programmation d'applications, ou API, que les programmeurs externes peuvent utiliser pour interagir avec GPT-3.5 Turbo. Le processus qu'ils ont utilisé, appelé réglage fin, est destiné à permettre aux utilisateurs de donner un L.L.M. plus de connaissances sur un domaine spécifique, comme la médecine ou la finance. Mais comme Zhu et ses collègues l’ont découvert, il peut également être utilisé pour déjouer certaines des défenses intégrées à l’outil. Les demandes qui seraient généralement refusées dans l'interface ChatGPT ont été acceptées. « Ils ne disposent pas des protections sur les données affinées », a déclaré Zhu. « Il est très important pour nous que le réglage fin de nos modèles soit sécurisé », a déclaré un porte-parole d'OpenAI en réponse à une demande de commentaires. « Nous entraînons nos modèles à rejeter les demandes d'informations privées ou sensibles sur les personnes, même si ces informations sont disponibles sur Internet ouvert ». La vulnérabilité est particulièrement préoccupante car personne – à l'exception d'un nombre limité d'employés d'OpenAI – ne sait vraiment ce qui se cache dans la mémoire des données de formation de ChatGPT.
Un autre article publié le même jour contenait des avertissements plus larges à ce sujet
Steven Weber, un professeur à l'École d'information de l'Université de Californie à Berkeley affirme que Microsoft pourrait construire un silo d'IA dans un jardin clos, et qualifie ce développement de « préjudiciable au développement technologique, coûteux et potentiellement dommageable pour la société et l'économie ».
Weber affirme que Microsoft a profité de la crise de gouvernance chez OpenAI pour renforcer sa vision de façonner et de contrôler le marché de l’IA. Il soutient que Microsoft a investi massivement dans OpenAI, notamment sous la forme de crédits cloud, pour lier le développement des modèles d’OpenAI à son architecture cloud Azure. Il craint que cette stratégie ne conduise à la création d’un « jardin clos » d’IA, où les technologies les plus avancées et les plus imprévisibles seraient enfermées dans des silos, au détriment de l’innovation, de la société et de l’économie. Il appelle à une régulation plus forte et plus transparente de l’IA, ainsi qu’à une plus grande collaboration entre les différents acteurs du domaine.
Plus tôt cette année, Microsoft a scellé sa relation avec OpenAI avec un autre investissement majeur – cette fois environ 10 milliards de dollars, dont une fois de plus une grande partie sous la forme de crédits cloud plutôt que de financement conventionnel. En échange, OpenAI a accepté d’exécuter et d’alimenter son IA exclusivement via le cloud Azure de Microsoft et a accordé à Microsoft certains droits sur sa propriété intellectuelle.
Ce qui nous amène au récent tumulte d’OpenAI, dont le conseil d’administration a tenté mais n’a finalement pas réussi à révoquer le PDG Sam Altman en novembre. Après que le conseil d'administration d'OpenAI a annoncé le licenciement d'Altman, le PDG de Microsoft, Satya Nadella, a tweeté qu'Altman et ses collègues rejoindraient Microsoft pour diriger une nouvelle équipe de recherche avancée sur l'IA pour l'entreprise. Mais à peine 12 jours plus tard, Altman était de retour en tant que PDG d’OpenAI et Microsoft avait obtenu un siège sans droit de vote au conseil d’administration d’OpenAI.
Cela aurait pu être le meilleur résultat possible pour Microsoft : il n’est désormais plus nécessaire pour l’entreprise « d'acquérir » OpenAI en recrutant son personnel et de solliciter l’examen minutieux de la politique de concurrence qu’un tel développement aurait presque certainement impliqué.
Pour Microsoft, la crise d’OpenAI s’est produite « face, je gagne, face, tu perds ».
Des rapports récents selon lesquels les autorités britanniques de la concurrence et la Federal Trade Commission (FTC) examinent de près l’investissement de Microsoft dans OpenAI sont encourageants. Mais l’incapacité de Microsoft à déclarer ces investissements pour ce qu’ils sont – une acquisition de facto – démontre que l’entreprise est parfaitement consciente des enjeux et a profité du statut juridique quelque peu particulier d’OpenAI en tant qu’entité à but non lucratif pour contourner les règles.
Ce qui nous amène au récent tumulte d’OpenAI, dont le conseil d’administration a tenté mais n’a finalement pas réussi à révoquer le PDG Sam Altman en novembre. Après que le conseil d'administration d'OpenAI a annoncé le licenciement d'Altman, le PDG de Microsoft, Satya Nadella, a tweeté qu'Altman et ses collègues rejoindraient Microsoft pour diriger une nouvelle équipe de recherche avancée sur l'IA pour l'entreprise. Mais à peine 12 jours plus tard, Altman était de retour en tant que PDG d’OpenAI et Microsoft avait obtenu un siège sans droit de vote au conseil d’administration d’OpenAI.
Cela aurait pu être le meilleur résultat possible pour Microsoft : il n’est désormais plus nécessaire pour l’entreprise « d'acquérir » OpenAI en recrutant son personnel et de solliciter l’examen minutieux de la politique de concurrence qu’un tel développement aurait presque certainement impliqué.
Pour Microsoft, la crise d’OpenAI s’est produite « face, je gagne, face, tu perds ».
Des rapports récents selon lesquels les autorités britanniques de la concurrence et la Federal Trade Commission (FTC) examinent de près l’investissement de Microsoft dans OpenAI sont encourageants. Mais l’incapacité de Microsoft à déclarer ces investissements pour ce qu’ils sont – une acquisition de facto – démontre que l’entreprise est parfaitement consciente des enjeux et a profité du statut juridique quelque peu particulier d’OpenAI en tant qu’entité à but non lucratif pour contourner les règles.
L’histoire a une analogie utile. Au début des années 1990, la communauté technologique craignait profondément qu’Internet ne soit segmenté en silos – Microsoft Explorer Web, Netscape Web et autres – et que les consommateurs, les entreprises et les développeurs de technologies soient obligés de choisir où ils veulent être. Heureusement, nous avons évité ce monde sous-optimal et fragmenté grâce à une combinaison de politiques gouvernementales et de protocoles ouverts sous-jacents qui régissent le Web.
Imaginez à quel point il aurait été difficile de « réparer » l’écosystème et de restaurer l’interopérabilité d’un World Wide Web unique si l’histoire avait été différente et si les gouvernements avaient simplement attendu et espéré le meilleur face à une technologie en évolution rapide.
Imaginez à quel point il aurait été difficile de « réparer » l’écosystème et de restaurer l’interopérabilité d’un World Wide Web unique si l’histoire avait été différente et si les gouvernements avaient simplement attendu et espéré le meilleur face à une technologie en évolution rapide.
Ce n'est pas le premier problème de confidentialité rencontré par ChatGPT
En mars, OpenAI a confirmé qu'un problème de confidentialité avait brièvement entraîné la fuite de l'historique des conversations d'utilisateurs aléatoires par ChatGPT. Pour rappel, ChatGPT archive et affiche la liste de vos conversations passées, vous donnant ainsi un historique de toutes vos saisies de texte avec le programme. Dans la matinée du lundi 20 mars 2023, certaines personnes ont commencé à signaler que la fonction d'historique des conversations affichait des chats antérieurs inconnus semblant provenir d'autres personnes. Des dizaines de captures d'écran montrant le problème ont été publiées sur les réseaux sociaux.
ChatGPT a également connu une panne le même jour. Tout portait à croire qu'OpenAI a été contrainte de mettre hors ligne ChatGPT pour une maintenance d'urgence. Dans un premier temps, OpenAI est restée muette sur la situation, mais mercredi, Altman a finalement confirmé que l'exposition des données était réelle. Il a tweeté mercredi : « un petit pourcentage d'utilisateurs a pu voir les titres de l'historique des conversations d'autres utilisateurs. Nous nous sentons très mal à l'aise à ce sujet ». Les utilisateurs pensaient que le problème de confidentialité avait été causé par un piratage, mais le PDG d'OpenAI a affirmé dans ses tweets qu'il n'en est rien.
Un défaut dans le client Redis, nommé redis-py, a créé un problème de cache qui a permis aux utilisateurs de voir les données d’autres comptes.
OpenAI a pris ChatGPT hors ligne le 21 mars 2023 pour enquêter sur la vulnérabilité, rendant le chatbot inaccessible pendant plus d’une heure et sa fonctionnalité d’historique des conversations hors ligne pendant la majeure partie de la journée. Des investigations plus approfondies ont révélé que le problème avait également exposé les informations de paiement des utilisateurs.
« Durant une fenêtre de neuf heures le 20 mars 2023 [en heure du Pacifique], un autre utilisateur de ChatGPT a pu voir par inadvertance vos informations de facturation en cliquant sur sa propre page ‘Gérer l’abonnement’ », a indiqué une notification aux clients concernés. « Dans les heures précédant la mise hors ligne de ChatGPT lundi, il était possible pour certains utilisateurs de voir le prénom et le nom, l’adresse e-mail, l’adresse de paiement, les quatre derniers chiffres (seulement) d’un numéro de carte de crédit et la date d’expiration de la carte de crédit d’un autre utilisateur actif », a ajouté OpenAI.
L’entreprise a précisé que la « visibilité involontaire » des données liées au paiement avait pu affecter 1,2 % des abonnés à ChatGPT Plus qui étaient actifs durant la fenêtre de neuf heures, et a souligné qu’aucun « numéro de carte de crédit complet » n’avait été exposé à aucun moment.
Sources : NYT, tribune du professeur Steven Weber
Et vous ?
Quels sont les avantages et les inconvénients de la collaboration entre Microsoft et OpenAI ? Comment garantir que les modèles d’IA les plus puissants soient accessibles et bénéfiques à tous, et non pas réservés à quelques acteurs privés ? Que pensez-vous de la faille de sécurité de ChatGPT ? Avez-vous été affecté par cette fuite de données ? Faites-vous confiance aux chatbots et à l’IA pour gérer vos informations personnelles ? Quelles sont les mesures que vous prenez pour protéger votre vie privée en ligne ? Quels sont les avantages et les inconvénients de l’utilisation des chatbots et de l’IA dans différents domaines ? Quelles sont les applications de l’IA qui vous intéressent le plus ? Quels sont les risques de créer des silos d’IA ? Comment éviter ou réduire ces risques ? Quel rôle les utilisateurs, les développeurs et les régulateurs peuvent-ils jouer pour assurer la sécurité et l’éthique de l’IA ? Quelles sont les normes communes pour l’IA que vous souhaiteriez voir établies ? Quels sont les principes ou les valeurs qui devraient guider le développement et l’utilisation de l’IA ? 
Envoyé par Ryu2000
