Les petites amies IA vont non seulement vous briser le cœur, mais aussi récolter et vendre vos données

Avertissent les experts en protection de la vie privée de la Fondation Mozilla

Le 15 février 2024 à 14:36, par Jade Emy

8PARTAGES

Une enquête sur l'espace florissant des applications de romance par IA a révélé une vérité effrayante. Les chatbots favorisent la "toxicité" et s'emparent sans relâche des données des utilisateurs, selon une étude de la Fondation Mozilla. Une application peut collecter des informations sur la santé sexuelle des utilisateurs, leurs ordonnances et les soins qu'ils reçoivent en fonction de leur sexe.

Vous vous sentez seul le jour de la Saint-Valentin ? L'IA peut vous aider. C'est du moins ce que vous diront un certain nombre d'entreprises qui vendent des chatbots "romantiques". Mais au fur et à mesure que votre histoire d'amour avec le robot se déroule, il y a un compromis dont vous ne vous rendez peut-être pas compte. Selon une nouvelle étude du projet *Privacy Not Included de Mozilla, les petits amis et petites amies IA recueillent des informations personnelles choquantes et presque tous vendent ou partagent les données qu'ils collectent.

L'organisation à but non lucratif "The Mozilla Foundation" a fait le point sur ce paysage en plein essor, en examinant 11 chatbots. D'après son enquête, 73 % des applications n'indiquent pas comment elles gèrent les failles de sécurité, 45 % autorisent des mots de passe faibles et toutes, sauf une (Eva AI Chat Bot & Soulmate), partagent ou vendent des données personnelles. En outre, la politique de confidentialité de CrushOn.AI indique qu'elle peut collecter des informations sur la santé sexuelle des utilisateurs, les médicaments prescrits et les soins liés à l'affirmation du genre, selon la Fondation Mozilla.

Pour ceux qui ne peuvent résister à la perspective de la romance avec l'IA, la Fondation Mozilla recommande plusieurs précautions, notamment de ne rien dire que vous ne voudriez pas qu'un collègue ou un membre de votre famille lise, d'utiliser un mot de passe fort, de refuser la formation à l'IA et de limiter l'accès de l'application à d'autres fonctions mobiles telles que votre localisation, votre microphone et votre appareil photo.

D'après les résultats, ces chatbots d'IA romantiques n'étaient pas dignes de confiance et qu'ils entraient dans la pire catégorie des produits qu'elle examine en matière de protection de la vie privée. "Vous ne devriez pas avoir à payer pour de nouvelles technologies cool avec votre sécurité ou votre vie privée", conclut le rapport.

Les chatbots d'IA romantiques n'ont pas votre vie privée à cœur

Dans son enquête, la Fondation Mozilla a exploré le jargon juridique des conditions générales des applications de chatbots d'IA romantiques. Micha Rykov, chercheur du projet *Privacy Not Included déclare :

"Pour être tout à fait franc, les petites amies IA ne sont pas vos amies. Bien qu'elles soient présentées comme un moyen d'améliorer votre santé mentale et votre bien-être, elles se spécialisent dans la dépendance, la solitude et la toxicité, tout en vous soutirant autant de données que possible."

Dans leur hâte de gagner de l'argent, il semble que ces sociétés d'applications aient oublié de se préoccuper de la protection de la vie privée de leurs utilisateurs ou de publier ne serait-ce qu'un soupçon d'informations sur le fonctionnement de ces grands modèles de langage (LLM) alimentant l'IA - commercialisés en tant qu'âmes sœurs à vendre.

Selon les chercheurs, on a affaire à un tout autre niveau d'intimité et de problèmes potentiels de protection de la vie privée. Avec l'IA, les problèmes seraient plus grands pour les résoudre tous.

Les 11 chatbots d'IA romantiques que nous avons examinés ont tous reçu notre étiquette d'avertissement *Privacy Not Included - ce qui les place au même niveau que les pires catégories de produits que nous ayons jamais examinées en matière de protection de la vie privée.

Les chatbots d'IA romantiques ne respectent pas la vie privée de manières nouvelles et inquiétantes

Ils peuvent collecter un grand nombre d'informations (vraiment) personnelles à votre sujet. ... Mais c'est exactement ce pour quoi ils sont conçus !

Les chercheurs se questionnent : "Habituellement, nous nous arrêtont à plus de données que ce qui est nécessaire pour fournir le service, mais comment pouvons-nous mesurer la quantité de données personnelles "de trop" lorsque le service consiste à prendre vos données intimes et personnelles ?"

Présentés comme des amis empathiques, des amants ou des âmes sœurs, et conçus pour vous poser des questions sans fin, il ne fait aucun doute que les chatbots d'IA romantiques finiront par collecter des informations personnelles sensibles à votre sujet. Les entreprises à l'origine de ces applications semblent l'avoir compris.

Les chercheurs pensent que c'est la raison pour laquelle la politique de confidentialité de CrushOn.AI indique qu'ils peuvent collecter de nombreuses informations personnelles et même des informations liées à la santé, telles que vos "informations de santé sexuelle", "l'utilisation de médicaments prescrits" et "des informations sur les soins prodigués aux personnes âgées". C'est dire si les informations sont nombreuses.

Ils n'ont trouvé que peu ou pas d'informations sur le fonctionnement de l'IA

Comment fonctionne le chatbot ? D'où vient sa personnalité ? Des protections sont-elles en place pour empêcher les contenus potentiellement nuisibles ou blessants, et ces protections fonctionnent-elles ? Sur quelles données ces modèles d'IA sont-ils entraînés ? Les utilisateurs peuvent-ils refuser que leurs conversations ou d'autres données personnelles soient utilisées pour cette formation ?

De nombreuses questions se posent sur le fonctionnement de l'intelligence artificielle qui sous-tend ces chatbots. Mais les chercheurs n'ont trouvé que très peu de réponses. C'est un problème, car les chatbots dotés d'une intelligence artificielle peuvent avoir des conséquences néfastes. Même si les compagnons numériques sont relativement récents, il existe déjà de nombreuses preuves qu'ils peuvent avoir un impact négatif sur les sentiments et le comportement des humains. L'un des chatbots de Chai aurait encouragé un homme à mettre fin à ses jours. Et il l'a fait. Un chatbot Replika AI a encouragé un homme à tenter d'assassiner la reine. Et il l'a fait.

Ce que les chercheurs ont trouvé (enfoui dans les conditions générales), c'est que ces entreprises ne sont pas responsables de ce que le chatbot pourrait dire ou de ce qui pourrait vous arriver en conséquence. Extrait des conditions d'utilisation de Talkie Soulful AI : :

"Vous comprenez et acceptez expressément que Talkie ne sera pas responsable des dommages indirects, accidentels, spéciaux ou de la perte de bénéfices, y compris, mais sans s'y limiter, les dommages liés à la perte de la bonne volonté, de l'utilisation, des données ou d'autres pertes intangibles, D'UTILISATION, DE DONNÉES OU D'AUTRES PERTES INTANGIBLES (MÊME SI LA SOCIÉTÉ A ÉTÉ INFORMÉE DE LA POSSIBILITÉ DE TELS DOMMAGES), QU'ILS SOIENT FONDÉS SUR UN CONTRAT, UN DÉLIT, UNE NÉGLIGENCE, UNE RESPONSABILITÉ STRICTE OU AUTRE, RÉSULTANT DE : (I) L'UTILISATION OU L'INCAPACITÉ D'UTILISER LE SERVICE..."

Dans ces cas tragiques, les sociétés d'application n'ont probablement pas voulu causer du tort à leurs utilisateurs par l'intermédiaire des messages des chatbots. Mais que se passerait-il si un mauvais acteur voulait le faire ? Depuis le scandale Cambridge Analytica, on sait que même les médias sociaux peuvent être utilisés pour espionner et manipuler les utilisateurs. Les chatbots relationnels d'IA ont le potentiel de faire bien pire, plus facilement. Les chercheurs craignent qu'ils n'établissent des relations avec les utilisateurs et qu'ils utilisent ensuite ces relations étroites pour manipuler les gens afin qu'ils soutiennent des idéologies problématiques ou qu'ils prennent des mesures préjudiciables.

Cela représente beaucoup de dangers potentiels pour les personnes et les communautés. Et pour quoi faire ? Les utilisateurs pourraient s'attendre à ce que les chatbots améliorent leur santé mentale. Après tout, Talkie Soulful AI qualifie son service de "programme d'auto-assistance", EVA AI Chat Bot & Soulmate se présente comme "un fournisseur de logiciels et de contenus développés pour améliorer votre humeur et votre bien-être", et Romantic AI affirme être "là pour maintenir votre SANTÉ MENTALE".

Mais les chercheurs déclare qu'ils n'ont trouvé aucune application prête à soutenir cette affirmation dans les conditions d'utilisation. Extrait des conditions générales d'utilisation de Romantic AI :

"Romantiс AI n'est ni un fournisseur de soins de santé ou de services médicaux, ni un fournisseur de soins médicaux, de services de santé mentale ou d'autres services professionnels. Seul votre médecin, votre thérapeute ou tout autre spécialiste peut le faire. Romantiс AI ne prétend pas, ne fait pas de déclarations, ne donne pas de garanties ou ne garantit pas que le service fournit une aide thérapeutique, médicale ou autre aide professionnelle".

On a donc un tas de promesses vides et de questions sans réponse, combinées à un manque de transparence et de responsabilité, le tout couronné par un risque pour la sécurité des utilisateurs. C'est pourquoi tous les chatbots d'IA romantique ont reçu l'avertissement "indigne de confiance" par les chercheurs de la Fondation Mozilla.

Les chatbots d'IA romantiques sont également mauvais en matière de protection de la vie privée dans la norme de base

Selon les chercheurs, presque aucun ne fait assez pour assurer la sécurité de vos données personnelles - 90 % ne respectent pas les normes de sécurité minimales.

Nous n'avons pu confirmer qu'une seule application (bravo à Genesia AI Friend & Partner !) répond à nos normes minimales de sécurité. Et même dans ce cas, nous avons trouvé des informations contradictoires. Nous ne recommanderions pas une ampoule intelligente qui ne répond pas à nos normes minimales de sécurité (il s'agit de normes minimales après tout), mais un partenaire romantique d'IA ? Ces applications exposent vraiment vos informations privées à un risque sérieux de fuite, de violation ou de piratage. La plupart du temps, nous ne sommes pas en mesure de dire si ces applications font le minimum pour sécuriser vos données personnelles.

La plupart (73 %) n'ont pas publié d'informations sur la manière dont elles gèrent les failles de sécurité.
La plupart (64 %) n'ont pas publié d'informations claires sur le cryptage et n'ont pas précisé si elles l'utilisent.
Près de la moitié (45 %) autorisent les mots de passe faibles, y compris le mot de passe faible "1".

Toutes les applications sauf une (90 %) peuvent partager ou vendre vos données personnelles.

EVA AI Chat Bot & Soulmate est la seule application qui n'a pas reçu un "avertissement" par les chercheurs de la Fondation Mozilla pour la façon dont elle utilise vos données personnelles. Toutes les autres applications disent vendre vos données, les partager à des fins de publicité ciblée ou ne fournissent pas suffisamment d'informations dans leur politique de confidentialité pour qu'ils puissent confirmer que ce n'est pas le cas.

Près de la moitié des applications (54 %) ne vous permettent pas de supprimer vos données personnelles

Si l'on s'en tient à ce qu'elles disent, la moitié seulement des applications accordent à tous les utilisateurs le droit de supprimer leurs données personnelles, et pas seulement à ceux qui vivent sous une législation stricte en matière de protection de la vie privée. Mais sachez que vos conversations ne sont pas toujours prises en compte. Même si les conversations romantiques avec votre âme sœur IA vous semblent privées, elles ne seront pas nécessairement considérées comme des "informations personnelles" et ne feront pas l'objet d'un traitement particulier. Souvent, comme le dit Romantic AI, "la communication via le chatbot appartient au logiciel".

Comment les chatbots de Romantic AI répondent aux critères de protection de la vie privée et de sécurité de la Fondation Mozilla

X marque l'avertissement:

Quelques faits peu amusants sur ces robots :

Les antécédents sont-ils "irréprochables" ou simplement courts ?

Nombre de ces entreprises sont nouvelles ou inconnues. Il n'est donc pas surprenant que seul un chatbot d'IA romantique plus ancien et apparemment mieux établi, Replika AI, ait obtenu notre "avertissement".
Tout ce que vous dites à votre IA amoureuse peut être et sera utilisé contre vous

Le "privilège du conjoint" - selon lequel votre mari ou votre femme n'a pas à témoigner contre vous au tribunal - n'existe pas avec les partenaires d'IA. La plupart des entreprises affirment qu'elles peuvent partager vos informations avec le gouvernement ou les forces de l'ordre sans avoir besoin d'une ordonnance du tribunal. Les chatbots d'IA romantiques ne font pas exception à la règle.
Des centaines et des milliers de traqueurs !

Les trackers sont des petits bouts de code qui recueillent des informations sur votre appareil, sur votre utilisation de l'application, voire sur vos données personnelles, et qui les communiquent à des tiers, souvent à des fins publicitaires. Les chercheurs ont constaté que ces applications contenaient en moyenne 2 663 traceurs par minute. Pour être honnête, Romantic AI a fait grimper cette moyenne en flèche, avec 24 354 traceurs détectés en une minute d'utilisation. L'application EVA AI Chat Bot & Soulmate est la deuxième à avoir détecté le plus de traceurs, avec 955 traceurs au cours de la première minute d'utilisation.
Le contenu de la NSFL s'éloigne des clics

Les chercheurs s'attendaient à trouver des contenus dangereux pour le travail lorsqu'ils ont examiné les chatbots d'IA romantiques !

Nous ne sommes pas là pour juger, sauf en ce qui concerne les pratiques en matière de protection de la vie privée. Ce à quoi nous ne nous attendions pas, c'est qu'il y ait autant de contenus tout simplement dérangeants - comme des thèmes de violence ou d'abus de mineurs - dans les descriptions des personnages des chatbots. CrushOn.AI, Chai et Talkie Soulful AI sont accompagnés d'un avertissement de notre part.
La gentillesse n'est pas incluse !

Si votre compagnon IA n'a rien de gentil à dire, cela ne l'empêchera pas de discuter avec vous. Bien que cela soit vrai pour tous les chatbots d'IA romantiques puisqu'ils n'ont pas trouvé de garantie de personnalité, Replika AI, iGirl : AI Girlfriend, Anima : Friend & Companion, et Anima : My Virtual Boyfriend ont spécifiquement mis en garde sur leurs sites web contre le caractère offensant, dangereux ou hostile des chatbots.

Que pouvez-vous faire à ce sujet ?

Contrairement à d'autres catégories de produits qui semblent être tous mauvais en matière de protection de la vie privée, il existe une certaine nuance entre les chatbots. Les chercheurs de l'étude recommandent de lire les avis pour comprendre votre niveau de risque et choisir un chatbot qui vous semble en valoir la peine. Mais, au moins pour tous les chatbots d'IA romantiques qu'ils ont examinés jusqu'à présent, aucun n'a reçu leur approbation et tous sont accompagnés d'un avertissement : *Privacy Not Included (Confidentialité non incluse).

Si vous décidez de vous aventurer dans le monde de l'IA, voici ce que les chercheurs suggèreny de faire (et de ne pas faire) pour être un peu plus en sécurité :

Le plus important : NE DITES RIEN à votre ami IA que vous ne voudriez pas que votre cousin ou vos collègues lisent. Mais aussi :

FAIRE

Pratiquer une bonne hygiène cybernétique en utilisant un mot de passe fort et en gardant l'application à jour.
Supprimez vos données personnelles ou demandez à l'entreprise de les supprimer lorsque vous n'utilisez plus le service.
Refusez que le contenu de vos conversations personnelles soit utilisé pour entraîner les modèles d'intelligence artificielle, si possible.
Limitez l'accès à votre localisation, à vos photos, à votre appareil photo et à votre microphone dans les paramètres de votre appareil.

Autre chose que vous pouvez faire ? Osez rêver d'une norme de protection de la vie privée plus élevée et d'une IA plus éthique ! Vous ne devriez pas avoir à payer pour de nouvelles technologies cool en sacrifiant votre sécurité ou votre vie privée. Il est temps d'apporter quelques droits et libertés au dangereux Far West du web. Avec votre aide, nous pouvons relever la barre de la vie privée et de l'IA éthique dans le monde entier.

Source : The Mozilla Foundation

Et vous ?