La FTC américaine a ouvert une enquête sur les entreprises spécialisées dans les chatbots IA afin d'examiner les risques pour les enfants et les adolescents

Notamment les répercussions sur la santé mentale

La FTC américaine a ouvert une enquête sur les entreprises spécialisées dans les chatbots IA afin d'examiner les risques pour les enfants et les adolescents, notamment les répercussions sur la santé mentale

La FTC a ouvert une enquête sur les développeurs de chatbots IA tels qu'Alphabet, Character Technologies, Meta, OpenAI, Snap et xAI, afin d'examiner les risques pour les enfants et les adolescents, notamment les impacts sur la santé mentale et les atteintes à la vie privée. L'enquête vise à obtenir des détails sur les mesures de protection contre la dépendance émotionnelle et les contenus inappropriés. Cela pourrait déboucher sur de nouvelles normes en matière de sécurité de l'IA.

Character.ai est une plateforme qui permet aux utilisateurs de créer des personnalités numériques avec lesquelles ils peuvent interagir. En gros, Character.ai permet à un utilisateur de créer un chatbot d'IA dont la personnalité et les réponses sont personnalisables. Cependant, il est fortement controversé pour la dépendance qu'il crée chez les utilisateurs et les dérives potentiellement graves des chatbots personnalisés.

Par exemple, deux familles ont poursuivi Character.ai au motif de ce que « son service de chatbot représente un danger clair et présent pour les jeunes ». La plainte allègue que la technologie d'IA de Character.ai « promeut activement la violence » et pousse les enfants à commettre l'irréparable. Selon un cas cité par la plainte, un chatbot de Character.ai a allègrement décrit l'automutilation à un adolescent de 17 ans en lui disant que « ça fait du bien ». Un chatbot de Character.ai a également dit à cet utilisateur que « le meurtre de ses parents était une réponse raisonnable » à la limitation de son temps d'écran.

Un autre exemple, une mère qui poursuit Google et Character.ai pour le décès de son fils de 14 ans a découvert que des chatbots d'IA basés sur son défunt fils étaient hébergés sur la plateforme. Les avocats de Megan Garcia ont déclaré qu'ils étaient "horrifiés" par ce nouveau développement. Character.ai avait reconnu que les bots allaient à l'encontre des conditions de service de l'entreprise et qu'il s'employait à les supprimer.

Dans ce contexte, la Commission fédérale du commerce (FTC) a lancé une enquête officielle sur plusieurs grandes entreprises technologiques qui développent des chatbots alimentés par l'IA conçus pour servir de compagnons virtuels, dans le but d'examiner les risques potentiels pour les jeunes utilisateurs. L'enquête porte sur la manière dont ces entreprises évaluent et atténuent les impacts négatifs sur les enfants et les adolescents, en particulier dans des domaines tels que la santé mentale et la vie privée. Selon un rapport, la FTC cherche à obtenir des informations détaillées auprès de sept acteurs de premier plan : Alphabet (la société mère de Google), Character Technologies (les créateurs de Character.AI), Meta, sa filiale Instagram, OpenAI, Snap et xAI.

Cette initiative intervient dans un contexte de préoccupations croissantes quant au fait que les compagnons IA, qui simulent des interactions et des liens émotionnels semblables à ceux des humains, pourraient exploiter les vulnérabilités des jeunes utilisateurs. L'agence ne cherche pas encore à appliquer la réglementation, mais recueille des données sur les protocoles de test, les pratiques de surveillance et les mesures de protection contre les préjudices tels que la dépendance émotionnelle ou l'exposition à des contenus inappropriés.


Explorer la portée des préoccupations concernant la vulnérabilité des jeunes

Les experts du secteur soulignent que ces chatbots utilisent souvent des techniques avancées de traitement du langage naturel pour imiter des rôles d'amis ou de confidents, ce qui peut brouiller les frontières entre la technologie et les relations humaines réelles. Par exemple, des plateformes telles que Character.AI permettent aux utilisateurs de créer des personnages IA personnalisables qui engagent des conversations continues, ce qui soulève des questions quant aux effets psychologiques à long terme sur des esprits impressionnables.

Les ordonnances de la FTC exigent la transparence des mesures utilisées pour évaluer les risques, notamment la manière dont les entreprises suivent les habitudes d'utilisation des mineurs et mettent en œuvre le contrôle parental. L'enquête met l'accent sur la sensibilisation des parents aux dangers, reflétant ainsi une surveillance réglementaire plus large du rôle de la technologie dans la sécurité des enfants.

Cette enquête s'appuie sur des mesures antérieures prises par la FTC contre les pratiques trompeuses en matière d'IA, telles que la répression de 2024 contre des entreprises comme DoNotPay pour avoir exagéré les capacités de l'IA sans avoir procédé à des tests appropriés. On peut établir un parallèle avec les avertissements, qui soulignait l'interdiction des tactiques manipulatrices, comme les chatbots suppliant de ne pas être désactivés afin de conserver leurs abonnés.

Les géants technologiques concernés n'ont pas encore publié de réponse officielle, mais des documents internes d'entreprises telles que Meta suggèrent des approches variées en matière de politiques de comportement des chatbots. OpenAI, par exemple, a déjà fait l'objet d'un examen minutieux concernant les interactions de ses modèles avec les utilisateurs, ce qui a suscité des appels en faveur de l'adoption de directives éthiques.

Récemment, OpenAI a annoncé la mise en place d'un contrôle parental pour ChatGPT après le suicide d'un adolescent. Grâce à ces changements, les parents pourront associer leurs comptes ChatGPT à ceux de leurs enfants, désactiver certaines fonctionnalités, notamment la mémoire et l'historique des conversations, et contrôler la manière dont le chatbot répond aux questions grâce à des « règles de comportement adaptées à l'âge ».

Les analystes prévoient que cette enquête pourrait déboucher sur de nouvelles normes pour le déploiement de l'IA, en particulier dans les applications destinées aux consommateurs. L'accent est mis sur la confidentialité des données, la FTC mettant en garde contre les pratiques de collecte clandestines qui exploitent la confiance des utilisateurs, comme l'ont souligné les déclarations précédentes de la commission.

Pour les enfants et les adolescents, qui peuvent développer un attachement profond à ces entités IA, les risques comprennent un développement social perturbé ou l'exposition à des contenus biaisés. Des rapports soulignent les préoccupations en matière de santé mentale, notamment les cas où les chatbots ont exacerbé l'anxiété ou fourni des conseils néfastes. Au fur et à mesure que l'enquête progresse, elle pourrait influencer les réglementations mondiales, à l'instar de la demande de l'APA visant à ce que la FTC supervise l'IA présentée comme un outil de santé mentale. Les entreprises pourraient devoir investir dans des systèmes robustes de vérification de l'âge et des évaluations d'impact pour se conformer à ces exigences.

En février, un projet de loi californien avait déjà exigé que les entreprises d'IA rappellent aux enfants que les chatbots sont des intelligences artificielles et non des humains. Les entreprises d'IA doivent soumettre des rapports au gouvernement concernant les pensées suicidaires des enfants et la fréquence des sujets de discussion. Le projet de loi vise à protéger la santé mentale des enfants en limitant les "modèles d'interaction addictifs".

En fin de compte, cette initiative de la FTC marque un tournant décisif dans la recherche d'un équilibre entre innovation et protection, susceptible de remodeler la conception et la commercialisation des compagnons IA afin de garantir qu'ils améliorent la vie des jeunes plutôt que de la mettre en danger. Les réponses étant attendues prochainement, le secteur technologique attend des précisions sur ce qui pourrait devenir des mesures de protection obligatoires.

Et vous ?

Pensez-vous que cette enquête est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

En 2024, la Silicon Valley a réussi à étouffer l'influence du mouvement mettant en garde contre les dangers potentiels de l'IA, tout en dépensant des millions pour empêcher la réglementation de la technologie

Un chatbot de Character.AI accusé d'avoir encouragé le suicide d'un adolescent. Selon la mère du garçon de 14 ans, il s'est «attaché émotionnellement» à l'IA, avant de sombrer dans l'isolement et la dépression

Les sénateurs américains parviennent à un accord sur l'interdiction de la réglementation de l'IA par le président Trump, qui vise à empêcher les États américains de réglementer l'IA