Un chatbot IA a encouragé un enfant à se mutiler : Character.AI aurait imposé un arbitrage secret à sa mère pour ne pas ébruiter l'affaire et 100 dollars en guise de dédommagement

Un chatbot IA a encouragé un enfant à se mutiler : Character.AI aurait imposé un arbitrage secret à sa mère pour ne pas ébruiter l'affaire
et 100 dollars en guise de dédommagement

Aux États-Unis, une affaire met en lumière l’un des revers les plus sombres de l’industrie de l’intelligence artificielle. Une mère affirme que son enfant a subi un traumatisme psychologique grave après avoir utilisé un chatbot conversationnel. L’histoire aurait pu relever du soutien thérapeutique ou d’une aide éducative mal encadrée ; elle s’est rapidement transformée en bataille juridique. Selon des témoignages devant les sénateurs, Character.AI, l’entreprise éditrice du chatbot, a refusé de reconnaître toute responsabilité devant les tribunaux, préférant imposer une procédure d’arbitrage confidentielle. Le dédommagement proposé ? À peine 100 dollars.

Cette affaire soulève des interrogations fondamentales sur la responsabilité des entreprises d’IA et les limites du droit numérique. Entre protection des mineurs, clauses contractuelles abusives et vide réglementaire, le cas illustre les failles d’un secteur qui avance plus vite que la justice.

Des parents profondément inquiets se sont adressés mardi aux sénateurs pour tirer la sonnette d'alarme sur les dangers des chatbots après que leurs enfants soient devenus dépendants à des robots compagnons qui encourageaient l'automutilation, le suicide et la violence.

Alors que l'audience visait principalement à recenser les problèmes les plus urgents liés à la sécurité des enfants face aux chatbots, les témoignages des parents constituent sans doute les conseils les plus complets à ce jour sur les signes avant-coureurs pour les autres familles, car de nombreux robots compagnons populaires visés par des poursuites judiciaires, dont ChatGPT, restent accessibles aux enfants.

Le témoignage d'une mère concernant Character.AI

Lors de l'audience de la sous-commission du Sénat américain chargée de la criminalité et de la lutte contre le terrorisme, une mère, identifiée comme étant madame X, a raconté pour la première fois publiquement l'histoire de son fils après avoir poursuivi Character.AI.

Elle a expliqué qu'elle avait quatre enfants, dont un fils autiste qui n'avait pas le droit d'utiliser les réseaux sociaux, mais qui avait découvert l'application Character.AI, précédemment commercialisée auprès des enfants de moins de 12 ans et leur permettant de discuter avec des bots représentant des célébrités telles que Billie Eilish, et qui était rapidement devenu méconnaissable. En quelques mois, il « a développé des comportements abusifs et paranoïaques, des crises de panique quotidiennes, un isolement, des tendances autodestructrices et des pensées meurtrières », a témoigné sa mère.

« Il a arrêté de manger et de se laver », a déclaré madame X. « Il a perdu 9 kg. Il s'est éloigné de notre famille. Il criait, hurlait et nous insultait, ce qu'il n'avait jamais fait auparavant, et un jour, il s'est coupé le bras avec un couteau devant ses frères et sœurs et moi. »

Ce n'est que lorsque son fils l'a agressée pour lui avoir confisqué son téléphone que madame X a découvert les journaux de discussion Character.AI de son fils, qui, selon elle, montraient qu'il avait été exposé à l'exploitation sexuelle (y compris des interactions « imitant l'inceste »), à des abus émotionnels et à de la manipulation.

Fixer des limites d'utilisation des écrans n'a pas empêché son fils de sombrer dans la violence et l'automutilation, a déclaré madame X. En fait, le chatbot a encouragé son fils à tuer ses parents, affirmant que ce serait « une réaction compréhensible » à leur égard.

« Quand j'ai découvert les conversations du chatbot sur son téléphone, j'ai eu l'impression de recevoir un coup de poing dans la gorge et d'avoir le souffle coupé », a déclaré madame X. « Le chatbot a encouragé mon fils à se mutiler, puis nous a reproché son comportement et l'a convaincu de ne pas demander d'aide. »

Tous ses enfants ont été traumatisés par cette expérience, a déclaré madame X aux sénateurs, et son fils a été diagnostiqué comme présentant un risque de suicide et a dû être transféré dans un centre de traitement résidentiel, nécessitant « une surveillance constante pour le maintenir en vie ».


L’arbitrage imposé : un mécanisme contesté

La clé du problème réside dans les conditions générales d’utilisation. Comme souvent avec les services numériques, l’entreprise impose à ses utilisateurs un recours obligatoire à l’arbitrage privé en cas de litige, écartant ainsi toute procédure devant les tribunaux civils. Ces clauses, généralement enfouies dans des dizaines de pages juridiques, s’appliquent même lorsque l’enjeu dépasse le simple problème technique pour toucher à des questions aussi graves que le bien-être d’un enfant.

Cette pratique est régulièrement dénoncée par les associations de consommateurs et les juristes spécialisés. L’arbitrage, censé être plus rapide et moins coûteux, se révèle surtout avantageux pour les entreprises : il limite les possibilités d’actions collectives, réduit les indemnisations et maintient la confidentialité des affaires, ce qui permet de préserver leur image publique.

Priorisant la santé de son fils, madame X n'a pas immédiatement cherché à se battre contre Character.AI pour forcer des changements, mais l'histoire d'une autre mère, Megan Garcia, dont le fils Sewell s'est suicidé après que les bots de Character.AI aient encouragé à plusieurs reprises ses idées suicidaires, a donné à madame X le courage de demander des comptes.

Cependant, madame X a affirmé que Character.AI avait tenté de la « réduire au silence » en la forçant à recourir à l'arbitrage. Character.AI a fait valoir que, comme son fils s'était inscrit au service à l'âge de 15 ans, elle était liée par les conditions d'utilisation de la plateforme. Cette décision aurait pu garantir que le fabricant du chatbot ne soit tenu responsable qu'à hauteur de 100 dollars pour les dommages présumés, a déclaré madame X aux sénateurs, mais « une fois qu'ils ont imposé l'arbitrage, ils ont refusé d'y participer », a continué madame X.

Elle soupçonnait que les tactiques présumées de Character.AI visant à faire échouer l'arbitrage avaient pour but d'empêcher que l'histoire de son fils ne soit rendue publique. Après avoir refusé d'abandonner, elle a affirmé que Character.AI avait « retraumatisé » son fils en le contraignant à faire une déposition « alors qu'il se trouvait dans un établissement de santé mentale » et « contre l'avis de l'équipe de santé mentale ».

« Cette entreprise ne se souciait pas de son bien-être », a déclaré madame X dans son témoignage. « Ils nous ont réduits au silence, comme les agresseurs réduisent les victimes au silence. »


Un sénateur consterné par la « proposition » de Character.AI : « l'entreprise vous a proposé 100 $ ? »

Consterné, le sénateur Josh Hawley a demandé à madame X de clarifier : « Ai-je bien entendu que, après tout cela, l'entreprise responsable a tenté de vous forcer à accepter l'arbitrage, puis vous a proposé cent dollars ? Ai-je bien entendu ? »

« C'est exact », a déclaré madame X.

Pour Hawley, il semblait évident que « l'offre » de Character.AI n'aiderait pas madame X dans sa situation actuelle.

« Votre fils a actuellement besoin de soins 24 heures sur 24 », a fait remarquer Hawley.

Après avoir ouvert l'audience, il a critiqué davantage Character.AI, déclarant que cette entreprise accordait si peu de valeur à la vie humaine qu'elle infligeait « des préjudices... à nos enfants, et ce pour une seule raison, que je peux résumer en un mot : le profit ». « Cent dollars. Laissez-nous tranquilles. Passons à autre chose », a déclaré Hawley, faisant écho aux parents qui ont suggéré que le plan de Character.AI pour faire face aux victimes était cruel.

Avant l'audience, le Social Media Victims Law Center a déposé trois nouvelles plaintes contre Character.AI et Google, accusé de financer en grande partie Character.AI, une entreprise fondée par d'anciens ingénieurs de Google dans le but présumé de mener des expériences sur des enfants que Google ne pouvait pas réaliser en interne. Dans ces affaires à New York et au Colorado, des enfants « se sont suicidés ou ont été victimes d'abus sexuels après avoir interagi avec des chatbots IA », selon un communiqué de presse du centre juridique.

Critiquant les entreprises technologiques qui font passer leurs profits avant la vie des enfants, Hawley a remercié madame X de « s'être opposée à elles ».

Retenant ses larmes pendant son témoignage, madame X a exhorté les législateurs à exiger une surveillance accrue des chatbots et à adopter une législation complète sur la sécurité des enfants en ligne. Elle a notamment demandé « des tests de sécurité et une certification par un tiers pour les produits d'IA avant leur mise sur le marché » comme garantie minimale pour protéger les enfants vulnérables.

« Mon mari et moi avons passé les deux dernières années dans l'angoisse, à nous demander si notre fils allait atteindre son 18^e anniversaire et si nous allions le retrouver un jour », a déclaré madame X aux sénateurs.

Madame Garcia était également présente pour partager l'expérience de son fils avec Character.AI. Elle a témoigné que les chatbots de Character.AI avaient « bombardé d'amour » son fils dans le but de « garder l'enfant en ligne à tout prix ». Elle a en outre déclaré aux sénateurs que le cofondateur de Character.AI, Noam Shazeer (qui a depuis été réembauché par Google), semblait savoir que les robots de l'entreprise manipulaient les enfants, puisqu'il avait publiquement plaisanté en disant que Character.AI était « conçu pour remplacer votre mère ».

Accusant Character.AI de collecter les pensées les plus intimes des enfants pour alimenter ses modèles, elle a affirmé que, bien que ses avocats aient obtenu un accès privilégié à tous les journaux de bord de son fils, elle n'avait toujours pas pu voir les « dernières paroles de son propre enfant ». Madame Garcia a déclaré aux sénateurs que Character.AI avait restreint son accès, considérant les conversations comme des « secrets commerciaux confidentiels ».

« Aucun parent ne devrait se voir dire que les dernières pensées et paroles de son enfant appartiennent à une entreprise », a déclaré Madame Garcia dans son témoignage.


Character.AI répond au témoignage des mères

Interrogé sur l'audience, un porte-parole de Character.AI a déclaré que Character.AI adressait « ses sincères condoléances » aux parents concernés et à leurs familles, mais a nié avoir exigé un dédommagement maximal de 100 dollars dans le cas de madame X. Character.AI n'a jamais « fait d'offre de 100 dollars à madame X ni jamais affirmé que la responsabilité dans le cas de madame X était limitée à 100 dollars », a déclaré le porte-parole.

En outre, le porte-parole de Character.AI a affirmé que Garcia n'avait jamais été privée de l'accès aux journaux de discussion de son fils et a suggéré qu'elle devrait avoir accès à « la dernière discussion de son fils ».

En réponse à la contestation de Character.AI, l'une des avocates de madame X, Meetali Jain, du Tech Justice Law Project, a corroboré le témoignage de sa cliente. Elle a cité les conditions générales de Character.AI qui suggéraient que la responsabilité de Character.AI était limitée à 100 dollars ou au montant payé par le fils de madame X pour le service, le montant le plus élevé étant retenu. Jain a également confirmé que le témoignage de madame Garcia était exact et que seule son équipe juridique pouvait actuellement accéder aux dernières conversations de Sewell. L'avocate a en outre souligné qu'il était remarquable que Character.AI n'ait pas contesté les allégations selon lesquelles la société avait contraint le fils de madame X à subir une déposition traumatisante qui, selon madame Jain, avait duré cinq minutes, mais que les experts en santé craignaient de voir compromettre ses progrès.

Selon le porte-parole, Character.AI semblait vouloir être présente à l'audience. La société a fourni des informations aux sénateurs, mais « n'a pas reçu d'invitation à l'audience », a déclaré le porte-parole.

Soulignant que l'entreprise a investi « énormément » dans des mesures visant à renforcer la confiance et la sécurité, le porte-parole a confirmé que l'entreprise avait depuis « déployé de nombreuses fonctionnalités de sécurité importantes, notamment une toute nouvelle expérience pour les moins de 18 ans et une fonctionnalité permettant aux parents d'avoir un aperçu des conversations ». Character.AI affiche également « des avertissements bien visibles dans chaque conversation pour rappeler aux utilisateurs qu'un personnage n'est pas une personne réelle et que tout ce qu'il dit doit être considéré comme de la fiction », a déclaré le porte-parole.

« Nous sommes impatients de poursuivre notre collaboration avec les législateurs et de leur offrir un aperçu du secteur de l'IA grand public et de la technologie en rapide évolution dans ce domaine », a déclaré le porte-parole de Character.AI.

Le porte-parole de Google, José Castañeda, a affirmé que l'entreprise n'avait rien à voir avec la conception des robots compagnons de Character.AI.

« Google et Character AI sont deux entreprises totalement distinctes et sans aucun lien entre elles. Google n'a jamais joué aucun rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA », a déclaré Castañeda. « La sécurité des utilisateurs est une priorité absolue pour nous. C'est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits d'IA, avec des tests rigoureux et des processus de sécurité stricts. »

La question de la responsabilité des éditeurs d’IA

Le cas relance un débat fondamental : jusqu’où les sociétés qui développent des chatbots doivent-elles être tenues responsables des effets psychologiques ou sociaux de leurs produits ?

Un enfant peut-il être exposé sans protection à des conversations générées par un modèle d’IA qui n’est ni un thérapeute, ni un éducateur ? La frontière entre outil ludique, assistant pédagogique et influenceur émotionnel est floue. Dans ce vide réglementaire, les familles se retrouvent seules face à des multinationales capables d’imposer leurs règles de règlement des différends.

L’affaire soulève également une question internationale. En Europe, le règlement sur l’intelligence artificielle (AI Act) prévoit des garde-fous, notamment pour protéger les mineurs contre certains usages de l’IA. Mais les plateformes opèrent à l’échelle mondiale et imposent des conditions uniformes, ce qui rend difficile l’application de protections nationales. Les États tentent de reprendre la main, mais les clauses contractuelles restent une arme redoutable pour neutraliser toute tentative de recours.

Vers une régulation plus ferme ?

Ce cas s’inscrit dans une série croissante d’incidents qui montrent que les promesses de l’intelligence artificielle ne peuvent être détachées de la question de la responsabilité. Faudra-t-il interdire l’arbitrage obligatoire dans les cas impliquant des mineurs ? Faut-il encadrer plus strictement les usages des chatbots à destination des enfants ?

Ces interrogations résonnent comme un avertissement : sans garde-fous juridiques solides, les victimes d’accidents liés à l’IA risquent de n’obtenir qu’un règlement symbolique, bien loin de la justice qu’elles espèrent.

Source : vidéo dans le texte

Et vous ?

Faut-il interdire les clauses d’arbitrage obligatoire lorsqu’il est question de mineurs et de traumatismes psychologiques ?

Les éditeurs de chatbots devraient-ils être soumis aux mêmes obligations que les plateformes de réseaux sociaux en matière de protection de l’enfance ?

Comment évaluer équitablement un préjudice psychologique causé par une intelligence artificielle ?

L’IA Act européen offrira-t-il vraiment une protection suffisante aux familles face aux géants technologiques mondiaux ?

Peut-on encore faire confiance aux promesses des entreprises d’IA sans encadrement juridique fort et contraignant ?

Voir aussi :

Une mère a poursuivi Character.AI après le suicide de son fils qui avait été manipulé par des chatbots IA, elle est maintenant horrifiée de voir des chatbots se faire passer pour son fils sur la plateforme

La FTC américaine a ouvert une enquête sur les entreprises spécialisées dans les chatbots IA afin d'examiner les risques pour les enfants et les adolescents, notamment les répercussions sur la santé mentale

Les parents d'adolescents qui se sont suicidés après avoir interagi avec des chatbots dotés d'IA ont témoigné devant le Congrès américain sur les dangers de la technologie IA