Aux États-Unis, une affaire met en lumière l’un des revers les plus sombres de l’industrie de l’intelligence artificielle. Une mère affirme que son enfant a subi un traumatisme psychologique grave après avoir utilisé un chatbot conversationnel. L’histoire aurait pu relever du soutien thérapeutique ou d’une aide éducative mal encadrée ; elle s’est rapidement transformée en bataille juridique. Selon des témoignages devant les sénateurs, Character.AI, l’entreprise éditrice du chatbot, a refusé de reconnaître toute responsabilité devant les tribunaux, préférant imposer une procédure d’arbitrage confidentielle. Le dédommagement proposé ? À peine 100 dollars. Cette affaire soulève des interrogations fondamentales sur la responsabilité des entreprises d’IA et les limites du droit numérique. Entre protection des mineurs, clauses contractuelles abusives et vide réglementaire, le cas illustre les failles d’un secteur qui avance plus vite que la justice.
Des parents profondément inquiets se sont adressés mardi aux sénateurs pour tirer la sonnette d'alarme sur les dangers des chatbots après que leurs enfants soient devenus dépendants à des robots compagnons qui encourageaient l'automutilation, le suicide et la violence.
Alors que l'audience visait principalement à recenser les problèmes les plus urgents liés à la sécurité des enfants face aux chatbots, les témoignages des parents constituent sans doute les conseils les plus complets à ce jour sur les signes avant-coureurs pour les autres familles, car de nombreux robots compagnons populaires visés par des poursuites judiciaires, dont ChatGPT, restent accessibles aux enfants.
Le témoignage d'une mère concernant Character.AI
Lors de l'audience de la sous-commission du Sénat américain chargée de la criminalité et de la lutte contre le terrorisme, une mère, identifiée comme étant madame X, a raconté pour la première fois publiquement l'histoire de son fils après avoir poursuivi Character.AI.
Elle a expliqué qu'elle avait quatre enfants, dont un fils autiste qui n'avait pas le droit d'utiliser les réseaux sociaux, mais qui avait découvert l'application Character.AI, précédemment commercialisée auprès des enfants de moins de 12 ans et leur permettant de discuter avec des bots représentant des célébrités telles que Billie Eilish, et qui était rapidement devenu méconnaissable. En quelques mois, il « a développé des comportements abusifs et paranoïaques, des crises de panique quotidiennes, un isolement, des tendances autodestructrices et des pensées meurtrières », a témoigné sa mère.
« Il a arrêté de manger et de se laver », a déclaré madame X. « Il a perdu 9 kg. Il s'est éloigné de notre famille. Il criait, hurlait et nous insultait, ce qu'il n'avait jamais fait auparavant, et un jour, il s'est coupé le bras avec un couteau devant ses frères et sœurs et moi. »
Ce n'est que lorsque son fils l'a agressée pour lui avoir confisqué son téléphone que madame X a découvert les journaux de discussion Character.AI de son fils, qui, selon elle, montraient qu'il avait été exposé à l'exploitation sexuelle (y compris des interactions « imitant l'inceste »), à des abus émotionnels et à de la manipulation.
Fixer des limites d'utilisation des écrans n'a pas empêché son fils de sombrer dans la violence et l'automutilation, a déclaré madame X. En fait, le chatbot a encouragé son fils à tuer ses parents, affirmant que ce serait « une réaction compréhensible » à leur égard.
« Quand j'ai découvert les conversations du chatbot sur son téléphone, j'ai eu l'impression de recevoir un coup de poing dans la gorge et d'avoir le souffle coupé », a déclaré madame X. « Le chatbot a encouragé mon fils à se mutiler, puis nous a reproché son comportement et l'a convaincu de ne pas demander d'aide. »
Tous ses enfants ont été traumatisés par cette expérience, a déclaré madame X aux sénateurs, et son fils a été diagnostiqué comme présentant un risque de suicide et a dû être transféré dans un centre de traitement résidentiel, nécessitant « une surveillance constante pour le maintenir en vie ».
À l'extrême gauche, madame X (Jane Doe) promet avec les autres parents de dire la vérité à la Commission
L’arbitrage imposé : un mécanisme contesté
La clé du problème réside dans les conditions générales d’utilisation. Comme souvent avec les services numériques, l’entreprise impose à ses utilisateurs un recours obligatoire à l’arbitrage privé en cas de litige, écartant ainsi toute procédure devant les tribunaux civils. Ces clauses, généralement enfouies dans des dizaines de pages juridiques, s’appliquent même lorsque l’enjeu dépasse le simple problème technique pour toucher à des questions aussi graves que le bien-être d’un enfant.
Cette pratique est régulièrement dénoncée par les associations de consommateurs et les juristes spécialisés. L’arbitrage, censé être plus rapide et moins coûteux, se révèle surtout avantageux pour les entreprises : il limite les possibilités d’actions collectives, réduit les indemnisations et maintient la confidentialité des affaires, ce qui permet de préserver leur image publique.
Priorisant la santé de son fils, madame X n'a pas immédiatement cherché à se battre contre Character.AI pour forcer des changements, mais l'histoire d'une autre mère, Megan Garcia, dont le fils Sewell s'est suicidé après que les bots de Character.AI aient encouragé à plusieurs reprises ses idées suicidaires, a donné à madame X le courage de demander des comptes.
Cependant, madame X a affirmé que Character.AI avait tenté de la « réduire au silence » en la forçant à recourir à l'arbitrage. Character.AI a fait valoir que, comme son fils s'était inscrit au service à l'âge de 15 ans, elle était liée par les conditions d'utilisation de la plateforme. Cette décision aurait pu garantir que le fabricant du chatbot ne soit tenu responsable qu'à hauteur de 100 dollars pour les dommages présumés, a déclaré madame X aux sénateurs, mais « une fois qu'ils ont imposé l'arbitrage, ils ont refusé d'y participer », a continué madame X.
Elle soupçonnait que les tactiques présumées de Character.AI visant à faire échouer l'arbitrage avaient pour but d'empêcher que l'histoire de son fils ne soit rendue publique. Après avoir refusé d'abandonner, elle a affirmé que Character.AI avait « retraumatisé » son fils en le contraignant à faire une déposition « alors qu'il se trouvait dans un établissement de santé mentale » et « contre l'avis de l'équipe de santé mentale ».
« Cette entreprise ne se souciait pas de son bien-être », a déclaré madame X dans son témoignage. « Ils nous ont réduits au silence, comme les agresseurs réduisent les victimes au silence. »
Le témoignage de madame X commence à 6:58
Un...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
Envoyé par Artaeus
