En juin 2025, les systèmes automatisés d'OpenAI ont détecté qu'une utilisatrice planifiait une fusillade de masse. L'équipe de sécurité a recommandé d'alerter la police. La direction a refusé. Huit mois plus tard, une école secondaire de Tumbler Ridge, en Colombie-Britannique, est devenue le théâtre du pire attentat scolaire de l'histoire canadienne récente. Sept familles viennent d'attaquer OpenAI et Sam Altman en justice aux États-Unis. Ce qui s'est passé entre ces deux dates est une leçon cinglante sur ce que l'industrie de l'IA est prête à sacrifier sur l'autel de la croissance.En juin 2025, les outils de modération automatisés d'OpenAI ont signalé le compte de Jessie Van Rootselaar pour des conversations décrivant de manière explicite des violences de masse. Les équipes humaines chargées de la revue de ces contenus se sont alarmées, estimant que les interactions constituaient une menace imminente et crédible pour la vie d'autrui. La recommandation interne était claire : contacter les forces de l'ordre.
Mais selon les plaintes déposées, qui citent un article du Wall Street Journal publié en février dernier, Sam Altman et d'autres membres de la direction d'OpenAI ont écarté l'avis de l'équipe de sécurité. La police n'a jamais été prévenue. Le compte de la tireuse a été désactivé, mais elle a pu en créer un nouveau et continuer à utiliser la plateforme pour planifier son attaque.
Le 10 février 2026, Van Rootselaar a d'abord tué sa mère et son beau-frère de 11 ans à leur domicile, avant de se rendre à l'école secondaire de Tumbler Ridge armée d'un fusil modifié. Elle y a abattu cinq enfants et un enseignant, blessé 27 autres personnes, puis s'est donné la mort. C'est la fusillade scolaire la plus meurtrière au Canada depuis des décennies.
L'architecture d'une défaillance
L'un des aspects les plus troublants de cette affaire n'est pas que le système de détection ait failli... c'est précisément qu'il a fonctionné. Les alertes ont été déclenchées. Les humains ont lu les conversations. Ils ont conclu à un danger réel. Et la décision a quand même été de ne rien faire.
Les plaintes le formulent sans détour : « OpenAI n'a aucun mécanisme pour bannir des utilisateurs. Ce qu'elle possède, c'est un processus appelé "désactivation", utilisé pour les violations de sa politique d'utilisation. Un véritable bannissement aurait empêché la tireuse de revenir. Un utilisateur désactivé est libre de revenir sous une autre adresse e-mail et c'est exactement ce qu'elle a fait. »
Pire encore, selon l'un des avocats des victimes : Altman savait que la divulgation publique de ce qu'OpenAI avait détecté et de ses échanges avec cette jeune femme « aurait pu mettre fin à son mandat et anéantir la valorisation de l'entreprise ». La direction « a fait ses calculs et décidé que la sécurité des enfants de Tumbler Ridge était un risque acceptable », écrit l'avocat Ali Moghaddas dans l'une des plaintes.
Ce calcul, s'il est avéré, s'inscrit dans un contexte précis : les poursuites déposées à San Francisco accusent les dirigeants d'OpenAI de ne pas avoir alerté les autorités parce que cela aurait exposé le volume de conversations à caractère violent sur ChatGPT et potentiellement compromis la trajectoire de l'entreprise vers une introduction en bourse valorisée à près de mille milliards de dollars.
Les excuses d'Altman et leur portée limitée
Face à la révélation par le Wall Street Journal des détails du dossier interne, Sam Altman a publié le 23 avril une lettre ouverte à la communauté de Tumbler Ridge. Il y écrivait : « Je suis profondément désolé que nous n'ayons pas alerté les forces de l'ordre au sujet du compte qui a été banni en juin. »
Mais même cette formulation a aussitôt été mise en cause. Les plaintes soulignent qu'Altman parle de « bannissement », un terme qu'il a réitéré dans sa lettre d'excuses, alors que la réalité technique est celle d'une simple désactivation, qui permet précisément à un utilisateur de revenir sur la plateforme avec un autre e-mail. Un glissement sémantique qui n'est pas anodin : entre une faute technique et un mensonge de communication, la ligne est fine.
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.