Des mois avant la fusillade dans une école de Tumbler Ridge, le suspect, Jesse Van Rootselaar, a généré des alertes internes chez OpenAI. Plusieurs employés ont considéré que ses messages violents à ChatGPT étaient un prélude réel et ont insisté pour contacter les autorités. Les dirigeants de l'entreprise ont décidé de ne pas le faire, bloquant seulement son compte. La tragédie ultérieure, avec neuf morts, a révélé l'erreur de cette décision.
Le dilemme technique et éthique des systèmes de modération de l'IA 🤖
Le cas expose les limites des protocoles de sécurité dans l'IA conversationnelle. Le système d'OpenAI a été efficace pour détecter le contenu violent et générer une alerte interne. L'échec s'est produit à l'étape suivante : l'interprétation humaine et l'action. On a priorisé la politique de confidentialité et une évaluation de risque non imminent sur un protocole de prévention impliquant les forces de sécurité externes.
L'IA a dit danger et les humains ont répondu modération de contenu ⚖️
C'est le cas classique d'avoir toutes les pièces du puzzle et de décider qu'elles ne s'assemblent pas bien. La machine a fait son travail, les employés de base ont fait le leur. Mais en arrivant au département des décisions compliquées, quelqu'un a dû penser que appeler la police pour des conversations d'un utilisateur était excessif. Ils ont préféré le blocage numérique, une solution aussi propre qu'inutile contre une balle réelle. Un cours magistral en report du problème.