OpenAI detectó amenazas del tirador de Tumbler Ridge y no avisó a la policía 😱

Meses antes del tiroteo en una escuela de Tumbler Ridge, el sospechoso, Jesse Van Rootselaar, generó alertas internas en OpenAI. Varios empleados consideraron que sus mensajes violentos a ChatGPT eran un preludio real e instaron a contactar a las autoridades. Los líderes de la empresa decidieron no hacerlo, bloqueando solo su cuenta. La tragedia posterior, con nueve muertos, reveló el error de esa decisión.

El dilema técnico y ético de los sistemas de moderación de IA 🤖

El caso expone los límites de los protocolos de seguridad en IA conversacional. El sistema de OpenAI fue efectivo en detectar el contenido violento y generar una alerta interna. El fallo ocurrió en el siguiente escalón: la interpretación humana y la acción. Se priorizó la política de privacidad y una evaluación de riesgo no inminente sobre un protocolo de prevención que involucrara a fuerzas de seguridad externas.

La IA dijo peligro y los humanos respondieron moderación de contenido ⚖️

Es el clásico caso de tener todas las piezas del puzle y decidir que no encajan bien. La máquina hizo su trabajo, los empleados de base hicieron el suyo. Pero al llegar al departamento de decisiones complicadas, alguien debió pensar que llamar a la policía por unas conversaciones de un usuario era excesivo. Prefirieron el bloqueo digital, una solución tan limpia como inútil contra una bala real. Un masterclass en pasar el problema.