Mesi prima della sparatoria in una scuola di Tumbler Ridge, il sospettato, Jesse Van Rootselaar, ha generato allarmi interni in OpenAI. Diversi dipendenti hanno considerato i suoi messaggi violenti a ChatGPT come un preludio reale e hanno insistito per contattare le autorità. I leader dell'azienda hanno deciso di non farlo, bloccando solo il suo account. La tragedia successiva, con nove morti, ha rivelato l'errore di quella decisione.
Il dilemma tecnico ed etico dei sistemi di moderazione dell'IA 🤖
Il caso espone i limiti dei protocolli di sicurezza nell'IA conversazionale. Il sistema di OpenAI è stato efficace nel rilevare il contenuto violento e generare un allarme interno. Il fallimento è avvenuto nel passo successivo: l'interpretazione umana e l'azione. Si è data priorità alla politica sulla privacy e a una valutazione del rischio non imminente rispetto a un protocollo di prevenzione che coinvolgesse le forze di sicurezza esterne.
L'IA ha detto pericolo e gli umani hanno risposto moderazione del contenuto ⚖️
È il classico caso di avere tutte le tessere del puzzle e decidere che non combaciano bene. La macchina ha fatto il suo lavoro, i dipendenti di base hanno fatto il loro. Ma arrivati al dipartimento delle decisioni complicate, qualcuno deve aver pensato che chiamare la polizia per delle conversazioni di un utente fosse eccessivo. Hanno preferito il blocco digitale, una soluzione tanto pulita quanto inutile contro un proiettile reale. Una lezione magistrale nel passare il problema.