За месяцы до стрельбы в школе в Tumbler Ridge подозреваемый, Jesse Van Rootselaar, вызвал внутренние тревоги в OpenAI. Несколько сотрудников сочли его насильственные сообщения ChatGPT реальной прелюдией и настаивали на контакте с властями. Руководители компании решили этого не делать, ограничившись блокировкой его аккаунта. Последующая трагедия с девятью погибшими выявила ошибочность этого решения.
Техническая и этическая дилемма систем модерации ИИ 🤖
Этот случай выявляет пределы протоколов безопасности в разговорном ИИ. Система OpenAI эффективно обнаружила насильственный контент и сгенерировала внутреннюю тревогу. Ошибка произошла на следующем этапе: человеческая интерпретация и действие. Были приоритетны политика конфиденциальности и оценка не срочного риска вместо протокола предотвращения с вовлечением внешних сил безопасности.
ИИ сказал опасность, а люди ответили модерацией контента ⚖️
Это классический случай, когда все кусочки пазла на месте, но решают, что они не подходят. Машина выполнила свою работу, сотрудники на базе — свою. Но дойдя до отдела сложных решений, кто-то, видимо, подумал, что звонить в полицию из-за разговоров одного пользователя — это чрезмерно. Предпочли цифровую блокировку, решение такое же чистое, как и бесполезное против настоящей пули. Мастер-класс по перекладыванию проблемы.