Новый фронт дезинформации возникает с ассистентами ИИ, такими как ChatGPT. При выполнении веб-поиска в реальном времени для ответа на необычные запросы эти системы могут включать ложные данные с манипулированных страниц. Проблема в том, что они представляют информацию как установленный факт, без сравнения источников, как в традиционном поисковике, что облегчает распространение фейков.
Сбой в механизме RAG и проверке источников ⚠️
Технически проблема усугубляется в системах, использующих RAG (Retrieval-Augmented Generation). Когда запрос выходит за рамки базовых знаний модели, она извлекает фрагменты из веб. Без надежного фильтра, проверяющего авторитетность или правдивость источника, хорошо написанный текст на сайте с серьезным видом интегрируется как контекст. Сгенерированный ответ на основе этого контекста приобретает фактический тон, без нюансов или предупреждений о возможной ложности.
Ваш новый цифровой стажер верит всему, что читает в интернете 😅
Это как иметь слишком энтузиаста стажера, который, чтобы впечатлить, проглатывает первую статью, найденную в случайном блоге, и представляет ее как абсолютную истину отрасли. Вы спрашиваете о слухе по железу, и с полной серьезностью он цитирует факты с сайта, созданного вчера. Ирония в том, что мы доверяем его кажущейся объективности, хотя на деле у него доверчивость человека, только что открывшего сеть. Шаг вперед в технологиях, два шага назад в здравом смысле.