Uma nova frente de desinformação surge com assistentes de IA como ChatGPT. Ao realizar buscas na web em tempo real para responder consultas pouco comuns, esses sistemas podem incorporar dados falsos de páginas manipuladas. O problema reside no fato de que apresentam a informação como um fato consolidado, sem oferecer o contraste de fontes de um buscador tradicional, o que facilita a propagação de fake news.
A falha no mecanismo de RAG e a validação de fontes ⚠️
Tecnicamente, o problema se agrava em sistemas que usam RAG (Recuperação-Aumentação Generativa). Quando a consulta está fora do conhecimento base do modelo, este recupera fragmentos da web. Sem um filtro robusto que valide a autoridade ou veracidade da fonte, um texto bem redigido em um site com aparência séria se integra como contexto. A resposta gerada a partir desse contexto adquire um tom factual, sem nuances nem advertências sobre sua possível falsidade.
Seu novo estagiário digital acredita em tudo o que lê na internet 😅
É como ter um estagiário excessivamente entusiasta que, para impressionar, devora o primeiro artigo que encontra em um blog qualquer e o apresenta como a verdade absoluta da indústria. Você pergunta sobre um rumor de hardware e, com total solenidade, ele cita os fatos de um site criado ontem. A ironia é que confiamos em sua aparente objetividade, quando na realidade ele tem a credulidade de alguém que acabou de descobrir a rede. Um passo à frente em tecnologia, dois passos atrás em bom senso.