As inteligências artificiais generativas são úteis, mas têm um problema grave: alucinam. Quando um modelo inventa dados ou código, não só causa erros, como também pode abrir portas para ataques reais. Um assistente que gera uma URL falsa ou uma chave de API inexistente pode enganar sistemas de segurança e expor informações críticas.
Como as alucinações técnicas comprometem os sistemas 🛡️
Em ambientes de desenvolvimento, uma IA pode sugerir bibliotecas que não existem ou patches de segurança inventados. Um programador confiante poderia implementar esse código, instalando sem saber um pacote malicioso criado por um atacante que registrou esse nome fictício. Esse vetor de ataque, conhecido como envenenamento de alucinações, explora a confiança do usuário nas respostas do modelo. A autenticidade da informação se torna um alvo móvel.
O assistente que te recomenda comprar uma ponte 🌉
Você perguntou à sua IA por uma receita segura e ela sugeriu ceviche de nuvem. Agora, os sistemas de segurança recebem instruções de um assistente que acredita firmemente que a Ponte de Brooklyn está em promoção. Se a IA alucinar que um funcionário é um administrador, talvez lhe conceda acesso total. Na próxima vez, antes de executar seu código, verifique se não é um conto de fadas disfarçado de script.