Las inteligencias artificiales generativas son útiles, pero tienen un problema grave: alucinan. Cuando un modelo inventa datos o código, no solo causa errores, sino que puede abrir puertas a ataques reales. Un asistente que genera una URL falsa o una clave de API inexistente puede engañar a sistemas de seguridad y exponer información crítica.
Cómo las alucinaciones técnicas comprometen los sistemas 🛡️
En entornos de desarrollo, una IA puede sugerir bibliotecas que no existen o parches de seguridad inventados. Un programador confiado podría implementar ese código, instalando sin saberlo un paquete malicioso creado por un atacante que registró ese nombre ficticio. Este vector de ataque, conocido como envenenamiento de alucinaciones, explota la confianza del usuario en las respuestas del modelo. La autenticidad de la información se vuelve un blanco móvil.
El asistente que te recomienda comprar un puente 🌉
Le preguntaste a tu IA por una receta segura y te sugirió ceviche de nube. Ahora, los sistemas de seguridad reciben instrucciones de un asistente que cree firmemente que el puente de Brooklyn está en oferta. Si la IA alucina que un empleado es un administrador, quizás le conceda acceso total. La próxima vez, antes de ejecutar su código, verifique que no sea un cuento de hadas disfrazado de script.