OpenAI no puede frenar las inyecciones de comandos en Atlas
OpenAI trabaja para reforzar la seguridad de su navegador Atlas, impulsado por inteligencia artificial. La empresa admite que no puede erradicar por completo la amenaza de las inyecciones de comandos. Este tipo de ataque engaña al agente de IA para que ejecute instrucciones ocultas en áreas no visibles de páginas web o correos electrónicos, lo que representa un riesgo persistente.
El desafío de las inyecciones de comandos
Las inyecciones de comandos explotan la forma en que los modelos de lenguaje procesan la información. Un atacante puede insertar instrucciones maliciosas en el texto que un agente de IA, como el de Atlas, lee. Estas instrucciones pueden estar camufladas como metadatos, comentarios en el código de una página o en partes de un correo que un humano no percibe. El sistema, al no distinguir entre el contenido legítimo y el malicioso, puede actuar según órdenes no deseadas.
Las medidas de mitigación en desarrollo
OpenAI implementa capas de defensa para reducir el impacto. Estas incluyen aislar el contexto en el que el agente opera y validar de forma más estricta las fuentes de datos. También exploran técnicas para que el modelo detecte y ignore posibles comandos insertados. El objetivo no es lograr una seguridad absoluta, que consideran imposible, sino aumentar la dificultad para que un ataque tenga éxito y limitar sus consecuencias.
Parece que incluso las IA más avanzadas pueden leer entre líneas cosas que no deberían.
