OpenAI承认无法完全消除Atlas中的命令注入
OpenAI正在努力使其Atlas浏览器更安全，该浏览器由人工智能驱动。然而，该公司公开承认不存在终极解决方案来解决命令注入问题，这是一种持续存在的风险，会欺骗AI代理。🛡️
命令注入的根本问题
这种攻击利用语言模型处理信息的方式。攻击者可以在代理（如Atlas的代理）读取的文本中插入恶意指令。这些命令可以隐藏在元数据中、网页代码中的注释或电子邮件中人类无法察觉的部分。AI系统无法可靠地区分合法内容和恶意内容，最终执行了非预期的操作。
命令伪装的形式：- 嵌入作为元数据在文件或网页中。
- 隐藏在HTML或JavaScript代码注释中。
- 插入到电子邮件中不显示给用户部分。
似乎即使是最先进的AI也能读出它们不应该读的东西。
OpenAI缓解风险的策略
OpenAI没有追求绝对安全（他们认为这是不可能的），而是实施防御层来减少这些攻击的影响和成功概率。其主要目标是增加攻击者的难度，并严格限制注入命令所能实现的内容。
开发中的缓解措施：- 隔离AI代理的操作上下文，以限制其访问。
- 更严格地验证数据来源和处理的内容。
- 探索让模型自身检测并忽略可能插入的命令的技术。
AI安全的现实图景
OpenAI的方法反映了对AI安全的务实理解。他们承认某些漏洞，如命令注入，是这些系统处理语言方式的固有特性。因此，工作重点是持续管理风险，加强防御并应对新威胁，而不是假装完全消除它们。这是对将强大AI代理集成到动态环境（如网络）中持久挑战的一个关键提醒。🔍