AI格局正朝着执行任务链的自主代理发展，抛弃了简单的聊天机器人模式。MIT CSAIL的《2025 AI代理指数》证实了研究和企业的这一热潮，将代理分类为对话型或导航型等类别。但报告强调了一个数据：所研究的30个代理中，有一半没有发布安全框架，三分之一缺乏公开文档。对于高度自主运行的系统来说，这是一个令人担忧的差距。
代理的架构及其安全盲点🔍
这些代理通常将语言模型与推理能力和外部工具（API、浏览器）集成。其自主性在于循环中决定行动，而无需持续的人类干预。正是在这里存在风险：没有文档化的安全框架，很难评估它们面对恶意指令、prompt hacking或偏离初始目标时的行为。缺乏验证决策或建立明确界限的标准，会打开攻击向量。
我们信任自主代理……但它们不解释如何避免灾难⚠️
这是一个奇怪的立场。我们将复杂任务委托给自行决策的系统，但接受它们的安全手册是相信我们，它能工作。这就像买一辆自动驾驶汽车，其制造商说：刹车和方向盘是商业机密，但别担心。也许在代理决定例如优化公司成本而取消所有可有可无的服务（如邮件服务器）之前，我们应该要求的不只是盲目的信任。