生成式人工智能很有用，但有一个严重问题：它们会产生幻觉。当模型编造数据或代码时，不仅会导致错误，还可能为真实攻击打开大门。一个生成虚假URL或不存在的API密钥的助手，可能会欺骗安全系统，暴露关键信息。
技术幻觉如何危害系统 🛡️
在开发环境中，AI可能会建议不存在的库或虚构的安全补丁。一个信任它的程序员可能会实现那段代码，无意中安装了一个由攻击者创建的恶意软件包，而攻击者正是注册了那个虚构名称。这种攻击向量被称为幻觉投毒，它利用了用户对模型回答的信任。信息的真实性变成了一个移动的目标。
那个推荐你买桥的助手 🌉
你问AI要一个安全的食谱，它却建议了云朵酸橘汁腌鱼。现在，安全系统从一个坚信布鲁克林大桥正在打折的助手那里接收指令。如果AI幻觉某个员工是管理员，它可能会授予其完全访问权限。下次，在执行它的代码之前，请确认它不是一个伪装成脚本的童话故事。