Генеративные искусственные интеллекты полезны, но у них есть серьезная проблема: они галлюцинируют. Когда модель выдумывает данные или код, это не только приводит к ошибкам, но и может открыть двери для реальных атак. Помощник, который генерирует поддельный URL или несуществующий ключ API, может обмануть системы безопасности и раскрыть критически важную информацию.
Как технические галлюцинации компрометируют системы 🛡️
В среде разработки ИИ может предложить несуществующие библиотеки или вымышленные исправления безопасности. Доверчивый программист может внедрить этот код, неосознанно установив вредоносный пакет, созданный злоумышленником, который зарегистрировал это вымышленное имя. Этот вектор атаки, известный как отравление галлюцинациями, эксплуатирует доверие пользователя к ответам модели. Достоверность информации становится движущейся мишенью.
Помощник, который рекомендует вам купить мост 🌉
Вы спросили своего ИИ о безопасном рецепте, и он предложил вам севиче из облака. Теперь системы безопасности получают инструкции от помощника, который твердо верит, что Бруклинский мост продается со скидкой. Если ИИ галлюцинирует, что сотрудник является администратором, возможно, он предоставит ему полный доступ. В следующий раз, прежде чем выполнять его код, проверьте, не является ли он сказкой, замаскированной под скрипт.