OpenAI признаёт, что не может полностью устранить инъекции команд в Atlas
OpenAI работает над тем, чтобы сделать свой браузер Atlas более безопасным, который работает на базе искусственного интеллекта. Однако компания открыто признаёт, что не существует окончательного решения для проблемы инъекций команд — стойкого риска, который обманывает агентов ИИ. 🛡️
Фундаментальная проблема инъекций команд
Этот тип атаки эксплуатирует то, как модели языка обрабатывают информацию. Атакующий может вставить вредоносные инструкции в текст, который читает агент, такой как в Atlas. Эти команды могут быть скрыты в метаданных, комментариях внутри кода веб-страницы или в разделах электронного письма, которые человек не замечает. Система ИИ, не способная надёжно различать легитимный и вредоносный контент, в итоге выполняет нежелательные действия.
Способы маскировки команд:- Внедрены как метаданные в файлы или веб-страницы.
- Скрыты внутри комментариев кода HTML или JavaScript.
- Вставлены в части электронного письма, которые не отображаются пользователю.
Похоже, даже самые продвинутые ИИ могут читать между строк то, чего не должны.
Стратегии OpenAI по снижению рисков
Вместо поиска абсолютной безопасности, которую они считают невозможной, OpenAI внедряет слои защиты для снижения воздействия и вероятности успеха таких атак. Их главная цель — повысить сложность для атакующих и строго ограничить то, чего может добиться внедрённая команда.
Меры по снижению рисков в разработке:- Изоляция контекста, в котором работает агент ИИ, для ограничения его доступа.
- Более строгая валидация источников данных и обрабатываемого контента.
- Исследование техник, чтобы сама модель могла обнаруживать и игнорировать возможные внедрённые команды.
Реалистичная картина безопасности для ИИ
Подход OpenAI отражает прагматичное понимание безопасности в ИИ. Они признают, что определённые уязвимости, такие как инъекции команд, присущи тому, как эти системы обрабатывают язык. Поэтому работа сосредоточена на непрерывном управлении рисками, укреплении защит и реагировании на новые угрозы, а не на претензии полностью их устранить. Это важное напоминание о вызовах, которые сохраняются при интеграции мощных агентов ИИ в динамичные среды, такие как веб. 🔍