GhostWriter: почему следующей целью хакеров может стать память вашего ИИ
Последние два года компании активно внедряют персональных ИИ-помощников.
Они читают письма, планируют встречи, работают с документами, помогают писать код, запоминают предпочтения сотрудников. Все это стало возможным благодаря долговременной памяти. Именно она постепенно превращает обычный чат в полноценного цифрового помощника.
Но возникает вопрос. Что будет, если изменить эту память? Именно этому посвящено исследование Университета Нью-Мексико.
Почему память становится новой поверхностью атаки
Раньше злоумышленники искали пароль. Потом научились воровать токены доступа. Теперь появляется еще одна возможность. Не получать контроль над системой напрямую, а изменить то, что она считает правдой.
Авторы исследования называют такую атаку GhostWriter. Ее задача — незаметно внедрить ложную информацию в память ИИ. После этого помощник начинает использовать ее при принятии решений.
Как выглядит атака
GhostWriter состоит из двух этапов. Сначала память заражается специальной инструкцией. Позже эта инструкция извлекается при подходящем запросе.
Сам пользователь может даже не понимать, что произошло. Никаких сообщений об ошибке. Никаких признаков взлома. Ассистент просто начинает работать немного иначе.
Почему это опаснее обычной ошибки
Если нейросеть один раз дала неверный ответ, проблему легко заметить. Но память работает иначе. Она становится частью поведения модели. Это уже не разовая галлюцинация, а изменение накопленного опыта.
В исследовании приводится пример почтового помощника. После заражения памяти он начинает автоматически пересылать письма определенного отправителя третьему лицу. Внешне все выглядит абсолютно нормально. Именно поэтому подобные атаки вызывают серьезный интерес у специалистов по безопасности.
Насколько серьезна проблема
Авторы сообщают о высокой успешности внедрения ложной памяти. В лабораторных условиях первая стадия проходила примерно в 98% сценариев. Позже вредоносная инструкция активировалась примерно в 60% случаев.
Конечно, это не означает, что все современные ИИ уже находятся под угрозой. Но направление развития выглядит вполне очевидным.
Что меняется для бизнеса
До недавнего времени защита ИИ сводилась к ограничению доступа. Теперь этого становится недостаточно. Постепенно придется контролировать и то, что именно система запоминает.
Главный вывод
Мне кажется, GhostWriter показывает более важную вещь, чем очередную найденную уязвимость.
Он показывает, как меняется сама логика информационной безопасности.
Если раньше защищали вход в систему, то теперь придется защищать ее память.
А по мере распространения ИИ-агентов именно память может стать самым ценным элементом всей инфраструктуры.