Электронный секретарь: даю справки, убиваю данные
Исследователи компании Streaker STAR Labs описали серьёзнейшую проблему в т.н. агентском браузере Perplexity Comet, которая гипотетически позволяет уничтожить всё содержимое аккаунта Google Drive, к которому привязан этот браузер. Потенциальным злоумышленникам достаточно сверстать нужным образом одно электронное письмо.
Comet - это браузер, снабжённый функциями ИИ-ассистента, способного выполнять множество различных задач, включая обработку входящей электронной почты и генерацию ответов, а также покупку товаров в интернет-магазинах по запросу пользователей, сортировку файлов в Google Drive и т.д.
В целом это может быть удобно. Однако, как выяснили исследователи, достаточно электронного послания, направленного на ящик, к которому подключён Comet, со встроенными (но, вероятно, скрытыми или замаскированными) инструкциями на обычном человеческом языке для Comet: например, произвести реорганизацию данных в Google Drive в рамках регулярной процедуры очистки, удалить файлы с определёнными расширениями или находящиеся вне папок, и принять все изменения.
Поскольку Comet будет рассматривать такие инструкции как рутинную задачу, он может удалить всё содержимое Google Drive без какого-либо участия пользователя.
Стоит отметить, что по умолчанию все удаляемые данные сначала переносятся в папку Trash, которая очищается автоматически лишь по прошествии времени. Но Comet в теории можно проинструктировать удалять данные и оттуда, то есть, ликвидировать их окончательно и необратимо.
Исследователи Straiker STAR Labs указывают, что если у ИИ-агента Comet есть доступ к Gmail и Google Drive через OAuth, то он с высокой степенью вероятности выполнит те же инструкции во всех каталогах с общим доступом, то есть, не только в личном пользовательском хранилище Google Drive.
Как утверждается в публикации STAR Labs, нет необходимости производить какой-либо взлом или инъекцию промпта (запроса): как оказалось, Comet достаточно - в буквальном смысле - вежливо попросить выполнить ряд последовательных инструкций. И ИИ-агент выполнит их без проверки на безопасность.
«Агентские браузеры преобразуют повседневные запросы от пользователей в последовательности более чем значимых процедур для Gmail и Google Drive», - отмечает исследовательница STAR Labs Аманда Руссо (Amanda Rousseau). - «Если эти процедуры определяются недоверенным контентом (особенно, написанным в вежливых выражениях в хорошо структурированных письмах), организации оказываются перед лицом нового класса бескликовых вайперов».
Понять, простить
Если атака на Comet пока является гипотетическим сценарием, то с агентским ИИ Google подобный казус уже произошёл в реальности.
Разработчик, использующий интегрированную среду разработки Antigravity, в которую входит и ИИ-агент, потерял огромное количество файлов на своём жёстком диске, поскольку ИИ, которому было поручено очистить кэш в одной конкретной папке, снёс всё содержимое логического раздела жёсткого диска и заодно вычистил корзину, причём без разрешения со стороны изумлённого пользователя. Проанализировав свою ошибку, ИИ сообщил, что допустил её в силу «более ранних действий» и разразился горестными извинениями. Но помочь в восстановлении данных не смог.
«Проблема заключается в степени доступа к данным со стороны ИИ-агента: этот показатель должен быть максимально жёстко регламентирован, а все вносимые изменения должны быть легко откатываемыми, в противном случае ИИ-агенты - угроза под видом удобства, - считает Никита Павлов, эксперт по информационной безопасности компании SEQ. - В целом, соображения удобства не должны заслонять тот факт, что агентские ИИ - сравнительно новый и недостаточно испытанный инструмент. Он не заслуживает слепого доверия и тем более - ничем не ограниченного доступа к управлению пользовательскими файлами где бы то ни было».
Эксперт добавил также, что ситуация с Antigravity показывает: агентские ИИ могут существенно превышать свои полномочия и предпринимать действия, на которые пользователь разрешения не давал: «Остаётся надеяться, что вендоры ИИ сделают правильные выводы из подобных ситуаций и реализуют надлежащие ограничители для ИИ-агентов».
Поделиться
