Кого слушаться
Браузеры со встроенными модулями искусственного интеллекта при некорректном использовании могут представлять угрозу финансовому благополучию юзеров, - предупреждает фирма MalwareBytes.
«Крупномасштабные лингвистические модели (LLM), подобные тем, что составляют основу ИИ-чатботов ChatGPT, Claude и Gemini, настроены таким образом, чтобы следовать «промптам» - инструкциям и вопросам, поступающим от людей, когда те ищут информацию или нуждаются в помощи с какой-либо темой. В случае чатботов, в качестве промптов выступают ваши вопросы. Проблема в том, что ИИ-модели не слишком успешны в различении типов команд, предназначенных только им... и пользовательских запросов», - говорится в публикации ИБ-фирмы.
Разработчики браузера Brave, в который встроен собственный ИИ-помощник Leo, недавно решили проверить, насколько легко или сложно будет заставить ИИ считыватья опасные промпты, представляющие угрозу для пользователей. Результаты нельзя назвать обнадеживающими.
«По мере того, как пользователи привыкают полагаться на ИИ-браузеры и доверять им чувствительные данные для использования на банковских, медицинских сайтов и других критически важных онлайн-площадках, растут и риски. Что будет, если модель начнет «галлюцинировать» и начнет совершать действия, о которых вы не просили? Или, хуже, что случится, если невинный с виду сайт или комментарий, оставленный в социальных медиа, окажется в состоянии своровать ваши реквизиты доступа или другие сведения за счет невидимых [человеку] инструкций ИИ-помощнику», - пишут разработчики Brave.
Инъекция промпта - это широко обсуждаемая и вполне реализуемая на практике методика, которая позволяет сподвигнуть ИИ на совершение «внеплановых» действий с помощью замаскированных инструкций, которые человек разглядеть не сможет, зато ИИ будет воспринимать как промпт или управляющую команду.
ИИ-браузер будет рассматривать весь контент сайта как вводимые данные, и в теории вредоносный промпт можно распределить по разным страницам, сделав совершенно неочевидным или даже невидимым для людей.
Самый простой способ - разместить текст со шрифтом того же цвета, что и у фона страницы.
И буквально на днях была продемонстрирована теоретическая пока что атака с промптами, внедренными в изображение: как правило, размеры и качество изображения при обработке ИИ снижаются, что приводит к снижению цветности. А это, в свою очередь, может делать различимым скрытый текст, и машина может рассматривать его как промпт.
Не доверяйте машинам больше, чем надо
В публикации MalwareBytes указывается также на распространение т.н. «агентских» браузеров, еще более продвинутых и самостоятельных: они не просто выводят данные сайтов на экран, но и способны совершать целый ряд активных действий по инструкциям пользователя-человека: вплоть до совершения покупок онлайн от лица последнего, заказа билетов, бронирования гостиниц и т.д.
Например, такой браузер можно проинструктировать найти и заказать самые дешевые авиабилеты на международный перелет, и он произведет все необходимые действия, от сравнения расценок до оформления именных документов. Все то, что раньше делалось вручную.
Однако тут у потенциальных злоумышленников открывается широчайшее поле для деятельности, так что поймав ИИ-помощника на нужный промпт, те, в конечном счете, могут обчистить банковский счет пользователя.
Например, если ИИ ищет самые дешевые билеты, можно заманить его на мнимый сайт, где все будет якобы за полцены, но по страницам раскиданы вредоносные инструкции.
К тому же, ИИ - это программный код, в котором уязвимости столь же вероятны, как и в любом другом. Исследователи Brave нашли целый ворох «багов» в ИИ-модели Perplexity Comet, открывающий возможности для косвенной инъекции промптов. Просто потому, что ИИ не может отличить инструкции, поданные пользователем, от обрабатываемого в процесс выполнения задач контента.
Полностью исправить ситуацию Perplexity пока не удалось.
Эксперты рекомендуют относиться к «агентским» ИИ-браузерам с минимальной доверчивостью.
«Застраховаться от описываемых в блоге MalwareBytes сценариев, на самом деле, сравнительно несложно: во-первых, не стоит в принципе предоставлять ИИ возможность управлять вашими финансами, и в принципе предоставлять доступ к персональным данным сверх необходимого минимума», - считает Никита Павлов, эксперт по информационной безопасности компании SEQ. «Что же касается непосредственно инъекций промптов, то фактически на каждый метод такой атаки находится способ противодействия - например, если ИИ «видит» совпадение цвета фона и текста, то такой текст игнорируется, и т.д».
В MalwareBytes рекомендуют также ограничить автоматическое взаимодействие ИИ-браузеров с незнакомыми веб-сайтами и перепроверять сетевые площадки на предмет подделок, использовать эффективные средства аутентификации и мониторинга и сообщать разработчикам браузеров о любых неожиданных действиях со стороны программы.
Поделиться
