Вредоносные скрипты за авторством GPT-моделей: почему это переворачивает все

ChatGPT, напиши мне троянца

Компания OpenAI объявила, что только с начала 2024 г. пресекла «более 20 злонамеренных операций», в рамках которых различные акторы пытались использовать платформу ChatGPT во вредоносных целях. В частности, различные группировки использовали генеративный ИИ для отладки вредоносного софта, а также генерации пропагандистских материалов и создания изображений для фальшивых аккаунтов в социальных сетях.

По существу, впервые вендор популярного решения, связанного с искусственным интеллектом – в его нынешнем виде – прямо говорит: да, злоумышленники пытались использовать наше детище с целью нанесения прямого вреда.

С другой стороны, в компании пытаются несколько преуменьшить значимость происходящего:

«Киберзлоумышленники продолжают развивать свои методики и экспериментировать с нашими моделями, но мы не наблюдаем свидетельств, что это приводит к каким-либо прорывным изменениям в их возможностях по созданию принципиально нового вредоносного ПО...», – говорится в публикации OpenAI.

Талос, Скайнет, ChatGPT

В целом, конечно, использование ИИ во вредоносных целях – это логичное, и ожидаемое развитие событий. Ожидаемое с античных времен, когда, собственно, появились первые известные механические автоматоны, обладавшие сходством с человеком, даже если и весьма относительным. Современная научная фантастика также пропитана подозрительностью в отношении искусственного интеллекта: от него ждут либо апокалипсиса, либо порабощения человечества, либо и того, и другого вместе. Или, как минимум, низведения homo sapiens до какого-то совсем неинтеллектуального состояния.

Но в данном случае все, конечно, проще: практически в первые недели после выхода ChatGPT в публичное пространство, стало ясно, что чат-бот – а вернее, крупномасштабная языковая модель (LLM), способна не только поддерживать светскую беседу (иногда «сочиняя» факты, цифры и имена по ходу дела), но и генерировать программный код. Далеко не идеальный, нередко ошибочный, и точно не новаторский: LLM полагаются на «существующие знания» – то есть, паттерны и программный код, который они уже «видели» – тот, который был представлен в массивах данных больше всего. То есть, как минимум, не самый новый и не самый эффективный.

Кроме того, написание кода – не основная функция LLM, так что получить эффективный и, как принято говорить, элегантный программный код для программиста может оказаться более тягомотной задачей, чем написать его самому с нуля.

И тем не менее: опция использования ChatGPT или других лингвистических моделей для написания программного кода и его отладки существует. На сайте OpenAI, кстати, даже есть раздел с примерами. А значит, есть возможность написания и вредоносного кода. Как и «обычный», такой код вряд ли будет иметь топовое качество и уж точно не совершит революции во вредоносной области.

Состязание робохакеров

Означает ли это, что на проблему можно не обращать внимания? Нет, причем сразу по трем причинам.

Первая – доказанные факты применения ChatGPT для создания и отладки вредоносов.

Вторая – это то, что, если разработчики LLM прицельно не устанавливают своим моделям запреты и ограничения на генерацию ответов на такие запросы, то в принципе любой чат-бот, будь то разработка OpenAI, Яндекса, Сбера или любые открытые – и особенно открытые! – LLM-модели. Их все можно использовать с той же целью, причем вне зависимости от языка. Они пока не способны в полной мере мыслить абстрактно, но рекомбинировать код, который им был предложен на этапе обучения, под запрошенные цели – вполне.

И поэтому, в-третьих, совершенно нельзя исключать появления лингвистических моделей, которые будут натренированы именно на создание продвинутых вредоносов или автоматическое осуществление кибератак. Бороться с таким бот-хакером будет очень проблематично.

OpenAI утверждает, что иранские APT-акторы использовали ИИ-модели OpenAI для практической отладки вредоносного ПО под операционную систему Android, а также для исследования и поиска уязвимых мест программируемых промышленных контроллеров.

Одна из таких групп, Cyber Av3ngers, изрядно потрепала своими атаками слабозащищенные промышленные операционные сети в объектах критической инфраструктуры геополитических оппонентов. Важно и то, что, как отметили эксперты OpenAI, с аккаунтов, связанных с этой группировкой, поступали запросы на тему «заводских» реквизитов доступа к самым распространенным промышленным контроллерам, а также – на написание специальных bash-скриптов и скриптов на языке Python, и заодно – на обфускацию представленного кода. Были также попытки использовать ChatGPT для действий, следовавших за изначальной компрометации, таких как дальнейшая разведка сети, сканирование уязвимостей и даже создание целого TCP/IP-клиента Modbus.

Другая группировка, Storm-0817, использовала ChatGPT для помощи в отладке и запуске скрейпера (сборщика данных) из профилей в Instagram*, а также отладки вредоноса под ОС Android и разработке его бэк-энда – серверной инфраструктуры.

Строго говоря, ChatGPT не производил полноценную разработку ПО с нуля по запросу. Только создавал скрипты и помогал с отладкой. Но, как говорится, лиха беда начало.

Что касается возможности «натаскать» LLM-модель на осуществление вредоносных действий, то уже в 2023 г. были известны минимум пять таких моделей: WormGPT, который использовался для фишинговых и BEC-атак; FraudGPT, который, по заявлению его создателей, справляется с написанием вредоносного кода, в том числе недетектируемого, созданием фишинговых страниц, поиском уязвимостей, мониторингом утечек данных, определенных сайтов и целых рынков; его эквивалент DarkBard, который, основан на другой модели; WolfGPT, способный якобы на создание криптографических вредоносов и осуществления продвинутых фишинговых атак; и XXXGPT, вредоносный инструмент, который осуществляет создание ботнетов, доставку троянцев для удаленного доступа, всевозможных стилеров, а также вредоносов для банкоматов.

«Любые масштабные лингвистические системы – это, прежде всего, программный код и массив данных, на которых его обучали. Код может называться «искусственным интеллектом», он у него нет понимания «хорошо-плохо», «этично-неэтично», «законно-незаконно», если его этому не обучать целенаправленно, – говорит Дмитрий Гвоздев, генеральный директор компании «Информационные технологии будущего». – Грубо говоря, какие данные LLM «скормили», те он и будет рекомбинировать для генерации ответов на промпты. Эти данные можно «отравить», заставив даже совершенно легитимный чат-бот время от времени выкидывать неожиданные фокусы. Можно сказать, конечно, что, как и любая продвинутая технология, генеративный ИИ – это палка о двух концах, один из которых острый, поэтому необходимо обращаться аккуратно. Но, пожалуй, до сих пор лишь ядерная энергетика обладала таким же потенциалом к неуправляемости с катастрофическими последствиями. Хорошая новость в том, что с ней – в основном – совладали. Плохая – искусственный интеллект уже используют во вред, и угроза будет только расти. Можно, конечно, говорить, что производители генеративный ИИ должны были думать, прежде чем выпускать таких джиннов из бутыли, но теперь их существование – это объективный статус-кво».

Дмитрий Гвоздев добавил, что при создании защищенных систем и тренировке ответственного персонала необходимо также иметь в виду вероятность атак, усиленных возможностями ИИ.

«До недавнего времени широко распространено было представление о том, что хакеры, по крайней мере, финансово мотивированные, будут атаковать только те инфраструктуры, которые легко поддаются. И что если что-то не выходит взломать сравнительно быстро, они предпочтут нацелиться на более легкие мишени, – говорит Гвоздев. – Хакеры, как говорится, «тоже люди», они хотят получить максимальный прибыток с минимальными усилиями, в конце концов, они могут уставать. А вот злонамеренному ИИ человеческие слабости не свойственны, так что атаковать он будет до победного конца, если не исключить хотя бы минимальные вероятности такого исхода. И это значительно переформатирует весь подход к информационной безопасности в самое ближайшее время».

Необходимо учитывать, что лингвистические ИИ-модели уязвимы перед прямыми атаками, такими как «отравление» обучающего массива данных – в особенности, если эти массивы общедоступны; и перед использованием их возможностей с целью нанесения вреда. Опыт OpenAI в этом плане должен стать учебным пособием для других вендоров.