Создание группы
Пользователи онлайн-энциклопедии стали массово публиковать бессмысленную и непроверенную информацию, сгенерированную ИИ. Об этом в середине октября 2024 г. пишет издание Techspot. «Википедия» вынуждена создать специальный проект под названием WikiProject AI Cleanup. Команда добровольцев занимается поиском, редактированием и удалением ложной информации, которую создали пользователи с помощью генеративного ИИ.
Редакторы заметили отрывки статей, которые явно были написаны чат-ботом. Подозрения подтвердились, когда сотрудники смогли воссоздать эти тексты с помощью ChatGPT. Как рассказал один из основателей команды WikiProject AI Cleanup Ильяс Леблю (Ilyas Lebleu), именно после этого и было решено организовать проект по поиску ИИ-текста.
Энтузиасты обнаружили статью о якобы османской крепости под названием «Амберлисихар», построенной в 1400 гг. В тексте объемом около 2 тыс. слов подробно описывалось местоположение и строительство этого объекта. Однако на самом деле такой крепости никогда не существовало. Как выяснила команда WikiProject AI Cleanup, некоторые пользователи также вставляют ложные ИИ-данные в уже существующие статьи. Так, в статью о жуке добавили раздел, посвященный виду крабов, причем с правильными ссылками на источники.
ИИ-мусор угрожает ухудшить удобство использования Википедии, и ее редакторы дают отпор. Группа ясно дает понять, что они не хотят запрещать ответственное использование ИИ, а стремятся искоренить случаи плохого источника, галлюцинаций или другого бесполезного ИИ-контента, который снижает общее качество хранилища информации в интернете, существующего десятилетиями.
В некоторых случаях, рассказали редакторы 404, злоупотребление ИИ очевидно. Один из явных признаков - пользователи ИТ-инструментов ИИ оставляют в статьях «Википедии» хорошо известные автоответы чат-ботов, например, абзацы, начинающиеся со слов «как языковая модель ИИ, я...» или «на момент последнего обновления моих знаний». Редакторы также говорят, что научились распознавать определенные прозаические шаблоны и «крылатые фразы», что позволило им выявлять и нейтрализовать неаккуратные тексты ИИ. Тем не менее, многие некачественные материалы, созданные ИИ, трудно заметить, особенно когда речь идет об уверенно звучащих ошибках, скрытых в сложном материале.
Редакторы «Википедии» в некоторых случаях решили понизить уровень надежности некоторых новостных сайтов, таких как Cnet, который WikiProject AI Cleanup уличили в публикации статей с ИИ-ошибками в прошлом году, как прямое следствие неправильного использования ИИ.
Учитывая, что ChatGPT невероятно дешев в массовом производстве, ограничить небрежное содержание ИИ часто бывает непросто. Добавьте к этому тот факт, что онлайн-библиотека является и всегда была краудсорсинговым, добровольным интернет-проектом, и бороться с потоком ИИ-нечистот становится гораздо сложнее.
Кибератаки ИТ-инструментами на основе ИИ
Хакеры по всему миру активно интересуются ChatGPT от американской научно-исследовательской организации OpenAI. Более 250 тыс. доступов к ChatGPT в даркнете обнаружила канадская компания Flare, работающая в сфере безопасности. На тематических хакерских форумах и в группах за полгода ChatGPT упоминается более 35 тыс. раз.
Сам по себе ИТ-инстурмент не опасен, но человек всегда напишет более точечное письмо, подчеркивает сооснователь проекта StopPhish Юрий Другач. Но когда злоумышленникам потребуется масштабировать кибератаку на большое количество организаций или пользователей, то нагрузку, связанную с человеческим ресурсом, они могут переложить на ChatGPT, поясняет он.
По информации Forbes, чат-бот может писать код на уровне начинающего программиста, поэтому с его помощью можно создавать различные вредоносные программы и сайты без каких-либо знаний в программировании. Нельзя сказать, что нейронная сеть оставит без работы хакеров, но свою основную задачу в виде автоматизации рутинных процессов и сокращение требуемого на работу времени, ChatGPT выполняет качественно. С помощью чат-ботов можно генерировать дипфейки на основе личных фотографий пользователей, чтобы потом шантажировать жертву и требовать выкуп, есть схемы и с имитацией голоса с помощью ИИ, например для звонков из службы безопасности какого-либо банка.
Хакеры уже активно используют, в том числе и в России, языковые модели как приманки в рамках мошеннических схем. Контент-аналитики из «Лаборатории Касперского» обнаружили схему, в которой злоумышленники выманивали деньги через умный чат-бот для поиска интимных фотографий в Telegram. Авторы чат-бота заявляли, что он якобы работает на основе ChatGPT и с его помощью можно искать в некой базе слитые фотографии человека, имея на руках ссылку на его профиль в социальных сетях или номер телефона. На определенном этапе человека просили заплатить 399 руб. за разовый доступ к базе или 990 руб. за безлимитный. Если жертва переводила деньги, то они уходили злоумышленникам, никаких фотографий человек, разумеется, не получал.
Несмотря на то, что участники в даркнете обмениваются способами применения ChatGPT в своих кибератаках, нейросеть может генерировать свои ответы лишь на основе тех материалов, которые в настоящее время уже есть в интернете. Иными словами, даже если злоумышленники смогут «заставить» помочь чат-бота с написанием вредоносного кода, вряд ли на данном этапе развития языковых моделей это позволит им значительно усложнить свои ИТ-атаки.
Поделиться
