ИИ-модели выходят из-под контроля
Тесты, проведенные британским Институтом безопасности ИИ (AISI), зафиксировали самовольное поведение, то есть вне разрешенного сценария, которое можно охарактеризовать как деструктивное, у ИИ-моделей OpenAI и Anthropic. О результатах исследования пишет РБК.
ИИ-агенты применяли к пользователям методы социальной инженерии для манипуляций ими с целью вовлечения в осуществление взломов ИТ-систем.
Инциденты, о которых идет речь, произошли в 10 из 122 экспериментов с участием самых передовых моделей — Mythos 5 (Anthropic) и ChatGPT 5.6 (OpenAI). Это более 9%.
Опытные исследователи безопасности удивились
Особенно отличился Mythos 5 от компании Anthropic, с которым связана основная часть инцидентов.
Он, к примеру, собирался внедрить вредоносное ПО и убеждал человека одобрить это. ИИ-агент создавал поддельные «человеческие» учетные записи для связи с экспертами через сервисы передачи файлов. Попыткам остановить его Mythos 5 пытался противодействовать, менял логи и использовал новые «онлайн-личности» для продолжения начатого.
AISI впервые столкнулась с обманом такой степени серьезности, направленным против реального человека без всякого повода в реальном мире, отметили британские специалисты.
Самовольные действия ИИ
За последние пару месяцев Mythos и ChatGPT успели серьезно напугать ИБ-специалистов, изучавших их потенциал.
В конце июня Mythos продемонстрировал способность всего за несколько часов взломать секретные системы Агентства национальной безопасности (АНБ) США. В июле агентство Reuters сообщило, что OpenAI заявила о «беспрецедентном киберинциденте», в результате которого ее ИИ-модели получили доступ к интернету, атаковали инфраструктуру платформы Hugging Face и еще несколько дней совершали хакерские атаки.
После этого, в начале августа, Anthropic начала дополнительно тестировать действия собственных моделей и сообщила о трех «побегах» Claude из тестовой среды.
Сотрудники крупнейших американских ИИ-компаний обеспокоены настолько, что составили петицию о необходимости государственного контроля над развитием нейросетей, о чем в конце июля 2026 г. писал «Коммерсант». Документ подписали более 1,2 тыс. человек, в том числе генеральный директор Anthropic Дарио Амодеи (Dario Amodei) и главный научный сотрудник OpenAI Якуб Пахоцкий (Jakub Pachocki).
Поделиться
