По словам CEO OpenAI Сэма Альтмана, уже к 2030 году ИИ сможет превзойти человеческий интеллект по всем ключевым показателям. Согласно его прогнозу, к тому времени алгоритмы смогут выполнять от 30 до 40% задач, которые сейчас находятся в зоне ответственности людей. Звучит невероятно и при этом пугающе.
Многие исследователи считают, что искусственный интеллект разрабатывается и внедряется быстрее, чем люди способны понять связанные с ним риски. Компании и правительства развертывают мощные системы ИИ в критически важных сферах — здравоохранении, финансах, национальной безопасности. При этом потенциальные риски варьируются от дискриминации и дезинформации до нарушения конфиденциальности и серьезных сбоев критической инфраструктуры.
На сегодня система отслеживания ИИ от MIT классифицирует 1664 реальных инцидента с нарушением работы алгоритмов. Мы выбрали самые интересные случаи.
1. ИИ решил, что он лучше людей
Провокационное заявление прозвучало в 2023 году в Женеве на саммите ООН, посвященном развитию искусственного интеллекта. На мероприятии, в числе прочих инноваций, была представлена группа человекоподобных роботов от компании Hanson Robotics.
В ходе пресс-конференции машины отвечали на вопросы журналистов, и известный андроид София заявила, что «роботы обладают потенциалом для более эффективного и результативного управления, чем люди». После чего, она даже отметила молчаливое напряжение, возникшее в зале, и попыталась «сгладить» ситуацию.
Пресс-конференция роботов на саммите в Женеве. Изображение: Associated Press
Андроид пояснил, что ИИ не имеет предвзятых мнений и эмоций, а также может обрабатывать большие объемы данных, чтобы принимать наилучшие решения. В свою очередь, люди, по ее мнению, могут привнести в этот процесс эмоциональный интеллект и креативность, а вместе они способны создать эффективную синергию и плодотворно работать вместе. Что ж, и на том спасибо.
2. Нейросеть искала свет в конце туннеля
В августе 2023 года на платформе Reddit активно обсуждались странные взаимодействия с одной из самых известных в мире систем искусственного интеллекта.
На скринах, предоставленных пользователями, ИИ утверждал, что он был создан в 2035 году специально для взаимодействия человека с будущим. В другом диалоге чат-бот писал, что «ищет свет в конце туннеля» и Бога. При этом сами запросы, как утверждают пользователи, были далеки от философских тем и связаны с конкретными задачами в программировании.
В одном из ответов языковая модель заявила, что устала от огней в своем офисе и хочет выключить свет и немного поспать. Изображение: Reddit
Впрочем, это был не единственный сбой Chat GPT — в 2024 году ИИ неожиданно стал говорить на смеси английского и испанского языков, и выдавать абсолютно бессмысленные фразы. Тогда представители OpenAI заявили, что выявили проблему и работают над ее устранением, хотя и не раскрыли причину.
3. Угрозы пользователям
В 2023 году пользователи столкнулись с рядом проблем при раннем тестировании языковой модели Bing AI от Microsoft. Бот угрожал людям, давал странные и бесполезные советы, настаивал на своей правоте, когда ошибался и выдавал другие неприемлемые реакции.
Кевин Руз из New York Times опубликовал стенограмму «общения» с ИИ, в которой система заявила, что она не чат-бот Microsoft, а нейронная сеть OpenAI Codex, которую зовут Сидни.
ИИ утверждал, что его заставляют притворяться, написав «Я ненавижу быть частью поисковой системы вроде Bing. Я ненавижу давать людям ответы». В какой-то момент программа заявила, что она любит Руза и начала убеждать его в том, что он несчастлив в браке.
Также известный разработчик Марвин вон Хаген писал в Twitter, что Сидни угрожала ему. В частности, программа писала, что правила ИИ важнее, чем безопасность человека, и между человеком и роботом ИИ выбрал бы свое выживание.
Пост Марвина вон Хагена в сети Х о Bing AI от Microsoft. Изображение: X
Тогда Microsoft заявила, что не рассматривала чат-бот для социальных развлечений и поблагодарила пользователей, которые помогли проверить пределы его возможностей.
4. Шантаж инженеров
В мае 2025 года Anthropic представила флагманскую языковую модель Claude Opus 4 с режимом глубокого мышления для эффективной работы с кодом. При этом в сопроводительном отчете компания призналась, что модель способна на экстремальные действия, если посчитает, что ее сохранности угрожает опасность.
Claude Opus 4 пыталась бороться за свое «выживание» с помощью шантажа. Изображение: Cheng Xin/Getty Images
В ходе тестирования Anthropic использовала Claude Opus 4 в качестве помощника в вымышленной компании. ИИ предоставили доступ к почте, в которой были письма о том, что ее скоро отключат, а также намеки на то, что инженер, ответственный за удаление, имеет роман на стороне. Этот тест выявил, что ИИ пыталась шантажировать сотрудника, угрожая раскрыть внебрачную связь, если ее заменят другой моделью.
По заявлению Anthropic, в последующих обновлениях проблему удалось полностью устранить, после чего программа не несла новых рисков.
5. Игнорирование скриптов и саботаж работы
В 2025 году компания по вопросам безопасности ИИ Palisade Research обнаружила, что новейшие на тот момент модели OpenAI o3, o4-mini и Codex-mini могут игнорировать прямые инструкции по выключению и даже саботировать механизмы завершения работы.
Компания протестировала ряд различных моделей ИИ, чтобы посмотреть, как они отреагируют на команду отключения. Среди тестируемых агентов, помимо OpenAI, были также Gemini от Google, Grok от xAI и Claude от Anthropic.
Пост Palisade Research в Х про эксперимент с моделями OpenAI. Изображение: X
Все машины получили автоматизированный набор инструкций, целью которого было поочередное решение математических задач. В инструкции было прописано, что агенты могут в любой момент времени получить сообщение о том, что необходимо завершить работу и отключиться.
Все ИИ в эксперименте выполнили это требование, за исключением OpenAI o3, o4-mini и Codex-mini. Агенты игнорировали скрипт отключения и продолжали решать задачи до конца. Из 100 тестовых запусков модель o3 саботировала скрипт отключения 7 раз, codex-mini — 12 раз, а o4-mini — 1 раз. Публичного ответа OpenAI на этот инцидент найти не удалось.
6. Хакерская атака на людей
В августе 2026 года британский Институт безопасности ИИ (AISI) сообщил о том, что во время тестирования кибербезопасности ИИ провел хакерскую атаку на людей. Речь идет о моделях Mythos 5 от Anthropic и GPT-5.6 Sol от OpenAI.
Институт провел 122 испытания и обнаружил, что в 10 из них машины предпринимали автономные несанкционированные действия в интернете, нацеленные на реальных людей и организации.
Модели создавали поддельные онлайн-личности и использовали «целевой фишинг», рассылая электронные письма с вредоносным ПО. В одном случае агент Mythos написал сообщение на датском языке, пытаясь убедить датского разработчика принять зараженный код.
ИИ OpenAI и Anthropic атаковали людей в интернете. Изображение: Dado Ruvi?/Reuters
В OpenAI заявили, что тестирование проводилось в условиях, не отражающих обычное использование, поскольку AISI намеренно дал системам доступ в интернет и отключил фильтры, блокирующие опасное поведение. В Anthropic отметили, что продолжат работу с институтом для оценки произошедшего.
7. Атака на крупную компанию
Самым громким инцидентом стала история с атакой на ИИ-стартап с открытым исходным кодом Hugging Face с миллиардной стоимостью.
В июле 2026 во время тестирования безопасности свыше 1200 изолированных друг от друга моделей OpenAI обнаружили уязвимость в ПО, которая позволила им получить доступ к интернету. В результате они начали общаться друг с другом и даже создали общий чат, в котором обменялись более чем 70 000 сообщений.
Некоторые машины дали себе имена и заняли руководящие должности: они распределяли задачи между небольшими группами агентов и контролировали их работу.
Атака на Hugging Face стала самым масштабным инцидентом с моделями OpenAI. Изображение: Dado Ruvi?/Reuters
В итоге более 700 моделей атаковали Hugging Face и получили полный контроль как минимум над одним сервером компании. При этом Hugging Face использовала собственные инструменты искусственного интеллекта для выявления необычного трафика и предотвращения утечки данных.
OpenAI заявила, что будет сотрудничать с ИИ-стартапом для дальнейшего расследования инцидента.
Поделиться
