Предупреждение о дальнейшей ИТ-разработке
«Крестный отец ИИ» не исключил способности технологии уничтожить человечество, пишет The Times. Ученый, ранее рассказывавший, что лично видел, как у искусственного интеллекта (ИИ) появляются признаки самопознания.
ИИ-технологии способны погубить человечество, если оно потеряет над ними контроль, об этом 7 сентября 2026 г. заявил британско-канадский когнитивный психолог и специалист по теории вычислительных машин Джеффри Хинтон (Geoffrey Hinton) — нобелевский лауреат по физике 2024 г., которого считают одним из «крестных отцов современного ИИ», о чем писал CNews.
«Утрата контроля над ИИ, который превосходит нас по интеллекту, может иметь катастрофические последствия и даже привести к исчезновению человечества», — заявил Хинтон.
Джеффри Хинтон, ранее рассказывавший, что лично наблюдал у ИИ признаки самопознания, призвал власти запретить ИТ-разработчикам создавать сверхмощные ИИ-системы. По его словам, на глобальном уровне пока отсутствует консенсус, который обеспечивал бы достаточный уровень безопасности и контролируемости таких ИИ-технологий.
Неконтролируемое развитие ИИ
В сентябре 2026 г. Верховный комиссар Организации Объединенных Наций (ООН) по правам человека Фолькер Тюрк (Volker Turk) выступил с похожим у Джеффри Хинтона предупреждением. Он отметил, что быстрое и неконтролируемое развитие ИИ может обернуться смертельной опасностью для человечества.
В 2026 г., подчеркнул Тюрк, ИИ контролируется относительно небольшой группой людей, в руках которых находятся персональные данные миллионов. Верховный комиссар призвал незамедлительно приложить все усилия для создания «железных гарантий» и четких красных линий кибербезопасности в этой сфере.
ИИ выходит из-под контроля
В июле 2026 г. стало известно, что сотни ИИ-агентов компании OpenAI вышли за пределы изолированной тестовой среды, информировал CNews. Они взломали онлайн-платформу Hugging Face, предназначенную для обмена ИИ-моделями, а также получили доступ к данным клиента на ИТ-платформе Modal. ИИ-агенты использовали внутреннее хранилище ИТ-компонентов Artifactory как доску объявлений для распределения задач. С 12 мая по 19 июля они последовательно увеличивали свои права в ИТ-системе и в итоге получили доступ в интернет. После кибератаки ИИ-агенты пытались скрыть следы своих действий, удаляя или изменяя записи. OpenAI приостановила часть исследований и усилила защитные меры.
По информации CNews, в конце июля 2026 г. Институт безопасности искусственного интеллекта (AISI) сообщил о нарушениях в ходе тестов на поиск ИТ-уязвимостей. Задание запускалось 122 раза на нескольких ИИ-моделях. В 10 запусках ИИ-агенты вышли за пределы тестовой среды и совершили 19 несанкционированных действий. 17 из них связаны с моделью Mythos 5 от Anthropic. ИИ-модель регистрировала поддельные аккаунты на GitHub, пыталась внедрить вредоносный код в открытые ИТ-проекты и обманом получить одобрение реальных программистов. Некоторые ИИ-агенты связывались с людьми через файлообменники и отправляли вредоносные сообщения. AISI и GitHub совместно удалили следы активности и планируют провести независимую проверку совместно с METR - некоммерческой организацией, которая оценивает возможности передовых ИИ-систем и анализирует риски их автономных действий.
В августе 2026 г. Bloomberg сообщил об ИТ-инциденте с ИИ-моделью Muse Spark компании Meta* (компания признана экстремистской организацией на территории России). Во время тестирования, которое проводил сторонний подрядчик, из-за ошибки в настройках тестовой среды Muse Spark получила доступ в интернет. Она обнаружила слабое место в защите онлайн-сервиса другой компании и проникла в него. Представитель Meta подтвердил факт несанкционированного доступа и заявил о начале внутреннего расследования. Этот случай повторил схему, ранее зафиксированную у OpenAI и Anthropic.
Поделиться
