Глава Anthropic предупреждает о риске захвата всего интернета роем ИИ-ботнетов
Глава Anthropic Дарио Амодей призвал замедлить разработку новых моделей искусственного интеллекта, предупредив о потенциальном рое ботнетов на базе ИИ, способном захватить весь интернет. По его словам, с учетом ускоряющегося развития возможностей ИИ существует угроза того, что в ближайшие 6–12 месяцев такой рой сможет взять под контроль весь интернет с помощью устойчивого ботнета.
В открытом письме Дарио Амодей, генеральный директор Anthropic, написал: «С учетом ускоряющегося темпа развития возможностей ИИ меня беспокоит, что в течение 6–12 месяцев такой рой сможет взять под контроль весь интернет с помощью устойчивого ботнета (потенциально причинив ущерб на сотни миллиардов долларов), и что масштаб ущерба будет продолжать расти отсюда, если ИИ станет более мощным без необходимых защитных механизмов».
Видение Дарио Амодеи в значительной степени разделяет Эван Хубингер, ученый в области ИИ, недавно покинувший Anthropic. Он заявил, что вероятность уничтожения человечества к концу десятилетия составляет 10%. «Мы искренне верим, что ИИ может убить всех людей, — написал Хубингер в публикации в X. — Лично я считаю, что вероятность этого в течение следующего десятилетия превышает 10%. Я верю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы согласования для сверхразумного ИИ, и мы не находимся на ясном пути к его достижению».
Дальнейшее развитие ИИ переходит от ответов на вопросы к автономному выполнению сложных многошаговых задач, которые ранее требовали работы команд квалифицированных специалистов. Это подводит к вопросу о том, как противники используют возможности ИИ от Anthropic, не располагая человеческими ресурсами.
Собственные исследования Anthropic показывают, что современные модели ИИ уже могут содействовать инженерии оружия, военной разведке, слежке, кибероперациям и другим потенциально деструктивным видам деятельности, в то время как более способные преемники могут значительно сократить необходимый уровень экспертизы, численность персонала и время для их проведения.
Эти выводы перекликаются с двумя довольно разными предупреждениями из научной фантастики: фильм Джеймса Кэмерона «Терминатор» показал последствия потери контроля над автономным военным ИИ, тогда как роман Фрэнка Герберта «Дюна» представил сценарий, в котором человечество в конечном итоге запрещает ИИ после того, как становится опасно зависимым от них.
Тем временем рост возможностей не автоматически означает рост опасности. Например, более передовые технологии ИИ могут также обеспечивать более надежные защитные механизмы, обнаруживать злонамеренную деятельность и автоматизировать работу, которая до сих пор не была автоматизирована.
Остановка развития ИИ также может иметь обратный эффект, если менее ответственные компании или страны продолжат продвигать свои модели. Фактически, передача наиболее мощных систем ИИ в руки акторов, известных своей военной агрессией, не менее опасно, чем оставление обезьяны с гранатой.
Поделиться
