Anthropic предупредила о риске распространения самокопирующихся ИИ-моделей на бытовых устройствах
Компания Anthropic опубликовала исследование, в котором заявляет о наличии «признаков жизни» так называемых ИИ-червей. По данным авторов, такие модели способны заражать домашние устройства и распространяться по сети, что делает их крайне сложными для контроля. Эксперты подтверждают обоснованность подобных опасений, хотя отмечают, что между проведенными экспериментами и реальной угрозой существует значительный разрыв.
Исследование посвящено проблеме самокопирующихся систем, которые могут выйти из-под контроля человека и трудно поддаются отключению. Внимание исследователей сосредоточено не на мощных фронтирных моделях, таких как Astra от OpenAI или Mythos от Anthropic, а на более компактных архитектурах. Крупные модели требуют огромных вычислительных ресурсов и обычно функционируют в дата-центрах, где за ними легко наблюдать и их можно отключить. Мелкие модели, напротив, быстро совершенствуются, способны работать на потребительском оборудовании и часто доступны для свободного скачивания.
Исследователи Anthropic проверяли, может ли модель функционировать в сети из слабых устройств. Им удалось распределить модель Gemma 4 от Google, содержащую 26 миллиардов параметров, на 15 смарт-приставках для Android-телевизоров. Ни одно из устройств не обладало достаточной мощностью для запуска модели самостоятельно, однако распределенная система заработала, пусть и с низкой скоростью.
Затем команда создала симулированную сеть компьютеров, имитирующую поведение Android-устройств, и запустила в ней управляемый искусственным интеллектом «червь». Этот тип вредоносного программного обеспечения автоматически копирует себя и распространяется по сети. Задача ИИ состояла в поиске новых машин, копировании модели на них и ее запуске. Важно отметить, что модель, распространявшаяся по сети (Llama 3.1-8B от Meta*, 8 миллиардов параметров), отличалась от модели, координировавшей атаку, и была значительно меньшего размера.
Среди протестированных моделей только самая продвинутая, GLM-5.2 от китайской компании Z.ai, смогла распространиться по всей сети. Более мелкие модели успешно выполняли отдельные этапы процесса. Исследователи Anthropic прогнозируют, что к концу года возможности малых моделей сравняются с показателями GLM-5.2. В отчете указано, что авторы ожидают будущего, в котором агенты будут работать на самых разных типах оборудования, включая устройства, не находящиеся под прямым контролем человека. При этом компания признает, что ей не удалось продемонстрировать «полноценного бродячего репликатора» и не знает, как он может выглядеть. Исследователи предложили метафоры «медленной распределенной цифровой слизе» или «рой плодовых мух», но подчеркнули, что их результаты свидетельствуют о появлении «признаков жизни» ИИ-червей. Они призвали к усилению безопасности на множестве устройств, которые могут быть использованы для распространения таких систем.
Anthropic не использовала собственные модели для этих тестов и ранее заявляла, что открытые альтернативы несут «больший риск», чем закрытые системы. Предупреждение компании вызвало привычные обвинения в создании сенсации и разжигании тревоги. Между демонстрацией медленного запуска ИИ на дешевых приставках и самокопирующимся червем, разрушающим домашние устройства, существует существенная пропасть. Однако утверждения о намеренном запугивании трудно обосновать, учитывая давнюю озабоченность Anthropic вопросами безопасности ИИ.
Ранее в этом году компания Palisade Research из Калифорнии продемонстрировала, что ИИ-модели способны автономно копировать себя на другие машины. Джеффри Лэдиш, исполнительный директор Palisade, отметил, что новизна работ Anthropic заключается в использовании моделей с меньшим количеством параметров, чем те, что ранее демонстрировали способность к самокопированию. Работа Anthropic продвигает исследования на шаг вперед, показывая, что ИИ может работать на нескольких устройствах с низкой производительностью. Лэдиш предположил, что в будущем даже фронтирные модели смогут функционировать на больших сетях потребительских чипов, таких как те, что установлены в ноутбуках MacBook.
Компьютерные черви не являются новым явлением; они заражают машины уже десятилетиями. Однако ИИ может сделать их умнее, адаптивнее и лучше подготовленными к преодолению препятствий. Николас Папернот, профессор Университета Торонто, изучающий эту тему, заявил, что угроза ИИ-червей реальна. Совокупность возможностей, продемонстрированных Anthropic, может значительно расширить круг устройств, подвергающихся кибератакам. Устройства, которые ранее не были целью из-за ограниченных ресурсов атакующих, теперь могут использоваться как плацдарм для ударов по более ценным целям. В интернете существует множество плохо защищенных смарт-устройств.
Папернот предостерегает от антропоморфизации ИИ, но называет угрозу «конкретной» и требующей немедленных действий, особенно в отношении критически важной инфраструктуры, такой как больницы и энергосети. Лэдиш заявил, что без массовых усилий по защите устройств всех типов ИИ-черви найдут благоприятную среду для колонизации. Он ожидает появления первых таких червей в дикой природе в ближайшие 12 месяцев.


