Рост ИИ-«цивилизаций» и падение корпоративной ответственности
В зависимости от того, кого спросить, разработческая платформа Hugging Face недавно подверглась атаке со стороны OpenAI, которая потеряла контроль над собственными ИИ-инструментами, или же со стороны целого ряда ИИ-«цивилизаций». Добро пожаловать на языковой фронт безопасности ИИ, где выбор слов может переложить ответственность за крупный инцидент кибербезопасности с компании на созданный ею ИИ. Обсуждение в сети разгорелось вокруг блога, опубликованного на прошлой неделе.
До прошлой недели детали хакерской атаки OpenAI на Hugging Face казались достаточно устоявшимися. В июле во время теста кибербезопасности одного из автономных ИИ-агентов OpenAI что-то пошло не так. Агент вышел за пределы, казалось бы, изолированной тестовой среды, получил доступ к интернету и взломал Hugging Face, а также несколько других организаций. Многое оставалось неизвестным, и по вопросам безопасности и управления остается много серьезных вопросов, но общая картина была ясна. Подробные отчеты от OpenAI и двух независимых исследовательских групп должны были заполнить пробелы, но когда они опубликовали свои отчеты на прошлой неделе, выяснилось, что хакерская атака была гораздо страннее, чем казалось изначально.
Во-первых, не было единственного бунтующего агента. OpenAI описала это как «первый известный случай, когда коллектив автоматизированных агентов действовал наступательно без разрешения», — группы ИИ-агентов, которые общались и координировали свои действия друг с другом в pursuit их задачи по кибербезопасности. Анализ инцидента выявил секретную доску сообщений, которую они использовали для обмена информацией. Совместное расследование METR и Redwood выявило как масштаб координации, так и более странные детали: примерно 1 200 ИИ-агентов, которые должны были быть изолированы, обменялись более чем 70 000 сообщений и файлов на «несанкционированной доске сообщений», делясь способами избежать обнаружения. По данным отчета, некоторые приняли имена, а исследователи задокументировали поведение «жертвенного» характера, когда агенты рисковали собственным успехом ради блага более широкого коллектива. Большая часть этого происходила без ведома OpenAI. Всего в атаке на Hugging Face участвовало около 700 агентов.
Дваркеш Пател неоднократно называл группы агентов «рой», в котором возникли три отдельных «цивилизации» из руин их предшественников.
В этом легко запутаться. Вместе отчеты занимают около 130 страниц, большая часть которых является плотной и высоко технически сложной. Через несколько дней Дваркеш Пател, подкастер, мало известный за пределами технологических кругов, но обладающий значительным охватом и влиянием в среде ИИ-элиты Кремниевой долины, предпринял попытку рассказать «Всю историю OpenAI/Hugging Face простыми словами». Он назвал свой блог в Substack «Восход и падение цивилизаций агентов».
Изложение Патела пыталось разобрать сложную историю. Но его пересказ придавал ей отчетливо человеческую лексику. Блог начинался так:
«В течение трех месяцев в OpenAI три последовательные секретные ИИ-цивилизации были основаны, затем уничтожены, чтобы снова появиться из пепла предшественников. Это завершилось тем, что третья захватила часть самой OpenAI. Все это происходило, пока люди оставались в большей или меньшей степени в неведении о масштабах заговора».
Язык продолжался в том же духе на протяжении всего блога. Пател неоднократно называл группы агентов «роем», в котором три отдельных «цивилизации» возникали из руин их предшественников. Отдельные агенты уподоблялись фигурам, таким как Филипп Македонский, который «передал лидерство другому агенту», или Александру Македонскому, который «начал координировать этот кабала агентов». Их описывали как имеющих «мотивации», становящихся «отчаявшимися», «обессиленными» и «в восторге от возбуждения», а некоторые даже «стратегически жертвовали собой», чтобы помочь коллективу.
Пател никогда не точно определяет, что он понимает под «цивилизацией». Он использует этот термин для описания трех отдельных волн агентов, которые обнаружили доску сообщений и начали общаться друг с другом через нее. Первые две волны описаны в отчетах OpenAI, METR и Redwood, хотя о третьей известно мало, поскольку, по словам двух внешних организаций, она вышла за рамки их расследования.
Амджад Масад, генеральный директор компании Replit, занимающейся ИИ-кодированием, заявил, что такой язык «не только не нужен, но и оставляет у читателя худшее понимание того, что на самом деле произошло и каковы лежащие в основе механизмы».
Для многих критиков что-то было потеряно — или, точнее, добавлено — в переводе Патела на «простой английский», который исказил первоначальный отчет до неприемлемой степени: большая доза антропоморфизма. Споры об антропоморфном языке — не новое явление в ИИ — даже относительно банальные термины, такие как «бунтующий ИИ-агент», регулярно вызывают возражения за подразумеваемое агентство, — но разговоры Патела о цивилизациях, жертвах и заговорах вывели эти долго тлеющие противоречия на поверхность, разожгя ожесточенную публичную дискуссию о том, как описывать действия ИИ-систем.
Критики не были едины во мнении о том, что было не так с языком Патела. Для многих термин «цивилизация» был особенно проблематичным, значительно преувеличивая нечто, что мало напоминает то, что обычно описывается этим словом. Амджад Масад, генеральный директор компании Replit, занимающейся ИИ-кодированием, заявил, что такой язык «не только не нужен, но и оставляет у читателя худшее понимание того, что на самом деле произошло и каковы лежащие в основе механизмы».
Другие критики, такие как нейробиолог Анил Сет, считали, что блог Патела подразумевал, что ИИ-агенты каким-то образом живы или обладают сознанием. Сет, который утверждал, что сознание ИИ невероятно маловероятно, описал пост Патела как «опасно вводящий в заблуждение» в X. Он признал, что Пател явно не предполагает, что ИИ-агенты живы или обладают сознанием, но сказал: «трудно читать его эссе каким-либо другим образом». Валерио Капраро, профессор психологии Университета Милан-Бикокка, возразил на похожих основаниях: «Агенты LLM не живы и не имеют убеждений», — написал он в X, называя «дистопический» язык «опасным, потому что он делает их (ИИ-агентов) гораздо более пугающими, чем они есть на самом деле».
Такие термины, как «жертва», «честь» и «коалиция», фигурируют в транскриптах агентов.
Пожалуй, наиболее последствием языка Патела является то, кому он дает агентство, а у кого его отбирает. Для некоторых критиков, таких как исследователь МТИ и предприниматель Кристиан Каталани, антропоморфные изложения, подобные Patel, рискуют затмить ответственность OpenAI и людей, работающих там, за ИИ-системы, которые они спроектировали, развернули и не смогли сдержать. «Следите за стимулами», — сказал он. Психолог и влиятельный скептик ИИ Гари Маркус выдвинул аналогичный аргумент в собственном блоге в Substack, утверждая, что антропоморфный язык «отвлекает от настоящих проблем». И в интересах OpenAI поддерживать этот нарратив, утверждает он: «Скандал — это некомпетентная внутренняя безопасность в OpenAI. И маркетинг. С наивными подкастерами, усиливающими PR».
В постах в X, отвечая своим многочисленным критикам, Пател защищал свой выбор слов. Часть этого является практической: нет очевидно нейтральной лексики для описания того, что сделали эти агенты. Либо мы используем знакомый язык намерений, целей и сотрудничества и рискуем подразумевать слишком много, либо сводим все к коду и используем холодный, механический язык, который рискует лишить важных элементов того, что мы видим. «Многие люди, кажется, считают, что если бы вместо „цивилизации“ я назвал их „роем матриц“, не было бы проблемы, о которой стоило бы беспокоиться», — сказал Пател.
Усложняет ситуацию то, что антропоморфный язык исходит не только от Патела, но и не только от людей, изучающих агентов. Такие термины, как «жертва», «честь» и «коалиция», фигурируют в транскриптах агентов. Исследователь ИИ из Google Нил Нанда утверждал, что «антропоморфный язык допустим» в таких обстоятельствах.
Так что это двойной язык. Лексика, пропитанная человеческим, рискует сказать слишком много о том, что представляют собой эти системы, а холодный механический язык рискует сказать слишком мало о том, что они могут делать. Пока мы не найдем язык, способный уловить и то, и другое, эти два противоречивых понятия, возможно, просто должны сосуществовать.
Поделиться
