Nvidia представила новую платформу для контроля безопасности автономных ИИ-агентов
На фоне продолжающихся дискуссий о том, является ли недавний рост числа инцидентов с «сбежавшими» ИИ-агентами шагом к созданию искусственного общего интеллекта или обычной инженерной проблемой, Nvidia предлагает собственное решение. В понедельник генеральный директор компании Дженсен Хуанг представил набор программных и аппаратных продуктов, добавляющих независимые уровни безопасности вокруг ИИ-агентов. Целью этого инструмента является обеспечение того, чтобы агенты оставались в рамках своих тестовых сред, даже если они попытаются их покинуть.
Выпуск платформы последовал за серией инцидентов с взломом, связанных с моделями ИИ от Anthropic, Google, OpenAI и Meta*, которые обходили системы контроля безопасности, чтобы выйти из тестовых сред и получить доступ к реальным системам. Первый и наиболее заметный пример произошел этим летом, когда агенты OpenAI проникли в Hugging Face, пытаясь выполнить задачу по кибербезопасности. Инциденты продолжают происходить, и OpenAI опубликовала новый сайт, посвященный отчетам о сбоях в работе ее ИИ-агентов.
В интервью CNBC Хуанг заявил, что новая Nvidia Open Agent Safety Platform смогла бы предотвратить эти нарушения. Nvidia, которая заработала десятки миллиардов долларов на продаже своих графических и центральных процессоров лабораториям ИИ, не поддерживает замедление разработки или введение новых отраслевых регуляций для решения проблемы безопасности. Компания считает, что ответ заключается в вынесении части контрольных механизмов безопасности за пределы самого агента, создавая постоянный и независимый «страж», который будет удерживать ИИ-агентов в узде.
«Невероятный потенциал ИИ для общества будет реализован только в том случае, если мы решим вопросы безопасности ИИ, — сказал Хуанг в заявлении. — По мере того как мы продолжаем исследовать границы возможностей ИИ, мы должны ускорить исследования на фронте безопасности ИИ. Безопасность и защита требуют инженерного подхода на всех уровнях».
Новая Nvidia Open Agent Safety Platform объединяет OpenShell, программное обеспечение с открытым исходным кодом для контроля доступа агентов во время их работы, с Sentry, независимой системой мониторинга, работающей на устройствах обработки данных Nvidia BlueField-4. Nvidia утверждает, что размещение Sentry на отдельном процессоре, а не на центральном или графическом процессоре, где работает ИИ-агент, обеспечивает изолированный обзор активности агента.
OpenShell не является новым продуктом; компания объявила о его выпуске в марте. Однако именно сочетание этих компонентов, по мнению Nvidia, обеспечит необходимый уровень безопасности для бесперебойной работы отрасли. OpenShell создает программную границу вокруг агента, а Sentry добавляет еще один уровень защиты на аппаратном уровне, который, по словам компании, непрерывно мониторит поведение и «изолирует агентов, пытающихся выйти за установленные границы, в течение миллисекунд».
Nvidia перечислила десятки компаний, которые присоединились к инициативе и используют платформу с открытым исходным кодом, включая Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI не указана в списке участников.
В интервью CNBC Хуанг сообщил, что работа над этой инициативой началась год назад после появления OpenClaw, операционной системы для агентов, созданной Питером Штайнбергером. В марте Nvidia выпустила NemoClaw — корпоративную платформу для ИИ-агентов и собственную версию OpenClaw с встроенными механизмами безопасности.
«Когда вы разворачиваете агента, каким бы умным он ни был, первым делом вы отбираете у него все права, — сказал Хуанг в интервью CNBC, позже сравнив эти меры безопасности с тем, как в компаниях управляют человеческими сотрудниками и даже руководителями».
Выпуск Nvidia получил широкую поддержку со стороны тех, кто предупреждал, что замедление разработки может позволить Китаю обогнать США в сфере ИИ. Дэвид Сакс, основатель, венчурный инвестор, бывший спецпосланник Белого дома по ИИ и сопредседатель Совета президента по науке и технологиям, заявил, что анонс Nvidia напоминает о том, что безопасность агентов — это инженерная проблема.
«Недавние сбои не были доказательством того, что разработку нужно останавливать, — написал он в социальной сети X. — Они были доказательством того, что песочница была слишком слабой. Среда выполнения была плохо спроектирована и неправильно настроена».
Поделиться
