ГК Swordfish Security стала участником Консорциума исследований безопасности технологий искусственного интеллекта при Минцифры

ГК Swordfish Security стала участником Консорциума исследований безопасности технологий искусственного интеллекта при Минцифры. Основная цель объединения – содействие в создании защищенных технологий ИИ и совместная разработка «правил игры». Члены Консорциума занимаются формированиям проектов регуляторных требований к доверенным составляющим технологии ИИ, включая большие языковые модели и содействуют развитию компетенций в области безопасности искусственного интеллекта. Об этом CNews сообщили представители ГК Swordfish Security.

Консорциум создан по инициативе АНО «Национальный технологический центр цифровой криптографии» (АНО «НТЦ ЦК», Академии криптографии России и Института системного программирования им. В. П. Иванникова Российской академии наук (ИСП РАН) при поддержке и активном участии Минцифры России.

Безопасность больших языковых моделей, особенно в критической инфраструктуре – острый вопрос, который становится все более актуальным за последний два года.

«Мы разделяем цели и ценности Консорциума в стремлении создать безопасную и прозрачную экосистему, где технологии служат во благо общества, — сказала Альбина Аскерова, руководитель направления по взаимодействию с регуляторами ГК Swordfish Security, — Объединяя ресурсы и интеллектуальный потенциал, мы можем более эффективно выявлять и анализировать риски, разрабатывать стандарты и рекомендации, которые помогут предотвратить возможные негативные последствия. Совместная работа экспертов, ученых и организаций, работающих в этой области, позволяет обмениваться знаниями и опытом, разрабатывать комплексные решения для повышения безопасности и этичности технологий».

Развитие ИИ-технологий оптимизирует многие бизнес-процессы, однако недооценка рисков в безопасности LLM может принести серьезные проблемы. В числе потенциальных угроз в больших языковых моделях инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками. Для бизнеса, который не учел эти риски, отсутствие экспертизы в LLM security может привести к серьезным потерям.

«Мы уже видим большой объем внедрения ИИ в различных отраслях бизнеса в России, по разным оценкам он покрывается не менее 40% компаний. В бизнесе используют большие модели для распознавания текста, анализа данных, предиктивной аналитики, поиска, оценки ресурса механических узлов промышленных агрегатов и многого другого. ИИ пишет код, который программисты используют для разработки ПО. Участие профессионалов кибербезопасности в Консорциуме даст возможность совместно разрабатывать регуляторные требования к составляющим моделей разных модальностей, создавать доверенные фреймворки для обучения искусственного интеллекта, проводить динамические инструментальные проверки на полигоне Консорциума больших моделей, с акцентом на кибребезопасность», — сказал Андрей Иванов, директор по развитию бизнеса ГК Swordfish Security.

«Основная цель Консорциума — синергия усилий ИТ-бизнеса и науки в обеспечении безопасности российских разработок и защите критической инфраструктуры от киберугроз. Искусственный интеллект — самая быстроразвивающаяся сфера, которая стремительно входит в повседневные бизнес-процессы, в ближайшие несколько лет он серьезно изменит нашу повседневность. Но ИИ должен служить человеку, а не наоборот, поэтому важно объединить ведущих российских экспертов отрасли для определения правил игры на этом рынке», — сказал генеральный директор АНО «НТЦ ЦК» Игорь Качалин.

ГК Swordfish Security занимается консалтингом и построением центров компетенций в области DevSecOps. По подсчетам экспертов компании, в 2024 г. за услугой LLM Security обратилось 35% от всех клиентов ИБ-компании.