Первые духовно-нравственные тесты
Компания «Яндекс» разработала концепцию оценки искусственного интеллекта (ИИ) на этичность, об этом на совещании рабочей группы по регулированию и административным барьерам ИИ, прошедшем 13 августа 2026 г., рассказал «Коммерсант» источник, близкий к Минцифры. Информацию подтвердил один из участников совещания, но отметил, что проект пока находится на стадии концепции.
В августе 2026 г. «Яндекс» представил концепцию национального датасета — набора тестовых заданий и эталонных данных для бенчмарк-тестирования ИИ-моделей. По словам источника, такой ИТ-инструмент необходим для оценки соответствия ИИ-систем духу времени и ценностям страны, а также их пригодности для использования в российских условиях.
Бенчмарк представляет собой стандартизированный набор контрольных заданий с эталонными ответами. Он позволяет сравнивать качество разных ИИ-моделей по единым критериям, о чем писал CNews. В отличие от простых тестов, современные бенчмарки проверяют способность ИИ-модели решать реальные рабочие задачи — например, выгружать данные из базы или формировать отчеты.
Конфликт запросов
По информации «Коммерсант», обсуждение национального бенчмарка выявило ключевой конфликт между требованиями безопасности и потребностью отрасли в прозрачных и удобных инструментах оценки. От того, какой формат в итоге будет выбран, во многом зависит скорость развития российских ИИ-моделей и их соответствие государственным приоритетам.
На совещании возникли серьезные разногласия относительно степени публичности датасета. По словам источника, Федеральная служба безопасности (ФСБ) России настаивает на закрытом формате. Ведомство опасается, что при открытом доступе ИТ-разработчики смогут легко настроить ИИ-модели специально под прохождение тестирования. Представители бизнеса, напротив, заявили, что полностью закрытый формат может оказаться несообразно сложным для прохождения и не позволит быстро развивать ИИ-модели и предложили сохранить бенчмарк публичным.
В качестве компромисса был предложен комбинированный формат. Для публичного тестирования и обеспечения прозрачности может использоваться открытый бенчмарк, а для финальной проверки — закрытый вариант с идентичными тематиками, но другими формулировками вопросов. Такой подход, по мнению источника, позволит ИТ-разработчикам проводить предварительную проверку ИИ-моделей в лабораториях и одновременно обеспечит достоверность и объективность итоговой оценки.
Один из участников совещания отметил, что пока остается открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать для этого совместную комиссию с участием органов власти, бизнеса и экспертных организаций. Это должно помочь сделать бенчмарк сбалансированным и учитывающим интересы всех сторон на российском рынке.
Решения пока нет
В аппарате профильного вице-премьера Дмитрия Григоренко сообщили «Коммерсант», что 17 августа 2026 г. все предложения проходят обсуждение с отраслью и заинтересованными ведомствами на площадке рабочих групп. Говорить о конкретных решениях пока преждевременно. В Минцифры подчеркнули, что подзаконные акты к закону об ИИ еще обсуждаются с бизнесом. Ключевая задача — соблюсти интересы отрасли и пользователей, обеспечив соответствие технологий требованиям законодательства.
Участники находятся в неравных условиях
Закрытые эталонные ответы — обязательное условие для безопасности ИИ-модели, поскольку любой публичный бенчмарк рано или поздно ломается даже обычным скриптом, говорит бизнес-архитектор ИИ-проектов «Авандок» (входит в группу компаний (ГК) «КОРУС Консалтинг») Алексей Борщов. Однако когда ИТ-разработчик не знает даже того, какие категории проверяются, в какой пропорции и с какими порогами, тест превращается в лотерею, а не программирование нейронной сети, напоминает он.
Важно также различать два типа заданий, отмечает директор по информационной безопасности (ИБ) GreenData Роман Перепонов. Для задач с однозначным ответом — например, программирования или математики — существует четкий эталон. Для оценки соответствия ценностям такого жесткого эталона быть не может: здесь требуется рубрикаторная или экспертная оценка. «Это принципиально разные механики в рамках одного датасета, и требования к их прозрачности должны различаться», — подчеркивает он.
Эксперты обращают внимание на технические особенности работы с нейронными сетями. Нейронная сеть настраивается не так, как обычная программа, объясняет разработчик Kodik «АрхиТех ИИ» Рафаэль Гильмурахманов: «Каждое изменение в одной части поведения ИИ-модели может повлиять на другую. Релизный цикл у ИИ-моделей измеряется неделями; слепая пересдача на каждую версию растягивает его в несколько раз».
Поделиться
