Лаборатория научных исследований «Т-Технологий» разработала два новых метода F-GRPO и ESSA, которые повышают эффективность дообучения языковых моделей с подкреплением. Об этом CNews сообщили представители «Т-Банка».
F-GRPO сохраняет разнообразие правильных решений и позволяет генерировать в четыре раза меньше ответов без потери качества. ESSA дообучает модель без ресурсоемких вычислений градиентов и работает почти в 8 раз быстрее стандартных подходов.
Ключевой этап обучения современных языковых моделей — выравнивание с помощью обучения с подкреплением: модель получает оценку своих ответов и учится чаще выдавать более удачные.
Исследования предлагают два разных способа улучшить этот этап.
В задачах, где корректность ответа можно проверить автоматически, например в математике или программировании, стандартно используют обучение с подкреплением с проверяемыми наградами (Reinforcement Learning with Verifiable Rewards). Однако при таком подходе модель повышает вероятность тех правильных способов решения, которые попали в текущую выборку ответов. Другие правильные стратегии, которые модель способна генерировать, но которые не попали в выборку, могут становиться менее вероятными и со временем встречаться еще реже.
Исследователи предложили F-GRPO (Focal weighting for Group-Relative Policy Optimization) — подход к дообучению языковых моделей, который слабее меняет параметры в процессе обучения на простых задачах, где модель уже часто дает правильные ответы. За счет этого обучение меньше усиливает наиболее распространенные решения и чаще сохраняет редкие, но правильные способы ответа. Подход не требует увеличивать число генерируемых ответов на запрос и не добавляет затраты на дополнительные генерации.
Вторая работа предлагает другой путь. Стандартные алгоритмы PPO и GRPO, в том числе с модификацией F-GRPO, обновляют веса модели с помощью градиентной оптимизации (метод обучения, который пересчитывает параметры модели на основе ошибки), но такой подход требует много вычислений и постоянной синхронизации градиентов между видеокартами.
Исследователи предложили ESSA (Evolutionary Strategies for Scalable Alignment) — метод дообучения языковых моделей без вычисления градиентов. На каждом шаге метод создает множество слегка различающихся версий модели, каждая из них решает задачи и получает оценку, а следующее поколение версий строится на основе лучших. Так работают эволюционные алгоритмы. Изменяется при этом лишь небольшой набор параметров LoRA-адаптеров. Метод работает со сжатыми (квантизованными) моделями, вплоть до размещения модели на 72 млрд параметров на одной видеокарте, и почти не требует обмена данными между видеокартами, поэтому ему нужно меньше вычислительных ресурсов.
Результаты экспериментов
F-GRPO проверяли с тремя методами обучения с подкреплением на четырех языковых моделях разного размера. На математических и логических бенчмарках, а также задачах, отличающихся от использованных при обучении, метод улучшил pass@256 — метрику вероятности, с которой модель найдет хотя бы один правильный ответ среди 256 сгенерированных. Например, для Qwen2.5-7B с алгоритмом GRPO pass@256 на математике выросла с 64,1 до 70,3% без дополнительных затрат на обучение.
Отдельное сравнение показало, что F-GRPO позволяет сохранить высокое качество при меньшем числе генераций: на Qwen2.5-7B метод с 8 ответами показал качество выше, чем GRPO при 32 ответах на математических задачах и задачах из других областей (вне обучающей выборки).
ESSA сравнивали с четырьмя методами выравнивания на базе LoRA на четырех группах задач на моделях от 7 до 72 млрд параметров. ESSA показал более высокое или сопоставимое качество по сравнению со стандартным алгоритмом GRPO, примененным к LoRA-адаптерам, на бенчмарках IFEval (следование инструкциям), HelpSteer2 и HH-RLHF (адаптация ответов под предпочтения пользователя), GSM8K и MATH500 (математическое рассуждение). На математических задачах ESSA сравнялась с GRPO, обучающим всю модель целиком, хотя настраивает примерно в миллион раз меньше параметров.
В эксперименте по тому, как меняется скорость дообучения при увеличении числа графических процессоров, для сравнения использовали Qwen2.5-32B и измеряли время достижения точности 83,5% на математическом тесте. При запуске на 128 GPU ESSA достигала заданного качества для Qwen2.5-32B/PRM800K в 7,8 раза быстрее, чем GRPO. ESSA также превзошла методы Online DPO и PPO на бенчмарке GSM8K и показала сопоставимое с ними качество на IFEval.
Область применения
Методы будут полезны ML-командам, которые адаптируют большие языковые модели под прикладные математические задачи, генерацию кода или выполнение инструкций. F-GRPO помогает сохранять редкие правильные способы решения без увеличения числа генераций на запрос и может применяться поверх распространенных методов дообучения — GRPO, DAPO и CISPO.
ESSA снижает требования к памяти, поскольку работает со сжатыми моделями, а за счет минимального обмена данными между видеокартами ее преимущество в скорости растет с размером кластера: от примерно двукратного на 16 видеокартах до 7,8-кратного на 128.
Борис Шапошников, руководитель направления адаптации поведения языковых моделей лаборатории фундаментальных научных исследований искусственного интеллекта: «Обучение с подкреплением стало одним из главных инструментов улучшения рассуждающих моделей, но у него есть ограничение — оно склонно закреплять то, что модель уже умеет, тем самым сужая разнообразие корректных потенциальных ответов. Метод F-GRPO призван ослаблять обучение на задачах, которые модель уже уверенно решает, и не давать редким, но правильным вытесняться. Наш метод очень легко встраивается в существующие пайплайны и не требует дополнительных вычислений. В ходе второго исследования мы пришли к выводу, что для выравнивания модели не обязательно вычислять градиенты. Мы применили эволюционные алгоритмы к большим языковым моделям и верим, что такие методы могут стать реальной альтернативой классическим. Видеокарты в них почти не обмениваются данными, поэтому обучение хорошо масштабируется на большие кластеры».
Поделиться
