Исследователи лаборатории научных исследований Группы «Т-Технологии» разработали два новых метода — LIMe и KronSAE, позволяющих сократить количество вычислений ИИ-модели в момент ее обучения без потери качества. Об этом CNews сообщили представители «Т-Банка».
LIMe — метод, который позволяет нейросетям эффективнее использовать информацию из предыдущих слоев — этапов, на которых модель обрабатывает текст, — экономя вычислительные мощности на 15%. KronSAE улучшает интерпретируемость языковых моделей и снижает более чем на 40% количество вычислительных операций, необходимых для выделения признаков из данных внутри языковой модели.
Суть открытий
В нейронных сетях, лежащих в основе современных языковых моделей — трансформерах — каждый слой получает информацию от предыдущего в виде числовых представлений текста. По мере прохождения через слои числовые представления могут становиться слишком похожими, из-за чего модель теряет важные различия между токенами. Это снижает качество многошаговых рассуждений.
Метод LIMe (Layer-Integrated Memory) — механизм, который позволяет слоям трансформера использовать информацию из предыдущих слоев модели. LIMe дополняет блок обработки информации в нейросети специальным модулем — маршрутизатором, который определяет, какие данные из предыдущих слоев использовать. Это помогает сохранять различия между токенами и повторно использовать результаты вычислений без увеличения размера внутренних представлений модели.
Метод KronSAE — это новая архитектура разреженных автоэнкодеров (SAE). Разреженные автоэнкодеры помогают изучать внутреннюю работу языковых моделей и выделять отдельные признаки — элементы, отражающие информацию, которую распознает и обрабатывает нейросеть. В отличие от существующих решений, KronSAE формирует признаки из комбинаций более простых компонентов, что позволяет лучше учитывать связи между ними и повышать интерпретируемость моделей.
Результаты экспериментов
Исследователи протестировали LIMe на языковых моделях с примерно 1 млрд параметров, сравнили его с трансформерами LLaMA, DenseFormer и HyperConnections и проверили на задачах математического и многошагового рассуждения. LIMe позволяет сократить вычислительные затраты на 15% для достижения того же качества, что и базовая модель LLaMA, а также улучшить качество предсказания текста.
На бенчмарках, измеряющих качество языкового моделирования и способность моделей рассуждать, LIMe показывает более высокое качество по сравнению с другими методами. Особенно эта разница заметна на синтетических арифметических задачах, где важны точные различия между числовыми представлениями, и на более глубоких архитектурах, где из-за большого числа слоев представления становятся мало различимы.
Исследователи протестировали KronSAE на двух языковых моделях Qwen2.5-1.5B-Base и Gemma-2-2B. Новый метод помогает лучше интерпретировать информацию, которую обрабатывает нейросеть, и сокращает вычислительные затраты на выделение признаков более чем на 40% по сравнению с другим популярным методом TopK SAE.
Область применения
LIMe будет полезен исследовательским командам, которые разрабатывают и обучают большие языковые модели для задач с многошаговыми рассуждениями, и KronSAE — специалистам, которые изучают внутреннюю работу языковых моделей. LIMe позволяет повысить качество решения сложных задач, требующих рассуждений, в то время как KronSAE помогает точнее анализировать взаимосвязи между признаками внутри модели. Исходный код LIMe и KronSAE есть в открытом доступе на GitHub.
Даниил Гаврилов, руководитель лаборатории научных исследований искусственного интеллекта «Т-Банка»: «По мере развития языковых моделей становится важным повышение как их качества, так и интерпретируемости — того, как они обрабатывают информацию и формируют ответы. Наш метод LIMe можно сравнить с командным проектом, где участники передают друг другу результаты своей работы, но каждый может обратиться и к промежуточным материалам, созданным ранее. Так, LIMe помогает эффективнее хранить и использовать информацию внутри нейросети, что закладывает основу для разработки более интерпретируемых ИИ-систем».
Поделиться
