BSS добавила поддержку LoRA (Low-Rank Adaptation) в инструмент для обучения моделей NLU Suite. Теперь можно обучать языковые модели под локальные задачи быстрее, дешевле и даже при сильно ограниченных мощностях. Об этом CNews сообщили представители BSS.
Вместо полного переобучения модели LoRA позволяет добавить к ней «блок» под нужды клиента. В итоге обучается не исходная модель, а небольшие матрицы, которые на нее накладываются. Это позволяет создать LLM-эксперта в заданной области гораздо быстрее, чем при традиционном тюнинге.
Для запуска достаточно обеспечить сервер и данные для обучения. Обучающие корпуса можно подготовить с нуля в NLU Suite с помощью любой мощной модели – например, GPT-5. Параметры дообучения можно выставить по умолчанию или настроить в процессе работы. Так можно настраивать как полные модели, так и квантизированные (сжатые) модели.
Качество ответов после дообучения в среднем растет на 15%. При этом обученные компактные модели с меньшей памятью (1 млрд параметров) обгоняют необученные большие (27–30 млрд) на целевых запросах. А разница в качестве обученных компактных (1 млрд) и обученных средних (9 млрд) моделей составляет лишь 5–10%. Это значит, что даже при ограниченных ресурсах можно получить эффективную специализированную модель.
Обновление затрагивает и пользовательский опыт: упростилась загрузка обучающих и тестовых датасетов, обновился интерфейс для сравнения результатов, появилось автоматическое восстановление задач при сбоях.
Директор департамента голосовых цифровых технологий BSS Александр Крушинский: «Наше решение сокращает стоимость и сроки внедрения, а также снижает зависимость от специалистов по дообучению моделей – то есть, повышает доступность использования LLM-технологий в бизнесе».
Поделиться
