Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ разработали подход, который помогает эффективнее подбирать рекомендательные алгоритмы. В нем разные методы попарно соревнуются, а по результатам всех поединков составляется общий рейтинг. Это помогает сократить число алгоритмов, которые нужно проверять при разработке новых сервисов, и сэкономить денежные и временные ресурсы. Об этом CNews сообщили представители ВШЭ.
Рекомендательные системы решают, какие товары, фильмы, песни или публикации показать пользователю. Для этого они анализируют его действия и пытаются предсказать, что может заинтересовать его в дальнейшем. Например, ищут посетителей с похожими интересами, учитывают последовательность просмотров или покупок.
При этом универсального алгоритма рекомендаций нет. Метод может хорошо работать в интернет-магазине, но не подойти для онлайн-кинотеатра. Поэтому обычно алгоритмы предварительно проверяют на уже собранных наборах данных и усредняют получившиеся результаты. Но у такого способа есть недостатки: рейтинг не учитывает особенности конкретного набора данных и может быть нестабильным, а проверять все алгоритмы онлайн, на реальных пользователях, дорого и рискованно.
Исследователи НИУ ВШЭ разработали методику для сравнения рекомендательных алгоритмов на основе модели Брэдли — Терри, которую используют для составления рейтингов по результатам парных соревнований. В исследовании игроками выступали рекомендательные алгоритмы, а матчами — проверки на наборах данных. Два алгоритма сопоставляли по выбранной метрике: например, по точности рекомендаций. Тот, у кого показатель был выше, считался победителем. По результатам всех таких сравнений модель оценивала относительную силу каждого алгоритма. Авторы обучили и проверили 14 алгоритмов на 89 наборах данных из разных областей.
Результаты показали, что одни и те же алгоритмы занимали разные места в рейтинге в зависимости от типа данных в поединке. Например, на последовательных наборах, где важен порядок действий пользователя, первые места заняли SASRec и GASATF. На данных без выраженной последовательности они опустились на десятое и одиннадцатое места, а первые позиции заняли LightGCN и ALS.
Дополнительно исследователи проверили, насколько рейтинги устойчивы к неполным данным. Рейтинг на основе модели Брэдли — Терри оставался стабильным, даже если отсутствовала часть сравнений (не каждый игрок сыграл с каждым). Также авторы проверили на дополнительных наборах данных расширенную версию модели, которая учитывает контекст. Она должна была предсказать победителей без непосредственного сравнения алгоритмов для построения рейтинга.
«Идея использовать спортивную модель пришла к нам благодаря работам нашего старшего коллеги Спокойного В.Г. Если приводить аналогию со спортом, на исход поединка влияют не только сами участники, но и условия — например, город или погода. В исследовании таким контекстом стали характеристики набора данных: число пользователей и объектов, средняя длина истории пользователя и другие параметры. Если обучить модель учитывать этот контекст вместе с результатами предыдущих сравнений, то по характеристикам нового набора она может заранее оценить, какие алгоритмы окажутся лучшими», — Антон Лысенко, один из авторов статьи, эксперт Международной лаборатории стохастических алгоритмов и анализа многомерных данных НИУ ВШЭ.
В 78% случаев алгоритм, который занимал первое место, действительно входил в тройку лучших. При обычном усреднении показателей это происходило только в 16% случаев. Авторы объясняют это тем, что, в отличие от эвристических способов сравнения, модель теоретически обоснована, поэтому получаемый рейтинг надежнее.
«Наш подход помогает еще до онлайн-тестирования понять, какие алгоритмы лучше подходят для конкретного набора данных. Например, если банку нужно рекомендовать программы лояльности, можно передать модели характеристики нового набора данных и получить несколько наиболее перспективных вариантов. Тогда на реальных пользователях нужно будет проверять уже только их, а не все доступные алгоритмы. Это позволяет сэкономить время и ресурсы», — Сергей Самсонов, один из авторов статьи, заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных НИУ ВШЭ.
Работа выполнена в рамках реализации программы Центра ИИ НИУ ВШЭ при поддержке гранта Министерства экономического развития России.
Поделиться
