Специалисты «Яндекса» сравнили качество ответов YandexGPT 2 и GPT 3.5. Исследование показало, что в 63% случаев собственная языковая модель Яндекса отвечает на запросы лучше, чем нейросеть компании OpenAI. Об этом CNews сообщили представители «Яндекса».
Исследование проводилось методом сравнения Side by Side (SBS). Обе нейросети отвечали на один и тот же запрос, а AI-тренеры выбирали лучший ответ, не зная, какая именно модель его сгенерировала. Корзину запросов сформировали из обезличенных обращений пользователей сервисов «Яндекса» к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тем.
«Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов», — сказал Алексей Гусаков, технический директор «Яндекс поиска».
***
YandexGPT — нейросеть, которая умеет создавать и перерабатывать тексты, предлагать новые идеи и учитывает контекст беседы с пользователем. Она доступна в режиме «Алисы» «Давай придумаем». Также YandexGPT кратко пересказывает тексты статей из интернета в «Яндекс браузере» и на 300.ya.ru, обобщает информацию из отзывов о товарах в поиске и на маркете, помогает создавать описания товаров продавцам маркета и не только.
Поделиться