Ученые СПбГУ улучшили способность нейросети вести диалог

Лингвисты Санкт?Петербургского государственного университета усовершенствовали нейросеть, внедрив в нее интонационную модель. Это сделало произношение искусственного интеллекта более естественным и привычным для человека. Разработка поможет улучшить системы преобразования текста в речь, которые используются в голосовых помощниках и антропоморфных роботах. Результаты исследования опубликованы в материалах International Conference on Speech and Computer. Об этом CNews сообщили представители СПбГУ.

Системы на основе искусственного интеллекта уже способны полностью или частично заменить человека в решении многих вопросов. Особенно актуально это при выполнении рутинных задач, четко поддающихся планированию и регламенту. Однако многие человеческие черты и свойства по?прежнему с трудом внедряются в системы ИИ. Так, пока искусственному интеллекту практически не удается интонирование — один из важнейших элементов речи, который отвечает не только за выражение эмоций, отношение к собеседнику или ситуации, но и за коммуникативное значение сказанного. Например, именно эта способность позволяет во время общения отличить вопрос от повествования.

Как правило, языковые модели воспроизводят наиболее распространенные варианты произношения слов или элементов фразы. При этом неудачное сочетание интонационного оформления в разных частях предложения или слишком выразительное звучание, неуместное в конкретной ситуации, могут испортить общее впечатление даже от качественной генерации голоса.

Эту проблему можно решить при обучении нейросети с использованием размеченного специальным образом материала. Лингвисты Санкт?Петербургского университета использовали модель Tacotron2, основанную на алгоритме синтеза текста в речь. По словам исследователей, среди ее достоинств — возможность тонкой настройки модели и учет акустических признаков. При правильной отладке она может воспроизводить такие особенности голоса, как манера произношения, тембр и даже акцент.

В основу обучения легла интонационная классификация, которая была разработана учеными СПбГУ (кафедра фонетики и методики преподавания иностранных языков): доцентом Ниной Вольской совместно с заведующим кафедрой профессором Павлом Скрелиным. Созданная универсантами система включает широкий спектр интонационных вариантов. Например, в ней учитывается мелодический диапазон, который помогает отличить восклицание от акцентного выделения слова в высказывании, и скорость произношения, вместе с движением тона показывающая иерархию смысловых отношений во фразе. Эта методика учитывает и тип предложения: вопрос, повествование, приказ или просьба, обращение, незавершенность.

Предложенные исследователями модификации позволили нейросети преодолеть ограничения, в первую очередь неестественность или однообразность интонирования.

«Благодаря правильной структуризации данных и использованию меток интонационных вариантов модель смогла передавать различные нюансы в интонировании, что позволяет добиться более естественного и выразительного сгенерированного звучания. Этот подход делает систему синтеза более гибкой и подходящей для различных областей применения, включая голосовое управление и образовательные программы», — сказала доцент СПбГУ (кафедра фонетики и методики преподавания иностранных языков) Ульяна Кочеткова.

Чтобы оценить успешность обучения нейросети, ученые предложили 42 носителям русского языка ответить на вопросы после прослушивания синтезированных аудиозаписей. В среднем все аудиофайлы участники опроса посчитали естественно звучащими, лишь в некоторых отметили наличие артефактов. Во втором эксперименте респондентам предложили выбрать подходящий знак препинания для прозвучавшего предложения: легче всего испытуемые идентифицировали вопросительные фразы.

По словам лингвистов, для дальнейшего повышения качества генерации нужно продолжить тонкую настройку модели с учетом эмоциональных и стилистических вариантов интонационных контуров.