«Когнитив Пилот» представила голосового ИИ-ассистента для робо-трактора

«Когнитив Пилот» представила голосового ИИ-ассистента для робо-трактора. Об этом CNews сообщили представители «Когнитив Пилот».

Одной из ключевых проблем при взаимодействии человека и ИИ-робота является организация устойчивого взаимодействия между ними с целью понимания состояния системы искусственного интеллекта (ИИ), особенностей выполнения им поставленной задачи, получения различных аналитических данных о ходе работ и т.д.

Для компании «Когнитив Пилот» такая задача была особенно актуальна в проекте с полностью беспилотным и бескабинным мини-трактором. «Мы неоднократно получали запросы от наших клиентов - пользователей мини-тракторов о необходимости создания диалога с нашим роботом. Заказчику иногда даже просто для собственного спокойствия необходимо убедиться, что все идет по плану, знать статус выполнения задачи, понимать, какие следующие действия будет выполнять машина. Использовать же для этих целей ввод текста с планшета или ноутбука в реальных условиях работы робота не всегда удобно, и набирать руками одни и те же команды каждый раз утомительно, - в этом смысле речевой ввод здесь – однозначно палочка - выручалочка», — сказал ведущий разработчик «Когнитив Пилот» Геннадий Савицкий.

Для решения этой проблемы компанией «Когнитив Пилот» был разработан собственный голосовой ассистент Cognitive Voice Assistant. Система воспринимает вопросы и дает ответы в режиме реального времени. В основе данного ассистента лежит концепция генеративной нейронной сети «Когнитив Пилот» «Ипполит». Система воспринимает информацию от пользователя робо-трактора на естественном языке, затем она интерпретируются и обрабатывается в реальном времени в облачной вычислительной среде. В отличие от публичных LLM-сервисов, решение развернуто в изолированной облачной среде на внутренних вычислительных мощностях компании, не зависит от внешних провайдеров и не подвержено никаким потенциальным угрозам.

«Как только человек начинает общаться с мини-трактором, система уже воспринимает речь, одновременно анализирует смысл и формирует ответ, не дожидаясь завершения фразы. Это позволяет вести диалог практически без пауз, характерных для поэтапной обработки. При этом она не ограничена заранее заложенными сценариями: если запрос требует обращения к данным о состоянии техники, диагностике, телеметрии, навигации или параметрам выполняемой операции, ассистент в реальном времени запрашивает нужные сведения из внутренних подсистем роботизированного трактора и только после этого завершает ответ», — сказал Савицкий.

Таким образом, диалог остается естественным – оператор не ждет завершения обработки, а система при необходимости уточняет данные у бортовых модулей и возвращает осмысленный результат, и мини-трактор с помощью встроенных устройств вывода озвучивает запрашиваемую информацию.

Возможность Cognitive Voice Assistant напрямую управлять функционалом робота является его важным преимуществом и отличием от аналогичных генеративных моделей. Кроме того, модель системы специализирована и оптимизирована под конкретные задачи. Решение лучше аналогов понимает терминологию агро-сектора и других предметных областей, где используется мини-трактор (аэропортов, предприятий сферы ЖКХ, газовых станций и т.д.) и обладает уникальной базой знаний.

Система активна и готова к выполнению запроса в любое время работы робо-трактора. Вопросы пользователя могут касаться состояния машины, качества связи, информации о его текущих миссиях, характеристиках задания, этапов его выполнения и т. д. Cognitive Voice Assistant способен анализировать телеметрические данные, информировать о заряде батареи, давать прогнозы, оценку того или иного параметра и возможности выполнения той или иной миссии, в том числе и не очевидной на первый взгляд (например, «Проезд до точки «Б», находящейся на расстоянии 50 км в условиях сложного рельефа местности, большого количества подъемов, при наличии существующего навесного оборудования не возможен из-за низкого заряда батареи»).

Голосовой ИИ-помощник может озвучивать данные о текущих состояниях мини-трактора, давать отчеты. Например, «Не смог убрать мусор у входа, поскольку там было препятствие». Эти функции устанавливаются пользователем в системных настройках. Кроме того, предусмотрен механизм создания специальных функций Cognitive Voice Assistant под каждого заказчика, включая тембр голоса робота. Например, в одном из детских лагерей, где робот выполняет задачи уборки территории, он, помимо информации по выполнению своих непосредственных обязанностей, отвечает ребятам на многие интересующие их вопросы: «Почему снег белый, а трава зеленая»? Расскажи анекдот и т.д. При этом робот общается с ребятами детским голосом.

Наконец, роботу можно давать управленческие команды. Например, «Остановиться», «Продолжить движение», «Просигнализировать фарами», «Подать звуковой сигнал» и т.д.

Особое внимание в Cognitive Voice Assistant уделено вопросам безопасности. «В систему заложены сценарии, которые гарантированно никогда не позволят ни злоумышленнику, ни в ситуации с ошибками в подаче команд пользователями, задавить человека или повредить машину», — сазал Савицкий.

Управление Cognitive Voice Assistant осуществляется со смартфона с простым, дружественным интерфейсом. В ближайшее время разработчики планируют завершить создание графического образа ИИ-робо-трактора и модуля, отвечающего за его мимику, что позволит пользователям иметь визуальное восприятие о ходе диалога с роботом и наблюдать реакцию машины на вопросы человека.

«Использование голосовых ассистентов даст возможность быстрой социальной адаптации наших ИИ-роботов в сельское хозяйство, ЖКХ, грузоперевозки и другую рабочую среду, где они будут использоваться. Этот проект может стать первым примером взаимопонимания и дружбы между человеком и роботом в их массовом промышленном использовании», — сказала генеральный директор «Когнитив Пилот» Ольга Ускова.