Бот от MTS AI найдет необходимый момент на видео за пару секунд
MTS AI сообщает о создании видеобота, способного находить необходимые моменты и события на длительных видеозаписях по текстовому описанию. Чтобы найти фрагмент в фильме, пользователю достаточно загрузить видеофайл и сформулировать запрос вроде «Найди сцены с желтыми такси» или «Покажи момент, когда человек входит в комнату». Бот обработает запрос за считанные секунды и предоставит найденные фрагменты. Об этом CNews сообщили представители MTS AI.
Решение уже протестировано на обширном наборе видео различной тематики. Бот находит до 80% событий на кадрах по запросу пользователя.
Для создания видеобота использовался новый подход к видеоаналитике. В то время как существующие системы либо сфокусированы на решении узких задач – поиск предметов или детекция движения, либо могут анализировать лишь небольшой фрагмент видео, видеобот от MTS AI способен искать любые визуальные сцены по их текстовому описанию на записях различной длины.
Это решение разрабатывалось на основе нейросетевой модели CLIP, которая способна проецировать изображения и текстовые описания в единое векторное пространство. Пользовательский запрос преобразуется в вектор и сравнивается с векторами отдельных кадров видео. Далее ИИ определяет наиболее релевантные кадры и выдает итоговый результат.
«Мы считаем, что технология, использованная в этом проекте, найдет широкое применение для обработки видеопотоков в различных индустриях, от безопасности до логистики, ритейла и онлайн-кинотеатров. Она позволит существенно ускорить аналитику длительных видеопотоков, сэкономить ресурсы и деньги компаний. В будущем MTS A планирует развивать эту технологию, включая расширенную поддержку видео в режиме реального времени», – сказал Дмитрий Буланцев, технический директор MTS AI.
***
MTS AI (дочерняя структура ПАО МТС) — разрабатывает продукты для людей и бизнеса на основе технологий компьютерного зрения и обработки естественного языка. Одно из направлений работы – экспертная поддержка стартапов ранних стадий в области DeepTech и AI, а также инвестиции в перспективные проекты.