Студент НГУ разработал программу для бесконтактного управления цифровыми устройствами

Артем Летягин, студент четвертого курса Механико-математического факультета НГУ, разработал программу Gesys, которая заменяет мышь, трекпад и другие способы взаимодействия с техникой, позволяя управлять компьютером или ноутбуком при помощи жестов перед камерой. Пользователю достаточно делать определенные движения руками, которые программа распознает и преобразует в команды для компьютера. Решение делает более удобным взаимодействие с компьютерным интерфейсом и может найти применение в разных областях, например, в качестве тренажера для обучения жестовому языку. Артем Летягин стал одним из победителей федерального конкурса «Студенческий стартап» и выиграл 1 млн руб. на развитие проекта. Об этом CNews сообщили представители  НГУ.

«Добавление системы распознавания жестов в привычный образ жизни откроет перед нами много новых возможностей. У нас уже есть все инструменты для создания такой системы, остается только придумать, как правильно встроить ее в наш повседневный образ жизни. Сейчас я работаю над расширением для Google Chrome. Браузер предоставляет человеку огромное количество функций, поэтому идея сконцентрироваться именно на этом решении выглядит привлекательной. В будущем я планирую выйти за пределы браузера и предоставить возможность пользователю взаимодействовать непосредственно с интерфейсом компьютера», – сказал Артем Летягин.   

Существующие на рынке решения для распознавания жестов либо привязаны к определенному устройству и работают с ограниченным количеством программ, либо являются частью определенной цифровой экосистемы. Идея Артема заключается в том, чтобы создать программу для управления жестами, которую можно легко встроить в любое устройство с камерой и которая будет работать на любой платформе.

Отвечая на вопрос, как появилась идея проекта, Артем рассказал, что вдохновился фильмом «Железный человек». В картине есть сцены, где главный герой работает в мастерской, практически не используя мышку и клавиатуру.   

«В повседневной жизни очень удобно управлять своими девайсами (ноутбуком, телефоном) при помощи жестов. Например, во время приготовления еды, когда руки мокрые, а нужно, например, поставить видео на паузу, не касаясь экрана телефона. Технология распознавания жестов найдет применение и в профессиональных сферах деятельности, где нужно управлять девайсом, но при этом руки заняты. Например, в строительной или медицинской отрасли, в которых многие сотрудники большую часть времени проводят в перчатках; в автомастерских, когда руки опять же в перчатках и в масле», — отметил Артем Летягин.   

Выигранный грант Артем Летягин планирует направить на поддержку команды разработчиков. Также автор проекта будет тестировать алгоритм на разных устройствах, поэтому часть денежных средств пойдет на комплектующие.  Это позволит достичь цели проекта — создать технологию, которую можно встроить в любое устройство с видеокамерой. 

Сейчас Gesys с высокой точностью распознает четыре статических жеста, существует как программа на языке Python, как расширение в Chrome и как приложение на Windows.  Основатель проекта планирует расширить функционал и улучшить методы работы искусственного интеллекта для распознавания динамических жестов. В дальнейшем это позволит программе работать на других платформах и браузерах, а также взаимодействовать со всеми интерфейсами ПК на базе Windows, Linux и macOS.   

Технология доступна для тестирования всем желающим. Как программа на языке Python и как расширение в Chrome, Gesys имеет около 50 скачиваний в неделю.