В Детском технопарке «Альтаир» школьник создал приложение для перевода жестов глухонемых

Выпускник Детского технопарка «Альтаир» РТУ МИРЭА, ученик инженерного класса школы № 1347 Кирилл Карагезов разработал мобильное приложение «Дактиль», которое распознает динамические жесты русского жестового языка в реальном времени. Гибридная нейросетевая модель анализирует форму руки и траекторию движения, а приложение работает полностью офлайн. Точность распознавания на тестовой выборке составила 89%. Об этом CNews сообщили представители РТУ МИРЭА.

«Я хотел создать инструмент, который поможет людям с нарушением слуха свободно общаться в повседневной жизни. Существующие решения либо переводят жесты побуквенно, что неестественно, либо требуют подключения к интернету. Мое приложение работает полностью офлайн и распознает полноценные динамические жесты. В планах — расширить словарь до 40–50 жестов и добавить синтез речи», — сказал Кирилл Карагезов, ученик школы № 1347, выпускник Детского технопарка «Альтаир» РТУ МИРЭА.

Более 120 тыс. глухих и слабослышащих людей в России используют русский жестовый язык как основной способ общения. Но надежных технологий, способных распознавать жесты в реальном времени и работать офлайн на мобильных устройствах, до сих пор практически не существует. Кирилл Карагезов решил эту проблему и создал автономное мобильное приложение-переводчик, которое «понимает» динамические жесты прямо на устройстве. В основе решения — гибридная нейросетевая модель, сочетающая слои для анализа динамики и механизм внимания для пространственных зависимостей. Модель обучена на собранном датасете из 200 видеозаписей 10 динамических жестов («Привет», «Прощание», «Да», «Нет», «Помочь», «Хотеть», «Слышать», «Говорить», «Еда», «Вода»). Приложение обрабатывает видео в реальном времени даже на бюджетных смартфонах. Важнейшее достижение — реализация двусторонней коммуникации: приложение не только переводит жесты в текст, но и предоставляет экран ввода с крупным шрифтом для комфортного чтения глухим собеседником.

«Кирилл проделал серьезную инженерную работу: от сбора и разметки датасета до обучения нейросети и создания мобильного приложения. Он сделал прототип и довел его до работающего продукта с хорошей производительностью на бюджетных устройствах. Такие проекты показывают, как технологии машинного обучения могут решать социально значимые задачи», — сказал Дмитрий Ларин, преподаватель Детского технопарка «Альтаир» РТУ МИРЭА из Института искусственного интеллекта.

«Детский технопарк «Альтаир» — это место, где школьники могут создавать технологии, которые реально меняют жизнь людей. Проект Кирилла — яркий пример того, как доступ к современному оборудованию и поддержка наставников помогают воплощать социально значимые идеи. Мы гордимся, что наши ребята уже в школе разрабатывают решения для инклюзивного общества», — отметил Станислав Кудж, ректор РТУ МИРЭА.

В планах Кирилла Карагезова расширение словаря до 40–50 жестов, интеграция модели для постобработки текста и внедрение синтеза речи.