Нейросеть сможет самостоятельно распознавать производственные процессы по видео

Исследователи Центра искусственного интеллекта «Сколтеха» совместно с коллегами из Самарского университета разработали систему для автоматического выделения этапов производственных процессов по видеопотокам. С ее помощью нейросеть сможет сама определить отклонения от производственного процесса и даже предотвратить аварийные ситуации. Используемый подход самообучения (self-supervised learning) позволяет сократить затраты на ручную разметку данных и повысить устойчивость работы модели в реальных условиях. Результаты исследования опубликованы в журнале IEEE Access (Q1) — одной из ведущих международных платформ в области инженерных и компьютерных наук. Об этом CNews сообщили представители «Сколтеха».

Технология предназначена для временной сегментации видеопотоков с производственных площадок. Система понимает, на каком этапе находится та или иная операция — например, замена масла или сборка компонентов — и автоматически выделяет ключевые моменты в видеоматериале.

«Внедрение таких систем дает реальную экономию: теперь не нужно вручную разбирать сотни часов видео, чтобы обучить нейросеть распознавать производственные этапы, — сказал ведущий инженер по машинному обучению Центра ИИ «Сколтеха» Максим Алешин. — Модель будет самостоятельно выделять закономерности в больших объёмах необработанного материала. Это позволяет промышленным камерам в реальном времени выявлять отклонения от нормального хода процесса и помогать предотвратить аварийные ситуации».

Нейросеть обучается на большом массиве неразмеченных видеозаписей, самостоятельно выделяя ключевые признаки без участия разметчиков. Затем проходит дообучение на небольшой размеченной выборке и адаптируется под конкретные задачи (например, для классификации событий «замена колеса», «замена масла», «статическое состояние»). Система показала высокую скорость обработки видеопотоков, что делает ее пригодной для применения в реальном времени в промышленных условиях.

По словам руководителя исследовательской группы Центра ИИ «Сколтеха» Светланы Илларионовой, технология станет частью более широких решений для обеспечения промышленной безопасности и оптимизации производственных процессов.

В ближайших планах команды — расширить количество поддерживаемых сценариев и типов производственных операций, протестировать систему на реальных объектах с непрерывным мониторингом большого числа процессов, интегрировать подход в комплексные системы для умного видеонаблюдения на промышленных площадках.

«Именно такие проекты делают производство более безопасным и интеллектуальным. Мы уверены, что предложенная методика найдет применение и за пределами классических сборочных линий», — сказала Светлана Илларионова.