Обучать робота нехитрым операциям (например, приготовлению пищи) с помощью видеороликов – такую амбициозную задачу поставили перед собой в Университете Мэриленда.
Полное название их работы звучит как «Robot Learning Manipulation Action Plans by ‘Watching’ Unconstrained Videos from the World Wide Web». За ним скрывается набор из 88 роликов кулинарного практикума и робот-манипулятор с двумя самообучающимися нейросетями. Две сети нужны для того, чтобы первая могла находить в видеоряде роликов объекты, заранее распределённые создателями по 48 классам, а вторая – распознавала движения человека, делила их на отдельные операции и также классифицировала их по одной из шести разновидностей. Благодаря совместной работе двух нейросетей робот должен понимать, что именно делает человек в видеоролике и уметь повторить увиденное самостоятельно.
Нужно отметить, что уже сейчас эффективность разработки учёных из Мэриленда довольно высока: робот правильно распознаёт около 80 процентов объектов и процессов и может повторить до 70 процентов простых операций.
Поделиться
