Нейросеть читает ваши мысли по просмотренному видео

Группа российских ученых из Лаборатории нейророботехники МФТИ и исследовательской организации «Нейроботикс» обучила ИИ использовать данные электроэнцефалограммы, записываемой с поверхности головы, чтобы воссоздавать просмотренные человеком видеоролики.

В рамках эксперимента людям показывали разные категории видео (водопад, абстракция, лица и т. д.), фиксируя при этом данные мозговой активности с помощью ЭЭГ. Уже на этом этапе стало понятно, что спектры волновой активности заметно различаются. То есть, мозг по-разному реагирует на различные картинки в реальном времени.

Вторая часть эксперимента включала разработку двух нейросетей. Задача первой состояла в создании произвольных картинок из «шума». Другая нейросеть генерировала подобный «шум» из электроэнцефалограммы. В результате объединения работы двух нейросетей ученым удалось получить кадры, записанные по сигналу ЭЭГ. 

Нейросеть успешно справилась с реконструированием изображений, хоть и без деталей. Изображение: МФТИ

После этого начальную часть эксперимента повторили, и результат был отличным — в 210 случаях из 234 ИИ успешно классифицировал каждое видео, создавая реалистичные изображения увиденного человеком. Конечно, деталей на этих картинках нет, а человеческие лица выглядят искаженными до неузнаваемости, но основные темы изображений, цвета и формы переданы довольно точно.

В настоящее время во всех существующих технологиях для распознавания изображений с помощью мозговой активности используются данные функциональной магнитно-резонансной терапии или анализ сигнала, идущего напрямую от нейронов. Ранее считалось, что ЭЭГ не содержит достаточно информации даже для частичной реконструкции изображения, но результаты исследования опровергли это.

Один из авторов исследования, Григорий Рашков, считает, что открытие может стать первым шагом на пути к созданию работающего в режиме реального времени интерфейса «мозг – компьютер», который не требует имплантации. 

Разработка имеет практическое назначение — алгоритм создан для реабилитации людей с потерей памяти и после инсультов. Исследования ведутся в рамках отечественной научной программы «Ассистивные технологии», в которой ключевая роль отведена интерфейсу «мозг – компьютер».

Интерфейс «мозг – компьютер». Изображение: МФТИ

На самом деле, в будущем возможности программы видятся достаточно широкими — от управления экзоскелетом руки и электроколяской до способности буквально силой мысли включить кофеварку. Так что далекое фантастическое будущее вполне может наступить уже завтра. Впрочем, чтобы довести чтение мыслей с помощью ИИ до совершенства, понадобится около 10 лет, считают специалисты.

Пока алгоритм тестируют на добровольцах. Сейчас задача разработчиков заключается в том, чтобы софт подстраивался под когнитивные особенности каждого человека и генерировал более четкие изображения.