Речевой нейропротез переводит сигналы мозга прямо в слова

Разработка специалистов из Калифорнийского университета в Сан-Франциско (UCSF) — это первый удачный опыт прямой расшифровки слов целиком на основе сигналов от колебаний в головном мозге человека, который не способен разговаривать из-за паралича.

В прошлом все исследования в коммуникативном нейропротезировании опирались на методы, основанные на орфографическом подходе и позволяющие последовательно набирать буквы в словах. В новом же исследовании ученые распознают сигналы, предназначенные для управления мышцами голосового аппарата, когда человек пытается произнести целые слова.

После 48 сеансов разработчики записали 22 часа активности коры головного мозга. Во время каждого сеанса участник исследования пытался произнести отдельные слова из заданных 50 слов. Затем были использованы алгоритмы глубокого обучения для разработки вычислительных моделей, чтобы обнаружить и классифицировать эти слова на основе записанных тонких паттернов мозговой активности. Кроме того, ученые применяли пользовательские алгоритмы автокоррекции, схожие с привычной нам коррекцией в текстовых сообщениях.

Также ученые задавали участнику вопросы наподобие «Как твои дела?» и «Хочешь пить?», после чего на экране отображались его ответы: «Все очень хорошо» и «Нет, я не хочу пить».

В конечном итоге, авторы эксперимента подсчитали, что новая система распознавала предложения со скоростью до 18 слов в минуту с  точностью 93%. Для сравнения: когда мы разговариваем, то обычно произносим до 150–200 слов в минуту.

При этом скорость декодирования сохранялась на том же уровне либо улучшалась за счет накопления со временем большого количества обучающих данных. Ежедневная повторная калибровка не требовалась, а это позволяет предположить, что электрокортикография высокой плотности подходит для долгосрочного применения нейропротезирования прямой речи.

Ежегодно огромное количество людей страдает от проблем с речью и потери способности говорить. Используя новый речевой нейропротез, они однажды смогут полноценно общаться. И здесь очень важен переход от букв к словам — так технология максимально приблизилась к принципу обычной человеческой речи.

В настоящее время авторы исследования работают над расширением словарного запаса. Следующий шаг — увеличение числа участников эксперимента.