«Жидкая» нейросеть изменяет алгоритмы прямо в процессе работы и становится умнее

Нейронные сети — это алгоритмы машинного обучения, которые используют набор обучающих примеров для распознавания закономерностей. Поведение большинства нейронных сетей фиксируется после фазы обучения, то есть они плохо приспосабливаются к изменениям во входящем потоке данных. «Жидкие» сети — это тип нейронных сетей, которые могут изменять свои параметры в режиме реального времени, существенно улучшая свою способность анализировать меняющиеся данные.

Свое вдохновение авторы разработки — исследователи из MIT —  черпали в биологии, в частности, у небольшого круглого червя Caenorhabditis elegans, который генерирует неожиданно сложные комбинации поведения, несмотря на ограниченное количество нейронов. «Жидкая» сеть была разработана путем тщательного анализа того, как нейроны червя активируются и взаимодействуют друг с другом с помощью электрических импульсов. 

У Liquid Neural Network есть ряд преимуществ, а именно:

• «Жидкие» сети делают модель более стабильной, повышая ее устойчивость к неожиданным и зашумленным данным. Например, они могут заставить алгоритмы адаптироваться к сильным дождям, которые мешают обзору беспилотного автомобиля.

• «Жидкая» сеть делает алгоритм более интерпретируемым. Ученые считают, что она поможет решить проблему «черного ящика» алгоритмов машинного обучения из-за другой природы нейронов.

• «Жидкая» сеть показала лучшие результаты по сравнению с другими временными рядами в прогнозировании будущих значений в наборах данных, используемых в атмосферной химии и схемах движения. 

Помимо высокой надежности, новая модель также помогает снизить вычислительные затраты. Ученые стремились к меньшему количеству узлов сети, но при этом чтобы они были больше. Другими словами, исследование было сосредоточено на уменьшении масштаба сети, а не на его увеличении.

Исследователи видят будущее «жидких» сетей в управлении роботами, обработке естественного языка и видео — в общем, в любой форме обработки данных временных рядов (собранных в разные моменты времени статистических материалов о значении каких-либо параметров исследуемого процесса). 

Например, огромный прогресс был достигнут в разработке умных роботов, которые работают с людьми, но тут оставалась серьезная проблема с точки зрения безопасности и этики. «Жидкие» сети помогут преодолеть эти проблемы. Возможность принятия решений в режиме реального времени также повысит безопасность роботов и людей, работающих в тандеме (например, на складах или на дороге). Или, к примеру, социальные боты или чат-боты в прошлом часто ошибались при формировании ответов. А благодаря улучшенной интерпретации «жидкие» сети помогут избежать подобных ошибок за счет улучшения алгоритмов обработки естественного языка. 

Кроме того, данные временных рядов широко используются в медицинской диагностике и разработке лекарств. «Жидкие» сети также могут ускорить эти процессы.

В дальнейшем планируется, что Liquid Neural Network станет важным элементом будущих интеллектуальных систем. По словам исследователей MIT, следующим шагом будет улучшение существующей системы и ее подготовка к промышленному применению.